Облачный сервер с ИИ-ассистентом

    ИИ-ассистент — это готовый к работе образ облачного сервера, на котором можно развернуть приватный чат-бот с искусственным интеллектом.

    Решение включает 2 основных open-source инструмента: Ollama (платформу для управления и запуска больших языковых моделей) и Open WebUI (современный веб-интерфейс для взаимодействия с ИИ).

    Ключевые преимущества решения:

    • полная конфиденциальность. Все данные и модели находятся на вашем сервере — это позволяет обрабатывать чувствительную информацию без передачи третьим сторонам;

    • предустановленные модели. Образ поставляется с набором популярных языковых моделей, готовых к работе сразу после развертывания;

    • простота использования. Интуитивно понятный веб-интерфейс позволяет управлять моделями, пользователями и настройками без необходимости работы с командной строкой;

    • гибкость. Вы можете устанавливать любые другие модели, поддерживаемые Ollama, и полноценно управлять сервером.

    Образ доступен для заказа на облачных серверах и на серверах с GPU для увеличения скорости обработки запросов.

    Рекомендации по конфигурациям сервера

    Производительность ИИ-ассистента напрямую зависит от размера используемой языковой модели и мощности сервера. Размер модели указывается в параметрах B (например, Llama3.1:8B — 8 миллиардов параметров).

    Чем больше параметров B у модели, тем выше ее качество и возможности: улучшается понимание контекста, сложные рассуждения, генерация кода и точность ответов, но одновременно возрастают требования к ресурсам сервера.

    Размер модели
    Рекомендуемая конфигурация (vCPU/RAM/Диск)
    CPU/GPU
    < 8B
    4–8 vCPU / 32–64 ГБ / 100+ ГБ
    Подходит для CPU
    8–12B
    8–16 vCPU / 64–128 ГБ / 200+ ГБ
    Для комфортной работы рекомендуется GPU (A4000/A5000)
    12–20B
    16–32 vCPU / 128–256 ГБ / 400+ ГБ
    Настоятельно рекомендуется GPU (A4000/A5000/A100)
    > 30B
    32+ vCPU / 256+ ГБ / 400+ ГБ
    Требует мощного GPU. Работа на CPU не гарантируется

    Как заказать сервер с ИИ-ассистентом

    • 1
      Войдите в панель управления Рег.облака.
    • 2
      Нажмите +Новый ресурс > Сервер.
    • 3
      Перейдите на вкладку GPU.
    • 4
      Выберите ИИ-ассистент с Ubuntu 24.04 LTS Ollama.
    • 5
      Выберите vCPU и тип диска. Затем выберите подходящий тариф.
    • 6
      Выберите тариф защиты от DDoS-атак.
    • 7
      Настройте автоматическое резервное копирование.
    • 8
      При необходимости добавьте SSH-ключ и укажите название сервера.
    • 9
      Нажмите Заказать сервер.

    Как открыть приложение

    После создания сервера на вашу электронную почту придет письмо с доступами к серверу и веб-приложению Open WebUI.

    • 1
      Нажмите Перейти в приложение.
    • 2
      Введите логин и пароль из письма.
    • 1
      Войдите в панель управления Рег.облака.
    • 2
      Перейдите в раздел Мои ресурсы > Виртуальные серверы.
    • 3
      Выберите нужный сервер с ИИ-ассистентом.
    • 4
      Нажмите Еще > Открыть приложение.
    • 5
      Войдите в ИИ-ассистент, используя логин и пароль из письма.

    Добавление новых пользователей

    Open WebUI предоставляет встроенную систему управления пользователями и группами.

    • 1
      В левой боковой панели интерфейса перейдите в раздел Панель администратора.
    • 2
      Откройте вкладку Пользователи и нажмите на значок +.
    • 3
      Заполните данные нового пользователя (имя, email, пароль) и назначьте ему роль (например, User или Admin).

    Управление моделями

    Предустановленные модели

    Образ поставляется с набором предустановленных моделей. Их список доступен для выбора в выпадающем меню в интерфейсе чата.

    Чтобы управлять моделями в панели администратора, перейдите в Настройки > Модели.

    Подробнее о всех возможностях интерфейса в официальной документации Open WebUI.

    Как установить новую модель через веб-интерфейс

    • 1
      В панели администратора перейдите в Настройки > Модели.
    • 2
      Нажмите Загрузить модель.
    • 3
      В поле Загрузить модель с Ollama.com введите название модели, которую хотите скачать (например, gpt-oss).
    • 4
      Нажмите Загрузить.
    • 5
      Дождитесь загрузки с официального репозитория Ollama.

    Чтобы загрузить новую модель из чата, введите название модели в поисковой строке и нажмите Загрузить с Ollama.com.

    Как загрузить модель с Hugging Face

    • 1
      Зарегистрируйтесь или авторизуйтесь на сайте Hugging Face.
    • 2
      Перейдите в настройки локальных приложений.
    • 3
      Отметьте чекбокс с приложением Ollama.
    • 4
      Выберите совместимую с Ollama модель, например bartowski/Llama-3.2-1B-Instruct-GGUF.
    • 5
      Нажмите Use this model и в выпадающем списке выберите Ollama.
    • 6
      Скопируйте часть строки после «ollama run».
    • 7
      В панели администратора Open WebUI перейдите в Настройки > Модели и нажмите Загрузить модель.
    • 8
      В поле «Загрузить модель с Ollama.com» введите скопированную строку и нажмите Загрузить.
    • 9
      Дождитесь загрузки с репозитория Hugging Face.

    Установка через CLI

    Если вы хотите установить модель вручную через командную строку:

    Была ли статья полезна?

    Спасибо за оценку. Рады помочь 😊

     👍
    Специальные предложения