Как запустить своего ИИ-ассистента на базе vLLM

ИИ-ассистент — кастомизированное приложение на базе языковой модели для диалогового взаимодействия. В отличие от обычного чата, ассистент имеет заданное поведение (System Prompt), может вызывать внешние функции (Tool Calling) и генерировать структурированные ответы. OpenAI-совместимый API vLLM позволяет построить такого ассистента полностью на своей инфраструктуре.

Как устроен ИИ-ассистент

Архитектура ассистента состоит из 3 ключевых компонентов:

Разворачивание модели

Интеграция ассистента

После запуска сервера подключите вашу LLM к любому фронтенду или фреймворку для создания чат-ботов, используя стандарты OpenAI API.

Базовый пример на Python

Ниже приведен пример Python-клиента службы поддержки для тестирования. Он использует системный промпт для задания поведения и сохраняет историю диалога для поддержания контекста.

from openai import OpenAI


client = OpenAI(
    base_url="https://<ваш_endpoint>/v1",
    api_key="<ваш_api_ключ>"
)


def ask_assistant(user_query, dialog_history=None):
    if dialog_history is None:
        dialog_history = []
    
    system_prompt = """Ты — ИИ-ассистент службы поддержки Рег.облака. 
Отвечай вежливо и по делу. Если не знаешь ответа — предложи создать тикет."""
    
    messages = [{"role": "system", "content": system_prompt}] + dialog_history
    messages.append({"role": "user", "content": user_query})
    
    response = client.chat.completions.create(
        model="Qwen/Qwen2.5-7B-Instruct",
        messages=messages,
        temperature=0.3,
        max_tokens=1024
    )
    
    return response.choices[0].message.content

Где: ask_assistant — функция, которая принимает вопрос пользователя, добавляет системный промпт и отправляет запрос к модели. Ответ возвращается в виде строки.

Добавление вызова функций (Tool Calling)

Ассистент может не только отвечать, но и выполнять действия. Для этого в vLLM поддерживается механизм Tool Calling, совместимый с OpenAI API.

Пример вызова:

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_server_status",
            "description": "Получить статус сервера по его ID",
            "parameters": {
                "type": "object",
                "properties": {
                    "server_id": {"type": "string"}
                },
                "required": ["server_id"]
            }
        }
    }
]


response = client.chat.completions.create(
    model="Qwen/Qwen2.5-7B-Instruct",
    messages=[{"role": "user", "content": "Проверь статус сервера vps-99999"}],
    tools=tools,
    tool_choice="auto"
)

Где:

Модель анализирует вопрос и, если он соответствует описанию функции, возвращает её вызов с параметрами. Ваше приложение должно обработать этот вызов и передать результат обратно в диалог.

Подключение к фреймворкам

Описанный выше Python-клиент можно заменить на готовые библиотеки для создания чат-ботов: LangChain, LlamaIndex или low-code-платформы. Все они поддерживают OpenAI-совместимые API — достаточно указать ваш адрес сервиса (endpoint) и ключ.

Где можно использовать ИИ-ассистента

Развернутый на вашем выделенном сервере ИИ-ассистент может использоваться в различных бизнес-сценариях: