Бизнесу важно не просто использовать LLM, а встроить ее в процессы и контролировать работу с данными. Открытые модели можно развернуть в своей инфраструктуре и настроить под задачи компании.
Разберем актуальные LLM и их особенности — материал пригодится разработчикам и ИТ-специалистам, которые выбирают модель для корпоративного проекта.
Что такое open-source LLM и зачем они бизнесу
Open source LLM — это большая языковая модель, у которой открыты не только веса, но и другие компоненты, необходимые для изучения, изменения и воспроизведения модели. Лицензия при этом должна разрешать использовать, модифицировать и распространять модель и производные решения на заявленных условиях.
С открытыми LLM-моделями компания получает больше контроля над самой моделью и средой, в которой она работает. Чтобы лучше понять, почему это полезно, сравним открытые LLM с закрытыми.
Чем открытые модели отличаются от закрытых
У закрытой LLM веса и внутренние компоненты модели недоступны пользователю. Доступ к такой модели обычно предоставляют через готовый сервис или API.
С открытой моделью компания сама решает, где ее запускать и как настраивать — в пределах лицензии.
| Открытая LLM | Закрытая LLM | |
|---|---|---|
| Доступ к модели | Модель или ее компоненты можно скачать | Веса недоступны |
| Где работает | На собственной или арендованной инфраструктуре | На стороне поставщика |
| Настройка | Можно дообучать и оптимизировать, если разрешает лицензия | Возможности задает поставщик |
| Работа с данными | Запросы можно оставить внутри своей инфраструктуры | Данные передаются внешнему сервису согласно его условиям |
| Инфраструктура | Компания обслуживает модель самостоятельно или использует API стороннего провайдера | Инфраструктурой занимается поставщик |
| Оплата | Затраты на вычислительные ресурсы и эксплуатацию | Чаще всего оплата по объему использования API |
Однако возможность скачать модель еще не означает, что она действительно относится к open source. Поэтому важно понимать различие между открытым исходным кодом и открытыми весами.
Open source и open weights: почему важно различать эти понятия
Модель с открытыми весами, или open weights, можно скачать и запустить у себя. Но это еще не делает ее полноценной open source LLM.
Веса — это параметры модели, полученные во время обучения. Разработчик может открыть их, а код обучения, данные и часть документации оставить закрытыми. Ограничения могут быть и в лицензии: например, на коммерческое использование, дообучение или распространение измененной версии.
У open source LLM открытость шире. Помимо весов должны быть доступны код, необходимый для обучения и запуска модели, ее архитектура и конфигурация, а также информация о данных и процессе их подготовки. Лицензия должна разрешать использовать, изучать, изменять и распространять модель.
Поэтому перед внедрением open source LLM модели проверяйте не только наличие открытых весов, но и лицензию, опубликованный код и описание обучения. Это поможет понять, сможете ли вы дорабатывать модель, воспроизводить ее работу и использовать ее в коммерческом продукте.
Почему бизнес выбирает локальные LLM
Основная причина — контроль над тем, где и как работает модель. Локальную LLM можно развернуть на серверах компании или в выделенном облачном контуре и настроить систему так, чтобы запросы, документы и результаты обработки не покидали контролируемую инфраструктуру. Это важно для внутренних баз знаний, договоров, технической документации и других чувствительных данных.
Есть и другие причины:
- можно самим решать, где хранить запросы, логи и результаты работы модели;
- нет зависимости от тарифов, лимитов и изменений внешнего API;
- можно подобрать GPU и настройки инференса под нужную скорость и нагрузку;
- при постоянном большом числе запросов расходы на инфраструктуру проще контролировать.
У локального запуска есть и обратная сторона: серверы нужно настраивать, обновлять и следить за их работой. Поэтому LLM для бизнеса стоит разворачивать локально, когда компании действительно нужен контроль над данными, настройками или нагрузкой. Если запросов немного, облачный API часто проще и дешевле.
Локальная LLM против облачного API: безопасность, стоимость и производительность
LLM можно развернуть на собственных серверах, в выделенном облачном контуре или использовать через API провайдера. Эти варианты различаются уровнем контроля над данными, ответственностью за безопасность, затратами и производительностью.
Безопасность
Локальный запуск позволяет выстроить работу так, чтобы документы и запросы не покидали корпоративную инфраструктуру. Но тогда компания сама отвечает за защиту API модели, разграничение прав доступа, хранение логов и установку обновлений.
Облачный API снимает часть технических задач, но данные передаются внешнему поставщику. Поэтому нужно проверить его правила хранения и обработки информации.
Закрытый контур не означает, что данные автоматически защищены. У локальной LLM остаются обычные точки риска: API, права доступа, логи, зависимости. Если к модели подключены инструменты, я бы отдельно ограничивал, что она может с ними делать. Например, помощнику, которому нужно искать информацию в CRM, незачем давать право менять или удалять записи.
Стоимость
API удобнее для пилотов и нерегулярной нагрузки: оплата идет за фактическое использование. Локальная LLM требует затрат на GPU и поддержку, но при постоянном большом числе запросов может обходиться дешевле.
Производительность
Облачный API проще масштабировать, но скорость зависит от сети, лимитов и загрузки сервиса. Локальная модель работает на выделенных ресурсах и дает более предсказуемую задержку, однако ее возможности ограничены установленными GPU.
API чаще подходит небольшим сервисам и пилотам. Локальные LLM выбирают, когда нужен закрытый контур, стабильная нагрузка или глубокая настройка модели.
Как выбрать открытую LLM
Открытые LLM все чаще становятся основой корпоративных решений — но не каждая модель одинаково хорошо впишется в инфраструктуру компании. Чтобы подобрать оптимальный вариант, важно соотнести возможности модели с реальными задачами, требованиями к безопасности и доступными ресурсами.
Критерии выбора открытой языковой модели для компании
Модель стоит выбирать под конкретную задачу. Для компании важно, как она работает на реальных данных, сколько ресурсов требует и можно ли использовать ее в нужном сценарии.
Сначала проверьте:
- Качество на своих данных. Тестируйте модель на документах, обращениях клиентов, коде и других материалах, с которыми она будет работать после запуска.
- Поддержку языка. Для русскоязычного проекта важны не только обычные тексты, но и отраслевые термины, сокращения и запросы со смешением русского и английского.
- Размер модели и контекста. От числа параметров зависят требования к памяти, а от размера контекста — сколько текста модель сможет учитывать за один запрос.
- Скорость и нагрузку. Для чат-бота важна задержка ответа, для обработки больших массивов документов — количество запросов, которое сервер выдерживает одновременно.
- Требования к инфраструктуре. Нужно заранее оценить объем VRAM, возможность квантизации и число GPU.
- Лицензию. Она должна разрешать коммерческое использование, дообучение и другие действия, которые нужны проекту.
- Поддержку инструментов. Чем проще модель подключить к движкам инференса, RAG и системам мониторинга, тем меньше работы потребуется при развертывании.
Например, вы выбираете модель для RAG-помощника по русскоязычной базе знаний. Сначала проверьте, насколько точно она отвечает по вашим документам, понимает профессиональные термины и работает с нужным объемом контекста. Затем сравните требования к ресурсам, скорость ответа и лицензию. Так вы быстро отсеете модели, которые не подходят по качеству, инфраструктуре или условиям использования.
После этого можно оставить несколько кандидатов и сравнить их в одинаковых условиях.
Выбирать модель только по бенчмаркам я бы не советовал. Для RAG по русскоязычной базе знаний я бы взял реальные документы компании и проверил, как несколько моделей отвечают на одни и те же вопросы: понимают ли терминологию, находят ли нужные фрагменты, сколько ошибаются. Параллельно замерил бы скорость и расход GPU. Так быстро становится понятно, какие модели можно отсечь.
Какие лицензии допускают коммерческое использование
То, что модель можно скачать и запустить у себя, еще не означает, что ее разрешено использовать в коммерческом продукте. Перед внедрением нужно проверить лицензию конкретной версии: можно ли применять модель в бизнесе, дообучать ее, изменять и распространять.
У open source LLM часто встречаются две разрешительные лицензии:
- Apache 2.0 позволяет использовать и изменять модель, создавать на ее основе собственные решения и распространять их, в том числе коммерчески. При распространении нужно сохранить текст лицензии и предусмотренные ею уведомления.
- MIT тоже разрешает коммерческое использование, изменение и распространение. Главное условие — сохранить текст лицензии и уведомление об авторских правах.
Например, Qwen3.5-397B-A17B и Gemma 4 12B распространяются по Apache 2.0, а GigaChat 3.1 Lightning и DeepSeek-V4-Pro — по MIT. У GLM-5.3 собственная лицензия разработчика, поэтому перед коммерческим использованием нужно отдельно проверить её условия.
С собственными лицензиями разработчиков нужно быть внимательнее: они могут ограничивать отдельные способы использования, распространение или доступ для крупных компаний. Поэтому пометки open weights недостаточно — перед запуском в коммерческом проекте нужно читать условия именно той версии модели, которую компания собирается использовать.
Лучшие open-source LLM для бизнеса в 2026 году
В поиске и на практике термин open-source LLM модели часто используют шире — в том числе для моделей с открытыми весами, которые можно скачать и развернуть в своей инфраструктуре. Однако с точки зрения лицензирования open source и open weights — не одно и то же. Ниже разберем это различие, а при выборе LLM для бизнеса стоит отдельно учитывать степень ее открытости и условия лицензии.
Qwen
Qwen от Alibaba — семейство универсальных моделей для текста, изображений, кода и агентных сценариев. Например, Qwen3.8-2.4T-A95B содержит 397 млрд параметров, из которых при обработке токена активируются около 17 млрд. Она поддерживает текст, изображения, видео, программирование и агентные сценарии.
Модель подходит для анализа сложных документов, работы с большими кодовыми базами и многоэтапных задач ИИ-агентов.
DeepSeek
DeepSeek-V4-Pro — крупная языковая модель с архитектурой MoE на 1,6 трлн параметров, из которых при обработке токена активируются около 49 млрд. Она поддерживает контекст до 1 млн токенов, ориентирована на программирование, сложные рассуждения и агентные задачи. Веса модели опубликованы под лицензией MIT.
DeepSeek-V4-Pro подходит для анализа больших кодовых баз и многоэтапных задач ИИ-агентов. Самостоятельный запуск предполагает мощный GPU-кластер, но модель также можно использовать через API провайдера.
GigaChat
GigaChat 3.1 Lightning — компактная модель с упором на русский и английский языки. Она построена по архитектуре MoE: всего в ней 10 млрд параметров, но при обработке запроса используется около 1,8 млрд. Модель поддерживает код, вызов функций и распространяется по MIT.
GigaChat можно рассматривать для внутренних помощников, обработки обращений и работы с русскоязычными документами. Доступны версии весов FP8, BF16 и GGUF, поэтому модель можно запускать в разных конфигурациях оборудования.
Gemma
В семейство Gemma 4 входят модели разного размера, в том числе 12B, 26B-A4B и 31B. Они поддерживают мультимодальные задачи, а младшие версии рассчитаны в том числе на запуск на рабочих станциях и сравнительно компактной инфраструктуре. Модель Gemma 4 12B распространяется по Apache 2.0.
Gemma можно рассматривать, если вам нужен локальный помощник, который работает не только с текстом, но и с изображениями, а развертывать модель на большом GPU-кластере не планируется.
GLM
GLM-5.3 — модель Z.ai с упором на программирование и длинные многошаговые задачи. Это MoE-модель на 744 млрд параметров, из которых при обработке активируются около 40 млрд. Производитель развивает ее для сложных задач программирования и сценариев, где модель долго работает с инструментами. Для локального запуска поддерживаются Transformers, vLLM и SGLang. GLM-5.3 распространяется по собственной лицензии разработчика.
Модель требует мощной вычислительной инфраструктуры, поэтому ее стоит рассматривать прежде всего для крупных GPU-серверов и кластеров, когда нужны сложные агентные сценарии и работа с большими кодовыми базами.
Сравнение моделей по задачам
| Модель | Текст | Код | RAG | Агенты | Русский язык |
|---|---|---|---|---|---|
| Qwen3.5-397B-A17B | Универсальная работа с текстом, изображениями и сложными документами | Подходит для генерации и анализа кода | Подходит для корпоративных баз знаний и работы с длинным контекстом | Поддерживает вызов инструментов и сложные многошаговые сценарии | Работает с русским, но не ориентирована только на него |
| GigaChat 3.1 Lightning | Подходит для помощников и обработки обращений | Может работать с кодом, но это не основная специализация | Хороший вариант для русскоязычных корпоративных баз знаний | Поддерживает вызов функций | Один из основных вариантов для задач на русском языке |
| Gemma 4 | Подходит для текста и мультимодальных задач | Можно использовать для работы с кодом | Подходит для RAG, если важен сравнительно компактный локальный запуск | Агентные сценарии возможны, но не главный фокус семейства | Русский поддерживается, но модель не специализирована на нем |
| DeepSeek-V4-Pro | Рассчитана на сложные многошаговые задачи | Подходит для работы с большими кодовыми базами и сложного программирования | Можно использовать в сложных RAG-системах при наличии нужных ресурсов | Ориентирована на ресурсоемкие многоэтапные агентные сценарии | Поддерживает русский язык, но не специализируется на нем |
| GLM-5.3 | Подходит для длинных и сложных задач | Один из основных сценариев — программирование | Можно использовать в крупных RAG-системах | Рассчитана на длительную работу агентов с инструментами | Не ориентирована специально на русскоязычные проекты |
Если вам нужна универсальная модель для текста, RAG и корпоративных сценариев, рассмотрите Qwen. Для проектов с упором на русский язык отдельно протестируйте GigaChat. DeepSeek и GLM стоит рассматривать для сложного кода и агентных задач, если у вас есть достаточно мощная GPU-инфраструктура.
Выбрать подходящую модель только по описанию сложно. В ИИ-платформе Рег.облака можно получить доступ к разным моделям через единый интерфейс и API и проверить их на своих задачах.
Какие ресурсы нужны для локального запуска LLM
Главный ресурс при локальном запуске LLM — видеопамять GPU, или VRAM. Ее объем зависит от размера модели, формата весов, длины контекста и числа одновременных запросов.
Размер модели указывают в миллиардах параметров: 7B — около 7 млрд, 70B — около 70 млрд. В формате FP16, где на один параметр приходится примерно 2 байта, веса модели 7B занимают около 14 ГБ, а 70B — около 140 ГБ. Квантизация уменьшает этот объем: при 4-битном формате сами веса занимают примерно в четыре раза меньше, чем в FP16.
Однако размер весов — это не вся память, которая нужна для запуска. Дополнительная VRAM расходуется на контекст, промежуточные вычисления и служебные данные движка инференса. Поэтому практические требования к памяти всегда выше.
Примерные ориентиры выглядят так:
| Размер модели | FP16/BF16, только веса | 4 бита, только веса | Ориентир по VRAM для запуска в 4 битах | Где можно запускать |
|---|---|---|---|---|
| 7–8B | 14–16 ГБ | Около 4–5 ГБ | Примерно 6–10 ГБ | Одна GPU |
| 14B | Около 28 ГБ | Около 7–9 ГБ | Примерно 10–14 ГБ | Одна мощная GPU |
| 30–35B | 60–70 ГБ | Примерно 15–20 ГБ | Примерно 22–28 ГБ | Серверная GPU или несколько GPU |
| 70B | Около 140 ГБ | Примерно 35–40 ГБ | Примерно 45–55 ГБ | Мощная GPU или несколько GPU |
| 100B и больше | Сотни гигабайт | Зависит от модели | Зависит от модели и нагрузки | GPU-сервер или кластер |
Цифры ориентировочные. Длинный контекст и параллельные запросы увеличивают расход VRAM. У моделей MoE при обработке токена работает только часть параметров, но все веса все равно нужно хранить или подгружать.
Объем ресурсов нельзя рассчитывать только по размеру модели. На расход памяти влияют формат весов, квантизация, длина контекста, число одновременных запросов и движок инференса. Поэтому конфигурацию лучше проверить на пилоте: измерить расход VRAM, задержку ответа и пропускную способность на реальной нагрузке.
Для тестирования и локального запуска LLM можно использовать Облачные серверы с GPU Рег.облака. Конфигурацию сервера можно подобрать под требования модели к VRAM и вычислительным ресурсам, а на пилоте проверить скорость инференса и расход памяти под реальной нагрузкой. Если ресурсов недостаточно, конфигурацию можно скорректировать перед запуском модели в рабочей среде.
Как развернуть открытую LLM в своей инфраструктуре
Локальный запуск LLM начинается с выбора модели и сервера, на котором она будет работать. Дальше нужно загрузить веса, запустить модель через специальное ПО и подключить к ней корпоративные сервисы через API.
1. Выберите модель и проверьте лицензию
Сначала определите конкретную версию модели и формат весов. Размер модели и квантизация напрямую влияют на объем VRAM, поэтому от них зависит конфигурация сервера. Заодно проверьте лицензию: она должна разрешать коммерческое использование и другие действия, которые нужны проекту.
2. Подготовьте сервер
Небольшую квантизированную модель можно запустить на одной GPU, крупным моделям понадобится больше видеопамяти или несколько ускорителей. На сервер устанавливают драйверы GPU, необходимые библиотеки и, при необходимости, Docker, чтобы запускать модель в контейнере.
3. Загрузите веса и запустите модель
Веса скачивают из официального репозитория разработчика или каталога вроде Hugging Face. Затем модель запускают через движок инференса, например vLLM или SGLang. Он загружает веса на GPU и поднимает API-сервер, через который к модели обращаются другие приложения.
4. Настройте доступ
API лучше не открывать напрямую в интернет. Его можно оставить во внутренней сети или разместить за обратным прокси с аутентификацией и шифрованием. Если через модель проходят персональные данные, договоры и другие внутренние документы, отдельно настройте хранение логов.
5. Подключите модель и проверьте нагрузку
Через API LLM можно связать с корпоративным чат-ботом, RAG-системой, обработкой обращений или другим сервисом. До запуска в рабочую среду проверьте расход VRAM, скорость ответа и поведение модели при нескольких одновременных запросах.
Если серверу не хватает памяти или ответы приходят слишком медленно, можно перейти на более компактную модель, использовать квантизацию или добавить GPU. После такого теста уже понятно, какая конфигурация нужна локальной LLM для постоянной работы.
Как провести пилот
Сначала определите, что должна делать LLM: отвечать по базе знаний, обрабатывать обращения, писать код или разбирать документы. Затем отберите 2–4 модели, которые подходят по языку, лицензии, размеру контекста и требованиям к инфраструктуре.
Публичные бенчмарки помогут сузить список, но финальную проверку лучше проводить на своих данных. Для пилота можно собрать 50–200 реальных запросов и оценивать модели по одним и тем же критериям:
- качество и точность ответов;
- количество фактических ошибок;
- скорость генерации;
- расход VRAM;
- стоимость обработки запросов;
- работу с длинным контекстом, RAG и внутренними инструментами.
Условия тестирования зависят от цели пилота. Если вы хотите сравнить сами модели, запускайте их в сопоставимых конфигурациях — например, с одинаковой точностью весов и близкими параметрами инференса.
Для пилота не обязательно самостоятельно разворачивать каждую модель. В ИИ-платформе Рег.облака можно получить доступ к разным моделям через единый интерфейс и API и сравнить их на своих задачах.
Если же вы выбираете готовое решение для production, можно тестировать разные рабочие конфигурации, в том числе 4-битную квантизацию для одной модели и FP16 для другой. В этом случае сравнивайте уже итоговые показатели: качество ответов, скорость и расход ресурсов.
По итогам обращайте внимание не только на качество. Если две модели дают близкий результат, но одна требует заметно больше GPU и обходится дороже, для рабочего сервиса разумнее взять более компактный вариант.
Итоги
LLM с открытым исходным кодом дают бизнесу больше свободы: можно выбрать модель под свои задачи, запустить ее в нужной инфраструктуре и при необходимости доработать. При этом не всегда нужна самая крупная или новая модель. Часто компактный вариант решает задачу не хуже, а требует меньше ресурсов и проще в поддержке.
Поэтому открытые модели стоит рассматривать прежде всего как инструмент, который можно встроить в конкретный процесс компании. Если модель дает нужное качество и укладывается в требования по безопасности, скорости и стоимости, ее уже можно переводить из пилота в рабочую систему.
Вопрос-ответ
Что такое open-source LLM?
Open-source LLM — это языковая модель, которую можно запускать на собственной инфраструктуре, изучать и адаптировать под свои задачи. Степень открытости зависит от лицензии: у одних моделей доступны код, веса и документация, у других — только часть этих компонентов.
Чем open-source LLM отличается от модели с открытыми весами?
Модель с открытыми весами дает доступ к уже обученным параметрам, но исходный код, датасеты и процесс обучения могут оставаться закрытыми. Open-source подход предполагает более широкую открытость и меньше ограничений на использование и модификацию.
Можно ли использовать open-source LLM в коммерческих проектах?
Коммерческое использование часто разрешено, но все зависит от лицензии конкретной модели.
Какие локальные LLM хорошо работают с русским языком?
Русский язык поддерживают многие модели, включая Qwen, DeepSeek, Gemma, GLM и GigaChat. Однако качество ответов зависит от конкретной версии и задачи. Поэтому перед внедрением стоит сравнить несколько моделей на русскоязычных документах и запросах компании, проверив понимание терминологии и точность ответов.
Сколько VRAM нужно для запуска LLM?
Объем памяти зависит от числа параметров, формата весов, длины контекста и нагрузки. Для моделей 7–8B при 4-битной квантизации ориентир составляет примерно 6–10 ГБ VRAM, для 14B — около 10–14 ГБ. Для моделей 30B и больше обычно нужны десятки гигабайт видеопамяти.
Что выгоднее для бизнеса: локальная модель или API?
API проще запускать и масштабировать, особенно если объем запросов небольшой или нестабильный. Локальная модель может оказаться выгоднее при постоянной высокой нагрузке, строгих требованиях к конфиденциальности и необходимости полного контроля над системой.
Как защитить корпоративные данные при работе с LLM?
Корпоративные данные стоит защищать с помощью разграничения доступа, шифрования, журналирования и изолированной инфраструктуры. Внешние сервисы также нужно проверять на условия хранения запросов, логирования и использования данных.
Как выбрать open-source LLM под конкретную задачу?
Сначала стоит определить язык, тип задачи, нужный размер контекста, требования к скорости и доступное оборудование. Затем лучше протестировать Несколько подходящих моделей на реальных корпоративных примерах и сравнить по качеству, стоимости и стабильности.