RAG, или Retrieval-Augmented Generation (генерация, дополненная поиском), — это метод, с помощью которого большие языковые модели получают доступ к внешним источникам информации и используют их для генерации точных ответов.
В Open WebUI реализован механизм работы с RAG через систему «Знания», куда вы можете загрузить источник информации из ваших документов и создать постоянную базу знаний для многократного использования.
Преимущества подхода:
загруженные документы сохраняются в базе знаний и не теряются после перезагрузки интерфейса или модели;
одну и ту же базу знаний можно подключить к разным моделям и использовать в нескольких независимых чатах;
вы можете структурировать информацию, создавая отдельные базы для разных тематик (например, «Документация по продукту», «Внутренние регламенты», «Личные заметки»);
при изменении информации вам не нужно переобучать модель — достаточно обновить документы в базе знаний.
Настройка RAG
- 1
-
2
Перейдите в раздел Рабочее пространство > Знания.
-
3
Нажмите +, чтобы создать новую базу знаний.
-
4
Укажите название базы, опишите ее цели и выберите видимость (частная или публичная).
-
5
Нажмите Создать знание.
Чтобы загрузить документ в базу знаний:
-
1
Откройте «Знание», кликнув на него.
-
2
Нажмите + или перетащите файлы с компьютера в интерфейс загрузки.
-
3
Дождитесь завершения загрузки.
Вы можете загружать не только файлы (например, .md, .txt, .docx и .xlsx) или папки, но и добавлять текстовый контент прямо в интерфейсе.
Создание RAG-модели
-
1
Перейдите в раздел Рабочее пространство > Модели.
-
2
Нажмите +, чтобы создать новую модель.
-
3
Заполните поля:
— Название модели — придумайте уникальное имя для новой модели;
— Базовая модель — выберите модель из списка предустановленных,
— Знания — нажмите Выбрать знание и выберите вашу базу знаний.
-
4
Нажмите Сохранить и создать.
Готово. Создайте новый чат и выберите RAG-модель для общения — эта сессия по умолчанию будет использовать вашу базу знаний для поиска релевантной информации.