Универсальная языковая модель много знает о мире, но ничего - о ваших ценах, договорах и внутренних правилах. Генерация с поиском, или RAG, закрывает этот пробел без обучения новой модели.
Как это работает
RAG добавляет перед ответом шаг поиска. Ваши документы - статьи базы знаний, регламенты, описания продуктов, прошлые ответы клиентам - делятся на небольшие фрагменты и индексируются по смыслу. Когда приходит вопрос, система находит самые подходящие фрагменты и передаёт их модели вместе с вопросом. Модель пишет ответ на основе этого материала, в идеале - со ссылками на использованные источники.
Когда RAG - правильный выбор
RAG хорошо подходит, когда информация часто меняется и должна оставаться точной: каталоги товаров, база знаний поддержки, внутренние процедуры, юридическая или техническая документация. Чтобы обновить ассистента, достаточно обновить документы - переобучение не нужно. Его также проще контролировать: видно, какие фрагменты использовались, и ответ можно сверить с ними.
Что обычно идёт не так
Большинство проблем связано с данными, а не с моделью. Устаревшие или противоречивые документы дают противоречивые ответы. Огромные неструктурированные файлы плохо делятся на фрагменты, и поиск возвращает нерелевантные куски. Часто забывают о правах доступа: ассистент для клиентов не должен видеть внутренние документы. И наконец, без набора тестовых вопросов с известными правильными ответами никто не может сказать, стала система лучше или хуже после изменений.
С чего начать
Выберите одну понятную область, например ответы на сто самых частых вопросов клиентов. Приведите в порядок документы по этой теме, определите, кто что может видеть, подготовьте двадцать-тридцать тестовых вопросов и измерьте, как часто ассистент отвечает верно и ссылается на правильный источник. Только после этого расширяйтесь на новые темы.
Коротко
RAG превращает универсальную модель в ассистента, который говорит языком ваших документов. Его качество гораздо больше зависит от чистых данных, продуманных прав доступа и регулярного тестирования, чем от выбора модели.