RAG

Что это значит

RAG, генерация с дополнением поиском, - техника, при которой языковая модель сначала находит релевантные фрагменты в надёжных документах компании и лишь из них составляет ответ. Модель отвечает не только тем, чему научилась при обучении, но и на основе актуальных проверенных материалов.

Главная польза - меньше галлюцинаций и возможность работать с внутренними данными, которых модель никогда не видела: регламентами, договорами, прайсами или базой вопросов клиентов. Ответ может содержать ссылки на источник, так что пользователь может его проверить.

Технически документы разбивают на небольшие части, переводят в числовые векторы и сохраняют в поисковой базе. При вопросе система находит наиболее похожие части и вставляет их в промпт вместе с указанием отвечать только на их основе.

Как это работает на практике

Типичное применение - внутренний ассистент, отвечающий сотрудникам на вопросы о процедурах, или чат-бот на сайте, отвечающий клиентам по актуальным условиям и прайсу. Бухгалтерская фирма может так открыть внутреннюю базу знаний о процедурах закрытия или НДС.

Качество зависит от качества материалов. Устаревшие, противоречивые или плохо структурированные документы дают плохие ответы, даже если модель отличная. Поэтому перед внедрением важно почистить базу знаний и определить, кто её обновляет.

Систему нужно тестировать на реальных вопросах и измерять, правильны ли ответы и опираются ли на верные источники. В профессиональных темах разумно, чтобы ответы клиентам проверял человек, пока система не докажет надёжность.

На что обратить внимание

RAG снижает галлюцинации, но не устраняет их. Модель может неверно понять найденный текст, соединить несвязанные фрагменты или ответить, даже не найдя релевантного источника. Помогает указание в таком случае признавать, что ответ неизвестен.

В поисковую базу попадают все загруженные документы. Если среди них есть персональные данные или конфиденциальные договоры, система может показать их неуполномоченному пользователю. Поэтому права доступа к документам должны отражаться и в поиске.