Термін
RAG
Retrieval-augmented generation - техніка, за якої мовна модель перед відповіддю знаходить релевантні фрагменти в надійних документах компанії й складає відповідь на їх основі. Зменшує галюцинації та дає змогу працювати з актуальними внутрішніми даними.
Оновлено
Що це означає
RAG, генерація з доповненням пошуком, - техніка, за якої мовна модель спершу знаходить релевантні фрагменти в надійних документах компанії й лише з них складає відповідь. Модель відповідає не лише тим, чого навчилася під час тренування, а й на основі актуальних перевірених матеріалів.
Головна користь - менше галюцинацій і можливість працювати з внутрішніми даними, яких модель ніколи не бачила: регламентами, договорами, прайсами чи базою запитань клієнтів. Відповідь може містити посилання на джерело, тож користувач може її перевірити.
Технічно документи розбивають на невеликі частини, перетворюють на числові вектори й зберігають у пошуковій базі. Під час запитання система знаходить найсхожіші частини й вставляє їх у промпт разом із вказівкою відповідати лише на їх основі.
Як це працює на практиці
Типове застосування - внутрішній асистент, що відповідає працівникам на запитання про процедури, чи чат-бот на сайті, що відповідає клієнтам за актуальними умовами й прайсом. Бухгалтерська фірма може так відкрити внутрішню базу знань про процедури закриття чи ПДВ.
Якість залежить від якості матеріалів. Застарілі, суперечливі чи погано структуровані документи дають погані відповіді, навіть якщо модель чудова. Тому перед упровадженням важливо почистити базу знань і визначити, хто її оновлює.
Систему треба тестувати на реальних запитаннях і вимірювати, чи правильні відповіді й чи спираються на правильні джерела. У фахових темах розумно, щоб відповіді клієнтам перевіряла людина, доки система не доведе надійність.
На що звернути увагу
RAG зменшує галюцинації, але не усуває їх. Модель може неправильно зрозуміти знайдений текст, поєднати непов'язані фрагменти чи відповісти, навіть не знайшовши релевантного джерела. Допомагає вказівка в такому разі визнавати, що відповідь невідома.
До пошукової бази потрапляють усі завантажені документи. Якщо серед них є персональні дані чи конфіденційні договори, система може показати їх неуповноваженому користувачеві. Тому права доступу до документів мають відображатися й у пошуку.
Потрібно пояснити термін на вашій конкретній ситуації? Консультації від 55 € / година без ПДВ, залежно від теми та складності.