RAG

Čo to znamená

RAG, generovanie rozšírené o vyhľadávanie, je technika, pri ktorej jazykový model najprv vyhľadá relevantné pasáže v dôveryhodných dokumentoch firmy a až z nich zostaví odpoveď. Model tak neodpovedá len z toho, čo sa naučil počas tréningu, ale z aktuálnych a overených podkladov.

Hlavným prínosom je menej halucinácií a možnosť pracovať s internými údajmi, ktoré model nikdy nevidel: smernicami, zmluvami, cenníkmi či databázou otázok klientov. Odpoveď môže obsahovať odkazy na zdroj, takže si ju používateľ vie overiť.

Technicky sa dokumenty rozdelia na menšie časti, prevedú na číselné vektory a uložia do vyhľadávacej databázy. Pri otázke systém nájde najpodobnejšie časti a vloží ich do promptu spolu s pokynom, aby model odpovedal len na ich základe.

Ako to funguje v praxi

Typickým využitím je interný asistent, ktorý odpovedá zamestnancom na otázky o postupoch, alebo chatbot na webe, ktorý odpovedá klientom z aktuálnych podmienok a cenníka. Účtovná firma môže takto sprístupniť internú znalostnú bázu o postupoch pri uzávierke či DPH.

Kvalita závisí od kvality podkladov. Zastarané, protichodné alebo zle štruktúrované dokumenty vedú k zlým odpovediam, aj keď je model výborný. Pred zavedením je preto dôležité vyčistiť znalostnú bázu a nastaviť, kto ju aktualizuje.

Systém treba testovať na reálnych otázkach a merať, či odpovede sú správne a či sa opierajú o správne zdroje. Pri odborných témach je rozumné, aby odpovede pre klientov kontroloval človek, kým systém nepreukáže spoľahlivosť.

Na čo si dať pozor

RAG halucinácie znižuje, ale neodstraňuje. Model môže zle pochopiť nájdený text, spojiť nesúvisiace pasáže alebo odpovedať aj vtedy, keď relevantný zdroj nenašiel. Pomáha pokyn, aby v takom prípade priznal, že odpoveď nepozná.

Do vyhľadávacej databázy sa dostanú všetky vložené dokumenty. Ak medzi nimi sú osobné údaje či dôverné zmluvy, systém ich môže zobraziť neoprávnenému používateľovi. Prístupové práva k dokumentom sa preto musia premietnuť aj do vyhľadávania.