Halucinácia AI

Čo to znamená

Halucinácia AI je situácia, keď jazykový model s istotou uvedie nepravdivú informáciu, napríklad vymyslený paragraf zákona, číslo, rozsudok či zdroj. Odpoveď pritom znie presvedčivo a gramaticky správne, takže chybu nie je ľahké odhaliť bez overenia.

Príčinou je spôsob, akým model funguje: predpovedá najpravdepodobnejšie pokračovanie textu na základe vzorov z trénovacích dát, nie vyhľadáva overené fakty. Ak nemá dostatok informácií, často namiesto priznania neistoty vytvorí odpoveď, ktorá len vyzerá pravdivo.

Riziko je najvyššie pri špecializovaných témach, presných číslach, nedávnych zmenách zákonov a lokálnych pravidlách, napríklad slovenských daňových sadzbách. Práve v daňových a právnych otázkach preto treba výstup generatívnej AI overiť v legislatíve alebo u odborníka.

Ako to funguje v praxi

Riziko halucinácií znižuje pripojenie modelu k overeným zdrojom, napríklad interným dokumentom či aktuálnej legislatíve, a požiadavka, aby odpoveď uvádzala zdroje. Aj tak treba odkazy skontrolovať, pretože model si niekedy vymyslí aj citáciu.

Firmy, ktoré nasadzujú chatbota pre zákazníkov, by mali obmedziť jeho odpovede na overený obsah a pri neistote presmerovať na človeka. Za nesprávnu informáciu, ktorú chatbot poskytne zákazníkovi, môže niesť zodpovednosť firma ako prevádzkovateľ.

Pri internom používaní AI pomáha jasné pravidlo: AI môže pripraviť návrh, zhrnutie či preklad, no výsledok, ktorý ide klientovi, úradu či do účtovníctva, musí skontrolovať človek. Pri AI agentoch, ktoré samostatne konajú, je kontrola ešte dôležitejšia.

Na čo si dať pozor

Vo svete sú známe prípady, keď advokáti predložili súdu podanie s vymyslenými rozsudkami od AI a dostali sankciu. Rovnaké riziko hrozí pri daňovom priznaní či zmluve postavenej na neexistujúcom ustanovení, kde následky nesie podpisujúci, nie nástroj.

Akt o umelej inteligencii ukladá povinnosti najmä poskytovateľom a prevádzkovateľom rizikových systémov a vyžaduje transparentnosť pri interakcii s AI. Zodpovednosť za správnosť rozhodnutí však zostáva na firme, ktorá výstup použije.