Галюцинація ШІ

Що це означає

Галюцинація ШІ - це ситуація, коли мовна модель упевнено повідомляє неправдиву інформацію, наприклад вигадану статтю закону, цифру, рішення суду чи джерело. Відповідь при цьому звучить переконливо й граматично правильно, тож помилку непросто помітити без перевірки.

Причина - у принципі роботи моделі: вона передбачає найімовірніше продовження тексту на основі закономірностей із навчальних даних, а не шукає перевірені факти. Якщо інформації бракує, замість визнання непевності вона часто створює відповідь, яка лише виглядає правдивою.

Ризик найвищий у спеціальних темах, точних цифрах, нещодавніх змінах законів і місцевих правилах, наприклад словацьких податкових ставках. Саме в податкових і правових питаннях результат генеративного ШІ треба перевіряти за законодавством чи у фахівця.

Як це працює на практиці

Ризик галюцинацій знижує підключення моделі до перевірених джерел, наприклад внутрішніх документів чи актуального законодавства, і вимога зазначати джерела у відповіді. Але посилання однаково треба перевіряти, бо модель іноді вигадує й цитати.

Компаніям, що впроваджують чат-бота для клієнтів, варто обмежити його відповіді перевіреним контентом і за непевності перенаправляти на людину. За неправильну інформацію, яку чат-бот надав клієнтові, може відповідати компанія як оператор.

Під час внутрішнього використання ШІ допомагає чітке правило: ШІ може підготувати чернетку, резюме чи переклад, але результат, що йде клієнтові, до установи чи в облік, має перевірити людина. Для ШІ-агентів, що діють самостійно, контроль ще важливіший.

На що звернути увагу

У світі відомі випадки, коли адвокати подали до суду документ із вигаданими ШІ рішеннями й отримали санкції. Такий самий ризик є в податкової декларації чи договору, побудованих на неіснуючому положенні, де наслідки несе той, хто підписав, а не інструмент.

Акт про штучний інтелект покладає обов'язки передусім на постачальників і операторів систем високого ризику й вимагає прозорості під час взаємодії зі ШІ. Відповідальність за правильність рішень однак залишається на компанії, що використовує результат.