Галлюцинация ИИ

Что это значит

Галлюцинация ИИ - это ситуация, когда языковая модель уверенно сообщает ложную информацию, например выдуманную статью закона, цифру, решение суда или источник. Ответ при этом звучит убедительно и грамматически правильно, поэтому ошибку непросто заметить без проверки.

Причина - в принципе работы модели: она предсказывает наиболее вероятное продолжение текста на основе закономерностей из обучающих данных, а не ищет проверенные факты. Если информации недостаточно, вместо признания неуверенности она часто создаёт ответ, который лишь выглядит правдивым.

Риск выше всего в специальных темах, точных цифрах, недавних изменениях законов и местных правилах, например словацких налоговых ставках. Именно в налоговых и правовых вопросах результат генеративного ИИ нужно проверять по законодательству или у специалиста.

Как это работает на практике

Риск галлюцинаций снижает подключение модели к проверенным источникам, например внутренним документам или актуальному законодательству, и требование указывать источники в ответе. Но ссылки всё равно нужно проверять, потому что модель иногда выдумывает и цитаты.

Компаниям, внедряющим чат-бота для клиентов, стоит ограничить его ответы проверенным контентом и при неуверенности перенаправлять на человека. За неверную информацию, которую чат-бот дал клиенту, может отвечать компания как оператор.

При внутреннем использовании ИИ помогает ясное правило: ИИ может подготовить черновик, резюме или перевод, но результат, идущий клиенту, в ведомство или в учёт, должен проверить человек. Для ИИ-агентов, действующих самостоятельно, контроль ещё важнее.

На что обратить внимание

В мире известны случаи, когда адвокаты подали в суд документ с выдуманными ИИ решениями и получили санкции. Такой же риск есть у налоговой декларации или договора, построенных на несуществующем положении, где последствия несёт подписавший, а не инструмент.

Акт об искусственном интеллекте возлагает обязанности прежде всего на поставщиков и операторов систем высокого риска и требует прозрачности при взаимодействии с ИИ. Ответственность за правильность решений всё же остаётся на компании, использующей результат.