Галлюцинации ИИ

Каждый, кто работал с ChatGPT, Claude или любой другой нейросетью, наверняка попадал в такую ситуацию: модель уверенно выдавала ответ с фактами, цифрами и ссылками, а при проверке оказывалось, что половина из них выдумана. Это и есть галлюцинации ИИ — ситуации, когда нейросеть генерирует ложную или неточную информацию. Разбираем в статье, почему это происходит и что с этим делать.

Какими бывают галлюцинации ИИ

Галлюцинации встречаются в ответах любых моделей и не всегда заметны с первого взгляда. Чаще всего они затрагивают:

Факты. Нейросеть может выдумать даты, имена, события или статистику. Например, заявить, что некий закон был принят в конкретном году, хотя в действительности такого закона никогда не существовало. Или придумать кейс, в которому фигурирует название несуществующей компании.

Источники. Модели генерируют ссылки на несуществующие статьи, книги или исследования. При этом указывают реальные имена авторов и правдоподобные названия источников, так что на первый взгляд всё может выглядеть убедительно. 

Так в 2023 году американский адвокат Стивен Шварц подал в суд документ со ссылками на шесть судебных прецедентов, которые ChatGPT представил как существующие дела. Ни одного из них в действительности не существовало, и когда суд это обнаружил, адвоката оштрафовали на $5000.

Контекст. ИИ «додумывает» детали, которых не было в запросе. Если пользователь попросил описать событие в общих чертах, модель может добавить подробности, которые сама же и сгенерировала.

Галлюцинации бывают не только в тексте, но и в изображениях, видеороликах. Часто такой контент выглядит нелепо и смешно, из-за чего в сети появился термин «ИИ-слоп» — низкокачественная генерация нейросетей.

С галлюцинациями сталкиваются пользователи всех популярных моделей: ChatGPT, Gemini, Claude, YandexGPT. Есть способы снизить число ошибок — например, использовать технологию RAG, при которой нейросеть сначала находит информацию в базе данных, а потом формирует ответ на ее основе. Это снижает количество галлюцинаций, но не устраняет их полностью.

Почему ИИ галлюцинирует

Причина галлюцинаций связана с устройством языковых моделей. Нейросеть не хранит в себе базу знаний и не ищет ответы в справочнике. Она обучена на огромном массиве данных и работает по принципу предсказания: например, получает начало фразы и подбирает наиболее вероятное продолжение. 

Модель не знает факты, а воспроизводит паттерны из данных, на которых ее обучили. Если в них не было ответа на вопрос, нейросеть не предупреждает об этом: ей проще достроить правдоподобный ответ, чем сообщить о недостатке информации.

Нейросеть может ошибиться в любом ответе, но некоторые факты повышают риск галлюцинаций:

Редкие или узкоспециализированные темы. Чем меньше данных для обучения, тем больше модели приходится «додумывать». Если спрашивать про малоизвестное событие или нишевую область, вероятность получить выдуманный ответ растет. Например, в вопросах в сферах юриспруденции и медицины нейросеть может сослаться на несуществующий закон или перепутать противопоказания к препарату.

Устаревшие данные в обучающей выборке. Многие нейросети уже умеют искать информацию в интернете в реальном времени, но даже в этом случае модель может неправильно интерпретировать или смешать актуальные и устаревшие факты.

Переполненное контекстное окно. У каждой модели есть ограничение на объем текста или количество изображений, которые она может удерживать в рамках одного диалога. Когда переписка становится слишком длинной, модель начинает забывать ранние сообщения, путать детали и смешивать факты из разных частей разговора. 

Расплывчатые или наводящие вопросы. Если в запросе мало контекста, модель заполняет пробелы сама. Чем абстрактнее вопрос, тем больше у нейросети возможностей для интерпретации, поэтому желательно формулировать запросы максимально конкретно.

Это касается не только текста: если попросить нейросеть построить график или диаграмму, она может использовать придуманные значения и выдать их за настоящие. Поэтому ссылки, статистика, даты и любые визуализированные данные в ответах нейросети нужно обязательно проверять.

Как не допустить ошибок из-за галлюцинаций ИИ

Полностью исключить галлюцинации нейросетей пока невозможно, но есть способы, как минимизировать их последствия:

Не доверять ссылкам и источникам без проверки. Например, модель может сослаться на реальное издание вроде The Lancet или Harvard Business Review, но при этом выдумать конкретную публикацию. Поэтому прежде чем использовать такие данные, стоит открыть источник и убедиться, что он существует и содержит именно ту информацию, которую указала нейросеть.

Проверять цифры, даты и имена отдельно. Статистика, хронология событий и упоминания конкретных людей — слабые места языковых моделей. Нейросеть может назвать правильную компанию, но указать неверный год основания или привести выдуманную статистику. Любые фактические данные лучше сверять с первоисточниками: официальными сайтами, базами данных, проверенными изданиями.

Задавать уточняющие вопросы. Если попросить модель указать источник информации или переспросить, точны ли данные, она иногда сообщает о неточностях. Можно спросить: «Откуда эта информация?», «Ты точно уверена в этих цифрах?», «Этот закон действительно существует?». Это не защищает от ошибок полностью, но работает как дополнительный фильтр.

Использовать нейросети с доступом к интернету. Для фактических запросов лучше подходят сервисы, которые ищут информацию в сети в реальном времени, например Perplexity, ChatGPT, Claude, Gemini с подключенным поиском. Они не просто генерируют текст, а обращаются к актуальным источникам и дают на них ссылки. Это снижает вероятность получить выдуманный ответ, хотя и не исключает ее полностью.

Не полагаться на ИИ в критически важных задачах. В юридических, медицинских и финансовых вопросах нейросеть не заменяет профильного специалиста. Она может помочь разобраться в теме на базовом уровне, подготовить черновик документа. Но итоговое решение должно приниматься на основе проверенных источников и экспертного мнения.

Коротко о главном 

Галлюцинации — это ложная или неточная информация, которую нейросеть выдает как достоверный факт. Модель может придумать ссылку, цитату, статистику или событие и подать это как проверенные данные.

Причина в самом принципе работы языковых моделей. Они не ищут информацию в базе знаний, а предсказывают наиболее вероятное продолжение текста. Из-за этого ответ может выглядеть логично, но не соответствовать действительности.

При работе с нейросетями стоит проверять факты, ссылки и цифры и не полагаться на ИИ как на единственный источник. Модели помогают подготовить черновик, но финальная проверка остается за человеком.