Что представляют собой галлюцинации ИИ
Когда программа получает сложный запрос, ответ на который не знает, она начинает выдумывать факты. Более того, модель настаивает на своей правоте, если человек пытается ее корректировать. Например, она может давать ссылки на несуществующие научные исследования.
Важно понимать: галлюцинации происходят не по воле искусственного интеллекта, он не пытается сознательно обмануть человека. Такие ситуации обусловлены самой сутью нейросетей.
Почему возникают галлюцинации
Программу может поставить в тупик сложный запрос, который предполагает цепь последовательных рассуждений. Но все же основная причина галлюцинаций — недостаток данных.
- Многие языковые модели проходили обучение на массиве информации до 2021 года.
- Иногда в нейросети отправляют изначально некачественные сведения.
- ИИ не содержит собственных знаний, а лишь генерирует наиболее вероятностный ответ из загруженного контента. Однако законы вероятности накладывают ограничения: не каждый результат может быть верным.
Какими бывают галлюцинации
Заведомо ложная информация
Пользователи неоднократно «ловили» языковые модели на «выдумках». Они могут давать определение несуществующим явлениям, предлагать списки фиктивных научных исследований, генерировать биографии людей, которых в действительности никогда не было.
Неправильная интерпретация данных
Иногда ИИ неверно понимает информацию и делает ошибочные выводы. Например, нейросеть анализирует поток автомобилей и выявляет те, где водитель не пристегнут. В ее выборку периодически попадают не только нарушители, но и владельцы праворульных машин.
Неуникальный результат
Периодически программы лишь слегка видоизменяют готовый контент, а не создают новый. Например, они предлагают в качестве сгенерированной картинки фотографию реального человека. Такая галлюцинация кажется безобидной, однако на самом деле открывает доступ к персональным данным конкретных людей.
Резкое снижение качества результата
Спустя несколько циклов обучения нейросети могут начать внезапный регресс. Например, лица на фотографиях становятся нечеткими, на них появляются необъяснимые волны и полосы. Обычно это связано с тем, что ИИ начинает обучаться на контенте, который сгенерировал сам. Пропадает вариативность — соответственно, результаты все больше приближаются к некому усредненному и ложному значению.
Выполнение задач, которых никто не ставил
Одна из самых загадочных галлюцинаций. В некоторых случаях нейросеть начинает делать то, о чем ее не просили. Например, не просто переводит заданную часть текста, но и дописывает его. Или сама генерирует странные изображения и публикует их в интернете.
Как распознать галлюцинацию
К сожалению, простых и универсальных индикаторов нет. Некоторые галлюцинации выглядят крайне правдоподобно. Поэтому любой ответ нейросети нужно проверять по общим правилам фактчекинга.
- Верифицируйте по поисковикам все ключевые сведения, которые упоминаются в сгенерированном контенте: имена, исследования, географические названия. Следите за авторитетностью сайтов, на которых опубликована информация.
- Тестируйте оригинальность сгенерированных изображений. Для этого используйте поиск по картинкам в крупных системах вроде Google или «Яндекс», на известных фотостоках.
- Обращайте внимание на фразы, которые выглядят как аксиомы — то есть то, что общеизвестно и не требует доказательств. Их можно распознать по словам: «признано», «считается», «все знают» и т.д. Проверяйте такие аксиомы на подлинность или просите нейросеть конкретизировать поверхностные утверждения.
- Используйте несколько независимых нейросетей для одной и той же задачи, чтобы у вас была возможность сравнить результаты их работы.