Ситуация, когда языковая модель генерирует информацию, которая является вымышленной, неточной или не основанной на предоставленных данных. Может проявляться в виде несуществующих фактов, цитат, событий или ссылок.
Пример: Модель указывает несуществующую техническую характеристику товара или ссылается на отзыв, которого никогда не было.
Галлюцинации в контексте искусственного интеллекта, особенно больших языковых моделей (LLM), — это феномен, когда модель генерирует информацию, которая кажется правдоподобной и релевантной запросу, но при этом является фактически неверной, вымышленной, искажённой или нелогичной.
Это происходит из-за того, что LLM обучаются на огромных массивах текстовых данных и по своей природе предназначены для предсказания следующего наиболее вероятного слова, а не для установления фактов. Они хорошо умеют улавливать паттерны и стили языка, но не имеют истинного понимания мира или встроенной способности проверять факты. Таким образом, модель может «сочинять» информацию, которая статистически соответствует обученным данным, но не имеет под собой реальной основы.
Галлюцинации представляют серьёзную проблему для доверия к AI-системам, особенно в критически важных областях, таких как медицина, юриспруденция или точные науки. Для минимизации галлюцинаций используются различные методы, включая улучшение данных для обучения, применение техник вроде RAG (Retrieval-Augmented Generation) и более сложное промпт-инжиниринг.