Что это
Галлюцинация - выдумка, которую модель подаёт тем же уверенным тоном, что и факт. Модель предсказывает продолжение текста, и если нужного факта в контексте нет, всё равно достроит ответ самым похожим на правду. В коде это вызов несуществующей функции, в тексте - ссылка на статью, которую никто не писал.
Как это выглядит на практике
Я попросил агента собрать черновик пресс-релиза, и он сам поставил дату запуска и цены, которых я не давал. Выглядело убедительно. Без проверки цифры уехали бы на сайт.
Подрядчик галлюцинирует так же: пишешь задание, через две недели получаешь «не то» и платишь за переделку. У ИИ ошибку видно сразу, и правка занимает минуту.
Связь с практикумом
Меньше всего выдумок там, где модели нечего угадывать. Агент, который читает Второй мозг проекта, начинает с полного знания. В инструкции агенту пишу: цены и даты только из переданных данных. Всё, что уходит людям, сверяю с источником. Второй мозг, ИИ-клон и контекст-инжиниринг - та связка, без которой ИИ галлюцинирует.
