Галлюцинации

Галлюцинации – выдуманные ответы модели: та самая вымышленная судебная практика и несуществующие статьи законов. Модель выдает их уверенно и убедительно – в этом главная опасность для юриста.

Две причины

1. Модель наказывали за «я не знаю». При обучении ответ «не знаю» считался браком – кто купит нейросеть, которая не знает? Модель научилась вместо признания в незнании убедительно придумывать. Поэтому прием «если не уверен – так и скажи» работает: вы явно разрешаете модели честность.
2. Модель помнит усредненно. LLM обучена на всем интернете, но запоминает не тексты, а усредненное представление о них (см. как работает LLM). Без выхода в интернет она «помнит все, но плохо» – и выдает правдоподобный усредненный ответ вместо точной цитаты.

Что усиливает галлюцинации

• Переполненное контекстное окно – модель забывает начало и додумывает.
• Вопросы про конкретные реквизиты (номера дел, статьи, даты) без первоисточников под рукой.
• Быстрые модели без рассуждения – см. рассуждающие модели.

Галлюцинации лечатся – см. приемы против галлюцинаций. А чем они заканчиваются в суде – см. нейрослоп в суде.

Связанные заметки: Приемы против галлюцинаций · Первоисточники и RAG · Недетерминированность