Бенчмарки и evals
Бенчмарк – общий тест, на котором сравнивают модели. Eval – ваша проверка конкретного процесса. В рейтинге модель может быть первой по математике и проваливать проверку договоров аренды.
У бенчмарка смотрим не только итоговое место:
- что именно проверяли;
- кто подготовил ответы и критерии;
- использовали ли веб-поиск и рассуждение;
- одинаковы ли промпты, лимиты и инструменты;
- есть ли разброс результатов, а не один удачный запуск.
Свой eval
Возьмите 20–30 реальных обезличенных задач: договоры с известными рисками, акты с проверенными выводами, примеры хороших и плохих документов. Заранее запишите критерии и вес ошибок. Запускайте модели вслепую несколько раз, потому что ответы недетерминированы.
Оценивайте не красоту текста, а полезность: пропущенный риск, ложное замечание, точность цитаты, время и стоимость. После обновления модели повторите тот же набор. Так выбор перестает зависеть от рекламного поста и личного ощущения после двух запросов.
Связанные заметки: Большая четверка · Как заметить выдумку · Human in the loop
Материалы по теме: юридические бенчмарки: как выбрать ИИ