Fine-tuning

Fine-tuning – дообучение готовой модели на ваших примерах. Оно меняет привычное поведение модели: стиль, формат ответа, классификацию или способ выполнять узкую повторяющуюся задачу.

Дообучение не загружает в модель актуальный кодекс и не гарантирует точные ссылки. Для знаний, которые меняются, нужен RAG. Для алгоритма работы часто достаточно хорошего промпта, скилла или примеров.

Когда имеет смысл

• задача выполняется тысячи раз;
• есть много качественных пар «вход → правильный ответ»;
• формат стабилен и его можно измерить;
• промпты и примеры уже не дают нужной надежности;
• подготовлен отдельный eval для проверки результата.

Главная проблема – данные. Если обучить модель на старых, противоречивых или посредственных документах, она аккуратно выучит их ошибки. Нужны очистка, разметка, тестовый набор и повторная проверка после каждого обновления базовой модели.

Для юридического отдела fine-tuning обычно не первый шаг. Сначала узкий процесс, хорошие источники, жесткий формат и человеческое подтверждение. Только потом считаем, окупится ли дообучение.

Связанные заметки: Кастомные боты · Structured output · Бенчмарки и evals