Токены

Токен – это единица информации для LLM: слово, часть слова или знак препинания. Фраза «составь договор поставки» – три слова, но около шести токенов. Посмотреть, как модель «нарезает» ваш текст, можно в сервисе tiktokenizer.

На что расходуются токены

Токены тратятся не только на текст, который вы отправляете:

• режим рассуждения – модель «думает» токенами;
• выход в интернет и поиск информации;
• вызов инструментов – например, когда модель пишет Python-скрипт, чтобы собрать вам файл DOCX.

Зачем юристу это знать

Контекстное окно измеряется в токенах, а лимиты могут быть в токенах, сообщениях, кредитах, режимах и временных окнах. Чем экономнее расходуются токены, тем больше документов модель переварит без потери качества.

⮕ Как экономить:

1. Конвертировать PDF в Markdown перед загрузкой – распознавание текста из PDF сжирает заметную часть окна.
2. Разбивать большие задачи на части или на несколько диалогов.
3. Не держать подключенными лишние MCP-коннекторы.

Связанные заметки: Как работает LLM · Контекстное окно