В этой статье · 6 разделов
Простыми словами
Нейросеть не читает буквы и не читает слова. Перед тем как текст попадёт в модель, его режут на токены: короткие слова остаются целыми, длинные делятся на части, знаки препинания и пробелы тоже становятся токенами. «Кот» — один токен, «нейросетевой» — три или четыре. Модель видит только последовательность номеров таких кусочков.
Зачем это знать обычному пользователю? Потому что в токенах измеряется всё: сколько текста можно отправить, сколько модель помнит, когда закончится лимит на тарифе и сколько будет стоить запрос через API.
Русский текст дороже английского
Токенизаторы большинства моделей обучались в основном на английском, поэтому английский режется экономно, а русский дробится сильнее. Один и тот же абзац по-русски занимает примерно вдвое больше токенов, чем его перевод. На практике это значит две вещи: лимиты бесплатных тарифов на русском кончаются быстрее, а API для русскоязычного проекта обходится дороже при том же объёме текста. У китайских моделей вроде DeepSeek и Qwen токенизаторы часто дружелюбнее к кириллице, и разница меньше.
Токены и лимиты
Когда сервис пишет «лимит 40 сообщений за 3 часа», он упрощает. Внутри лимит обычно считается в токенах, и длинный диалог с большими вставками кода съедает его быстрее, чем короткая переписка. Отсюда частый совет: начинать новый чат под новую задачу, не таскать за собой историю на сотни сообщений. Каждый ответ модель перечитывает весь диалог, поэтому к концу длинной беседы каждое новое сообщение стоит дороже, чем в начале.
Токены и цена API
В тарифах разработчиков цена указывается за миллион токенов, отдельно за ввод и за вывод. Чтобы оценить расход, можно считать грубо: страница A4 текста на русском — около тысячи токенов. Ответ в пять абзацев — 400–600 токенов вывода. Для чат-бота поддержки с тысячей диалогов в день это уже миллионы токенов в месяц, и выбор модели сильно влияет на счёт.
Контекстное окно
Контекст, или контекстное окно, — это сколько токенов модель может удержать разом: ваш запрос, загруженный файл, история переписки и собственный ответ. У современных моделей оно от 128 тысяч до миллиона токенов. Миллион звучит бесконечно, но книга средней толщины на русском — это 250–350 тысяч токенов, а рабочая переписка с десятком документов заполняет окно незаметно. Когда место кончается, сервис либо обрезает начало, либо просит начать новый чат.
Как посмотреть токены своими глазами
У OpenAI и Anthropic есть открытые токенизаторы: вставляете текст и видите, как он режется и сколько получилось. Полезно один раз попробовать, чтобы перестать считать текст словами. После этого лимиты и цены в тарифах начинают выглядеть понятнее, а термин из словаря LLM перестаёт быть абстракцией.