Что такое токены в нейросети простыми словами

Что такое токены простыми словами

Токен — кусочек текста, с которым работает нейросеть: целое слово, часть слова, знак препинания или пробел. Нейросеть читает и пишет не буквами и не словами, а токенами. В них же считают длину запроса и ответа, и за них платят разработчики. В русском тексте токен — в среднем от 3 до 5 символов.

В документации Яндекса это сказано так: нейросети работают с текстами, «представляя слова и предложения в виде токенов — смысловых отрывков или часто встречающихся последовательностей символов, характерных для естественного языка».

Сколько символов в одном токене

Точного правила нет: у каждой нейросети свой способ резать текст на токены — токенизатор. Разработчики дают ориентиры:

• Сбер: «В среднем в одном токене 3—4 символа, включая пробелы, знаки препинания и специальные символы».
• OpenAI для английского: «1 token is approximately 4 characters» — примерно 4 символа, или три четверти слова. Там же оговорка, что в других языках соотношение другое.
• DeepSeek: один английский символ — около 0,3 токена, китайский — около 0,6.

Самый наглядный пример — в документации Яндекса. Один и тот же русский текст из 501 символа три модели разбили по-разному:

У модели Яндекса — 96 токенов, у Qwen3 235B — 139. Яндекс объясняет это так: «Модели Яндекса используют токенизатор, специально оптимизированный для работы с текстами на русском языке». На английском тексте разница почти исчезла: 89 токенов у модели Яндекса и 87 у двух других. Сам Яндекс оговаривает, что примеры приведены для иллюстрации.

Почему это важно

Длина запроса и ответа. У каждой нейросети есть предел — сколько токенов она удерживает за раз. Его называют контекстным окном. Например, у моделей DeepSeek, по их документации, контекст — 1 млн токенов, а ответ — до 384 тысяч. OpenAI пишет: «The context window limits the tokens a model can work with in a request» — окно ограничивает, сколько токенов модель учитывает в запросе. То, что в него не поместилось, модель учесть не может.

Цена. Разработчики, которые подключают нейросеть к своим сервисам, платят за токены. Например, у GigaChat API физлица получают «365 000 000 бесплатных токенов для генерации текста» на год, а дальше покупают пакеты: 20 млн токенов модели GigaChat 2 Lite — 1 300 ₽ на месяц. Сбер отдельно пишет, что повторяющиеся части запросов модель запоминает на время, и «кэшированные токены не подлежат тарификации».

Русский текст обходится дороже. На русском у многих моделей токенов выходит больше, чем на английском при том же смысле, — это видно по примеру Яндекса выше.

Искры, энергия и токены у агрегаторов

Если вы пользуетесь нейросетями через российские агрегаторы, токенов можете и не увидеть — там свои единицы.

• MashaGPT считает текст в токенах и объясняет в ответах на вопросы: «1 токен ≈ 1 слово на русском». В тарифе Base — 20 млн токенов в месяц. Картинки и видео при этом считаются в отдельной единице — «энергии».
• Chad AI слово «токен» в тарифах не использует. Его единица — искра, и она привязана к словам: у каждой модели свой курс, сколько искр стоит одно слово. Считаются слова запроса, ответа и контекста диалога, а слова длиннее 20 символов разбиваются на части.

Сравнивать тарифы разных сервисов напрямую поэтому сложно: слово, токен и искра — разные единицы.

Как тратить меньше токенов

1. Шаг 1. Пишите запрос коротко и по делу: без повторов и лишних вступлений.
2. Шаг 2. Для новой задачи начинайте новый чат. Вся прошлая переписка тоже занимает место в контекстном окне.
3. Шаг 3. Длинный документ не вставляйте целиком, если нужна одна его часть.
4. Шаг 4. Просите нужный объём ответа: «в 3 предложениях», «списком из 5 пунктов».

Как составить запрос, чтобы нейросеть отвечала по делу, — в статье о том, как написать промпт. Про тарифы GigaChat и DeepSeek — в отдельных статьях о GigaChat и DeepSeek.

Как это делаем мы

Мы используем нейросети в работе и видим, как быстро растёт расход, если отправлять в модель лишнее. Поэтому даём ей только нужные данные — это дешевле и точнее. Как ИИ помогает бизнесу разбирать обращения и отчёты, — на странице автоматизации с ИИ. Что такое ИИ вообще, — в статье что такое искусственный интеллект.

Токены — это не только про деньги разработчиков. Когда нейросеть вдруг «забывает», о чём вы договорились в начале разговора, одна из частых причин — переписка стала слишком длинной. Начните новый чат и коротко перескажите главное — ответы снова станут точными.

Вагиз Хасанов, основатель Seo Rezult

Частые вопросы о токенах

Автор статьи

Вагиз Хасанов

Основатель Seo Rezult

Больше 10 лет в SEO. Основал Seo Rezult: сейчас в команде больше 10 специалистов и больше 280 проектов. В блоге пишет о продвижении сайтов в Яндексе и Google простыми словами.

В команде

Seo Rezult: 10 лет, 10+ специалистов, 280+ проектов

Впервые опубликовано

28 сентября 2026

Все статьи автора