ИИтог

ttok 1.0: токенизатор по умолчанию меняют на GPT-5/GPT-6

инструментыРедакция ИИтогSimon Willison🔥37Рейтинг ИИтог37Влияние25Новизна30Релевантность75Неожиданность25Участники25Достоверность45

9 октября 2026 года в блоге по адресу simonwillison.net вышла короткая заметка об утилите ttok. Её автор выпустил версию 0.4, обновил установку командой uv tool upgrade ttok, подал в новую версию файл и обнаружил, что по умолчанию она использует токенизатор GPT-4, хотя «совершенно очевидно» должна использовать токенизатор GPT-5/GPT-6.

Смену умолчания автор счёл подходящим поводом наконец выпустить версию 1.0.

Есть оговорка: OpenAI пока не подтвердила, что GPT-6 использует тот же токенизатор, что и семейство GPT-5; по этому поводу, как пишет автор, есть гневный issue (обращение в трекере). Зато автор нашёл коммит William Liu, в котором описан эксперимент, подтверждающий, что токенизаторы, вероятно, одинаковы.

Из текста коммита, который приведён в заметке: все семь моделей GPT (5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) показывают 44 794 токена и совпадают друг с другом на каждом из 31 тестового примера (fixtures). GPT-6 не вносит изменений в подсчёт входных токенов на этом корпусе.

Итог: умолчание ttok переключают на токенизатор GPT-5/GPT-6, опираясь на косвенное подтверждение со стороны стороннего эксперимента, а не на официальное заявление OpenAI.

Ключевые факты

  • После выхода ttok 0.4 автор заметил, что утилита по умолчанию использует токенизатор GPT-4, а не GPT-5/GPT-6.
  • Смену умолчания автор счёл поводом выпустить ttok 1.0.
  • OpenAI пока не подтвердила, что GPT-6 использует тот же токенизатор, что и семейство GPT-5.
  • В эксперименте из коммита William Liu семь моделей GPT (5.5, 5.6 и 6) показали по 44 794 токена и совпали на всех 31 тестовых примерах.
  • Вывод об одинаковых токенизаторах в источнике сформулирован осторожно: «вероятно».

Почему это важно

Токенизатор по умолчанию определяет, по каким правилам утилита считает токены в поданном файле. В ttok 0.4 это был токенизатор GPT-4 вместо нужного GPT-5/GPT-6, и именно это автор счёл достаточным поводом для версии 1.0. Заметка заодно показывает открытый вопрос: у GPT-6 токенизатор официально не подтверждён как совпадающий с семейством GPT-5.

Кому это важно

Пользователям ttok, которые считают токены для моделей GPT-5.x и GPT-6, и всем, кто опирается на предположение, что у GPT-6 тот же токенизатор, что и у GPT-5.

Как это применить

Автор обновлял утилиту командой uv tool upgrade ttok и проверил поведение новой версии на реальном файле, та же проверка имеет смысл после любого обновления: убедитесь, какой токенизатор утилита использует по умолчанию. Сведений о цене или лицензии в источнике нет.

Можно ли доверять

Источник, короткая заметка в личном блоге от первого лица. Утверждение об одинаковых токенизаторах опирается на коммит стороннего автора, William Liu, а не на подтверждение OpenAI; сам автор заметки называет вывод вероятным, не окончательным. Репозиторий коммита и описание набора тестовых примеров в тексте не названы.

Риски и подводные камни

Эксперимент проверял совпадение подсчёта входных токенов на одном корпусе из 31 тестового примера, поэтому гарантией для любых текстов это считать нельзя. Пока OpenAI не подтвердила общий токенизатор, расхождения у GPT-6 и GPT-5 нельзя исключить полностью. Кроме того, в заметке не сказано, чем итоговый подсчёт по GPT-4 отличается от подсчёта по GPT-5/GPT-6.

«Все семь моделей GPT (5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) показывают 44 794 токена и совпадают друг с другом на каждом из 31 тестового примера. GPT-6 не вносит изменений в подсчёт входных токенов на этом корпусе.»

— из коммита William Liu, цитата приведена в заметке