ИИтог

Anthropic запустила Message Threads: первый токен на 35% быстрее

инструментыРедакция ИИтогThe Decoder🔥66Рейтинг ИИтог66Влияние55Новизна60Релевантность95Неожиданность35Участники90Достоверность75
Anthropic запустила Message Threads: первый токен на 35% быстрее

Anthropic выпустила Message Threads в публичной бета-версии на платформе Claude. До сих пор каждый запрос к API требовал заново отправлять всю историю диалога. Message Threads передаёт только то, что изменилось с момента последнего сообщения.

По данным Anthropic, это сокращает время до первого токена примерно на 35% для запросов объёмом от 500 тысяч до миллиона токенов. Цифра приведена как примерная, и это заявление самой компании: независимых замеров в материале нет.

Больше всего выигрывают, как говорит компания, кодинг-агенты, агенты, управляющие компьютером, и рабочие процессы, обрабатывающие много документов или изображений.

Поток (thread) хранится в памяти в зашифрованном виде между запросами и истекает после пяти минут неактивности. Расход токенов не меняется, потому что Claude по-прежнему читает всю историю диалога целиком. Функция работает на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud. Подробности, в документации.

Ключевые факты

  • Message Threads вышла в публичную бету на платформе Claude: вместо пересылки всей истории диалога передаётся только изменённое с последнего сообщения.
  • По данным Anthropic, время до первого токена снижается примерно на 35% для запросов от 500 тысяч до миллиона токенов.
  • Поток хранится зашифрованным в памяти между запросами и истекает через пять минут неактивности.
  • Расход токенов не меняется: Claude по-прежнему читает всю историю диалога.
  • Функция доступна на платформе Claude, в AWS, Microsoft Foundry и Google Cloud.

Почему это важно

Длинный контекст делает каждый запрос к API тяжёлым: раньше всю историю диалога приходилось отправлять заново. Message Threads убирает эту избыточную пересылку и, по заявлению Anthropic, сокращает время до первого токена примерно на 35% для запросов от 500 тысяч до миллиона токенов. Для приложений с долгими диалогами это заметно по скорости отклика.

Кому это важно

По словам Anthropic, больше всего выигрывают разработчики кодинг-агентов, агентов, управляющих компьютером, и рабочих процессов с большим числом документов или изображений. Функция доступна на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud.

Как это применить

Функция находится в публичной бета-версии на платформе Claude и через облака AWS, Microsoft Foundry и Google Cloud. Как её включать и какие параметры API нужны, в материале не описано, он отсылает к документации. Учтите, что поток истекает после пяти минут неактивности, а расход токенов остаётся прежним.

Можно ли доверять

Цифра в 35%, заявление самой Anthropic в пересказе издания The Decoder; независимых замеров не приводится. Это примерная оценка и только для запросов от 500 тысяч до миллиона токенов: для более коротких и более длинных запросов данных нет. Методика измерения и исходная задержка в секундах не названы.

Риски и подводные камни

Функция в бета-версии, поэтому поведение может меняться. Поток живёт в памяти и истекает через пять минут неактивности, так что при более редких обращениях выигрыш, вероятно, не сработает. Экономии на токенах нет: расход не меняется, ускорение касается только времени до первого токена.