Нейросети тратят в 1,4-180 раз больше энергии на неанглийский текст

Нейросети тратят в 1,4-180 раз больше энергии на неанглийский текст

Исследователи инженерной школы Мичиганского университета (University of Michigan Engineering) выяснили, что генеративный ИИ при обработке и генерации текста не на английском тратит больше энергии, а иногда ещё и отвечает менее точно. По мнению авторов, это может закреплять существующее глобальное неравенство. Работа представлена на конференции Empirical Methods in Natural Language Processing (EMNLP) Ассоциации компьютерной лингвистики.

Главные цифры: модели могут тратить в 1,4-180 раз больше энергии на генерацию текста вне английского языка. Для большинства западноевропейских языков разрыв составляет не более чем вдвое. Но хинди и бенгальский, на каждом из которых говорят сотни миллионов человек, требуют в 7,9 и 15,3 раза больше энергии, чем эквивалентный запрос на английском. Разрыв больше всего для языков, которые не используют латиницу и для которых меньше цифрового контента для обучения. По оценке исследователей, основанной на их измерениях и демографических данных Ethnologue, около 5,2 млрд человек вынуждены тратить на генерацию текста на родном языке более чем вдвое больше энергии, чем носители английского.

Как измеряли. Взяли три открытые модели: Qwen 3 (Alibaba), Gemma 3 (Google) и Llama 3.1 (Meta). Им задавали вопросы с выбором ответа из набора Belebele, который проверяет понимание прочитанного на 122 языках. Расход энергии на каждый ответ измеряли фреймворком ML.Energy, разработанным в Michigan Engineering. Чтобы проверить другие типы задач, моделям также дали школьные текстовые задачи по математике и открытые пользовательские запросы из других бенчмарков. Эти наборы не многоязычные, поэтому английские вопросы перевели на семь других языков переводчиком Meta No Language Left Behind. В среднем все модели тратили меньше энергии на английском; разрыв сохраняется при росте размера модели и на разных типах процессоров.

Причина, токены. На других языках модели должны генерировать больше токенов (базовых единиц данных, это могут быть слова, фразы или отдельные слоги и символы). Особенно это заметно для письменностей, чьи символы требуют больше кода: в деванагари (хинди, непальский, маратхи) и в бенгальском письме основные символы меняют форму и сочетаются с диакритикой, давая до миллионов уникальных знаков. Больше токенов занимает больше памяти, и у модели остаётся меньше памяти на обработку информации, поэтому токены обрабатываются меньшими пакетами, а это повышает расход энергии на токен. Эффект усиливает разрыв. Кроме того, компании часто берут плату за доступ к модели по числу сгенерированных токенов, так что прямые расходы тоже растут.

Почему это проблема. Naihao Deng, докторант кафедры информатики и вычислительной техники из U-M AI Lab и первый автор исследования, отмечает: языки, которые обычно потребляют больше энергии, также, как правило, дают менее точные ответы. Такой «двойной штраф» повышает вероятность того, что для части людей ИИ станет слишком дорогим, а компании будут неохотно предлагать модели на некоторых языках. Пользователям остаётся либо платить больше, либо переходить на неродной язык.

Что предлагают авторы. Компаниям, оптимизировать сервисы под больше языков, например направлять запросы в модели, заточенные под конкретные языки. Либо переводить запросы на английский и передавать более универсальной модели, но только при надёжном переводе. Rada Mihalcea, директор U-M AI Lab и автор-корреспондент исследования, говорит, что разработчикам стоит создавать больше ресурсов для языков с разрывом по энергии и стоимости; помочь могло бы и привлечение носителей языка к переводу материалов или созданию обучающих данных.

Исследование частично финансировали Национальный научный фонд США (NSF) и DARPA; среди других источников указаны Ford, Laude Institute, OpenAI и Survival and Flourishing Fund. Использовался вычислительный кластер Great Lakes Мичиганского университета.

Ключевые факты

  • По измерениям исследователей Мичиганского университета, генерация текста не на английском может требовать в 1,4-180 раз больше энергии; для большинства западноевропейских языков, не более чем вдвое.
  • Хинди и бенгальский обходятся в 7,9 и 15,3 раза дороже по энергии, чем эквивалентный английский запрос; по оценке авторов, около 5,2 млрд человек тратят на родном языке более чем вдвое больше энергии, чем носители английского.
  • Измеряли три открытые модели (Qwen 3, Gemma 3, Llama 3.1) на наборе Belebele (122 языка), а также на математических и открытых задачах, переведённых на семь языков.
  • Причина разрыва, большее число токенов: они занимают больше памяти, обрабатываются меньшими пакетами и обходятся дороже по энергии на токен; плата по токенам повышает и прямые расходы.
  • Авторы советуют оптимизировать сервисы под больше языков: маршрутизация в языковые модели или перевод запроса на английский при надёжном переводе.

Почему это важно

Разговоры о стоимости и энергопотреблении ИИ обычно ведутся на примере английского. Исследование показывает, что язык запроса сам по себе влияет на расход энергии: на неанглийском тексте модели в среднем тратят больше, а диапазон разрыва очень широк, от 1,4 до 180 раз. Для большинства западноевропейских языков разница небольшая (не более чем вдвое), а вот для хинди и бенгальского она составляет 7,9 и 15,3 раза. Авторы связывают это с риском, что ИИ станет дороже и хуже для людей, говорящих на языках с нелатинской письменностью и небольшим объёмом цифровых данных.

Кому это важно

Разработчикам и компаниям, которые предлагают ИИ-сервисы на разных языках: токены определяют и расход энергии, и, если оплата идёт по числу сгенерированных токенов, прямые затраты. Исследователям многоязычных моделей: связь между большим расходом энергии и меньшей точностью на тех же языках. Политикам и организациям, которые думают о доступности ИИ: по оценке авторов, около 5,2 млрд человек расходуют на родном языке более чем вдвое больше энергии, чем носители английского. Рядовым пользователям неанглийских сервисов: им приходится либо платить больше, либо переходить на неродной язык.

Как это применить

Рекомендации самих исследователей: оптимизировать сервисы под больше языков, в том числе направлять запросы пользователей в модели, настроенные на конкретные языки. Другой вариант, переводить запросы на английский перед подачей более универсальной модели, но только если перевод надёжен. Rada Mihalcea также предлагает привлекать носителей языка к переводу материалов или созданию ресурсов, чтобы собрать достаточно обучающих данных и повысить эффективность. Тем, кто оценивает затраты на многоязычный сервис, полезно учитывать число токенов в нужных языках, а не только длину текста.

Можно ли доверять

Материал, пресс-релиз Мичиганского университета об исследовании, представленном на конференции EMNLP; в нём названы первый автор (Naihao Deng) и автор-корреспондент (Rada Mihalcea). Методика описана достаточно подробно: три модели, набор Belebele на 122 языках, измерение через ML.Energy. Но фреймворк ML.Energy разработан в той же инженерной школе, а работу частично финансировали NSF и DARPA, среди других источников назван и OpenAI. Абсолютные значения расхода энергии в источнике не приведены, только отношения к английскому; не указано и, на каких моделях и языках получена крайняя цифра в 180 раз.

Риски и подводные камни

Измерены только три открытые модели; в источнике не сказано, что проприетарные модели проверялись, так что переносить цифры на них нельзя. Диапазон 1,4-180 раз очень широкий, и его верхняя граница не привязана в тексте к конкретному языку или модели. Для математических и открытых задач неанглийские версии получены машинным переводом (No Language Left Behind) на семь языков, и в источнике они не перечислены. Совет переводить запросы на английский работает лишь при надёжном переводе, иначе страдает качество. Точных цифр по снижению точности в источнике нет, только утверждение, что языки с большими затратами обычно дают менее точные ответы.

«Языки, которые обычно потребляют больше энергии, также, как правило, дают менее точные ответы модели.»

— Naihao Deng, докторант U-M AI Lab и первый автор исследования

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.