EdgeKernelBench: агент LEKA обошёл Claude Code в генерации ядер для edge-устройств

Авторы препринта отмечают: недавние работы показали, что большие языковые модели умеют генерировать быстрые вычислительные ядра (kernels) для серверных GPU. Развёртывание на периферийных (edge) устройствах устроено сложнее: железо разнородное, программные стеки фрагментированы, а ресурсов мало. Как LLM справляются с генерацией ядер на разных edge-бэкендах, по словам авторов, систематически ещё не изучали.

Для этого предложен EdgeKernelBench. Он объединяет два компонента. Первый, фреймворк развёртывания на едином промежуточном представлении (IR), которое фиксирует переиспользуемые решения о вычислениях, расписании (scheduling) и памяти и подключается к каждому целевому бэкенду через интерфейс компилятора. Второй, иерархический бенчмарк для edge-нагрузок: он охватывает всё более крупные программные масштабы, от отдельных операторов до компактных графов моделей, в типичных прикладных областях edge-задач. Дизайн реализован на TVM в роли эталонного компилятора и проверен на разнородных edge-бэкендах.

Главный результат первого этапа: при одной попытке генерации лучшая модель достигает 64,5% Correct@1, но лишь 25,5% Fast@1.0. Авторы делают вывод, что функциональная корректность не гарантирует прироста скорости.

Поэтому предложен второй компонент, Layered Edge Kernel Agent (LEKA), агент, который организует оптимизацию через многослойное IR. На подмножестве для оценки агентов LEKA показывает 43,5% Fast@1.0 против 13,0% у прямой генерации и 26,1% у Claude Code. По заявлению авторов, LEKA и Claude Code используют одну и ту же базовую модель и один и тот же бюджет оптимизации. Итог: EdgeKernelBench и LEKA задают основу для единой оценки и послойной оптимизации ядер, сгенерированных нейросетями, на разных edge-бэкендах.

Ключевые факты

EdgeKernelBench объединяет фреймворк развёртывания на едином IR с иерархическим бенчмарком: от отдельных операторов до компактных графов моделей.
Реализация построена на TVM как эталонном компиляторе и проверена на разнородных edge-бэкендах.
При одной попытке генерации лучшая модель даёт 64,5% Correct@1, но только 25,5% Fast@1.0: корректный код не обязательно быстрый.
Агент LEKA оптимизирует ядра через многослойное IR и на подмножестве для оценки агентов набирает 43,5% Fast@1.0 против 13,0% у прямой генерации и 26,1% у Claude Code.
По заявлению авторов, LEKA и Claude Code используют одну и ту же базовую модель и бюджет оптимизации.

Почему это важно

Генерация быстрых ядер нейросетями уже показала результаты на серверных GPU, но edge-устройства с разнородным железом и фрагментированными программными стеками, по словам авторов, систематически не исследовались. Работа предлагает единый способ измерять такую генерацию. Ключевое наблюдение: разрыв между корректностью (64,5% Correct@1) и скоростью (25,5% Fast@1.0) у лучшей модели при одной попытке показывает, что правильный код ещё не означает быстрый.

Кому это важно

Исследователям и инженерам, которые занимаются компиляторами для нейросетей, оптимизацией ядер и развёртыванием моделей на периферийных устройствах. Также работа будет интересна тем, кто сравнивает кодинг-агентов на задачах низкоуровневой оптимизации.

Как это применить

Сведений о публикации кода или набора данных в описании нет, поэтому прямо воспользоваться бенчмарком по одной этой аннотации нельзя. Идея, которую можно взять в работу: единое промежуточное представление, подключаемое к каждому бэкенду через интерфейс компилятора, и послойная организация оптимизации вместо одношаговой генерации.

Можно ли доверять

Это препринт: числа приведены самими авторами, независимой проверки в описании нет. Цифры 64,5% и 25,5% относятся к одной попытке генерации у лучшей модели, а 43,5%, 13,0% и 26,1%, только к подмножеству для оценки агентов, поэтому напрямую сравнивать эти две группы нельзя. В аннотации не определены метрики Correct@1 и Fast@1.0, не названы модели, не указаны размер подмножества и конкретные тестируемые бэкенды, так что оценить масштаб преимущества LEKA по ней трудно.

Риски и подводные камни

Преимущество LEKA над Claude Code показано на подмножестве для оценки агентов, и его размер в описании не раскрыт. Результаты получены на TVM как эталонном компиляторе, и неизвестно, как они переносятся на другие стеки. Кроме того, сама разница между корректностью и скоростью напоминает, что проверки одной только функциональной правильности для сгенерированных ядер недостаточно.