KernelMosaic: открытый датасет учит небольшую модель писать CUDA-ядра

В препринте на arXiv представлен KernelMosaic, открытый датасет, в котором разнообразные задачи на CUDA соединены с проверенными решениями и траекториями их получения. Исходная проблема, как её описывают авторы: чтобы научить большие языковые модели писать эффективные CUDA-ядра, нужна обучающая выборка, охватывающая разные вычислительные требования и итеративную оптимизацию кода. Собрать её трудно: спецификации задач неоднородны, а удачные реализации получаются через сложный итеративный цикл тестирования и доработки.

Задачи для датасета отбирали с участием человека: ручной просмотр и отбор с учётом разнообразия. Сами задачи записаны в разных формах, как описания на естественном языке, эталонные программы, математические спецификации и их сочетания.

Решения и траектории строила агентная система. Она ведёт сильную языковую модель через три этапа: реализацию, исправление ошибок корректности и оптимизацию производительности. При этом используются многократно применяемые подсказки по CUDA и обратная связь от выполнения кода.

Главный результат: контролируемое дообучение (supervised fine-tuning) небольшой открытой модели на KernelMosaic подняло долю корректных решений на KernelBench с 4%, 0% и 0% до 88%, 82% и 16% на уровнях L1, L2 и L3 соответственно. Одновременно на каждом уровне выросла доля задач, где ядро оказывается быстрее PyTorch в eager-режиме (конкретные цифры в тексте не приведены). Дополнительные эксперименты, по словам авторов, показали, что обучение на отобранных траекториях заметно лучше, чем обучение на прямых ответах, и стимулирует модель к длительному тестированию и правке кода. Вывод авторов: KernelMosaic позволяет универсальной модели заметно продвинуться в генерации CUDA-ядер.

Ключевые факты

  • KernelMosaic, открытый датасет разнообразных задач на CUDA с проверенными решениями и траекториями их получения.
  • Задачи отбирали вручную с учётом разнообразия; они заданы описаниями на естественном языке, эталонными программами, математическими спецификациями и их сочетаниями.
  • Решения строила агентная система: сильная языковая модель проходит реализацию, исправление корректности и оптимизацию производительности с подсказками по CUDA и обратной связью от выполнения.
  • После дообучения небольшой открытой модели корректность на KernelBench L1/L2/L3 выросла с 4%/0%/0% до 88%/82%/16%.
  • Обучение на траекториях, по словам авторов, существенно лучше обучения на прямых ответах и поощряет длительное тестирование и правку.

Почему это важно

Написание быстрых CUDA-ядер, трудоёмкая работа, а данных для обучения моделей в этой области не хватает. Авторы предлагают открытый датасет не только с готовыми решениями, но и с траекториями, историей тестов и правок, которая ведёт к рабочему ядру. Заявленный скачок корректности небольшой открытой модели (например, с 4% до 88% на KernelBench L1) показывает, что при хороших обучающих данных такая модель может сильно улучшить результат на этом бенчмарке.

Кому это важно

Исследователям, которые обучают модели генерации кода для GPU, и командам, занятым автоматической оптимизацией вычислительных ядер. Также тем, кто строит агентные системы с циклом «написать, проверить, починить, ускорить» и ищет открытые данные для такого обучения.

Как это применить

Из текста аннотации видно общую схему: взять набор разнотипных задач, прогнать сильную модель через реализацию, исправление и оптимизацию с обратной связью от запуска кода, а затем дообучить небольшую модель на полученных траекториях. Ссылки на скачивание, лицензия и объём датасета в источнике не указаны, поэтому детали использования придётся искать в самой статье и репозитории.

Можно ли доверять

Это препринт на arXiv, и цифры приведены самими авторами. Из аннотации неясно, какая именно небольшая модель дообучалась и какая сильная модель строила траектории, нет сравнения с другими моделями и прежними методами, а метрика корректности отдельно не расшифрована. Заявление об ускорении относительно PyTorch eager дано без чисел, только указано, что доля таких задач растёт на каждом уровне. Оценку стоит перепроверить по полному тексту и воспроизведению.

Риски и подводные камни

Рост корректности на уровне L3 скромнее (до 16%), чем на L1 и L2, то есть на более сложных задачах проблема далека от решения. Результаты измерены на KernelBench, и перенос на реальные производственные ядра из аннотации не следует. Корректность сама по себе не равна скорости: о величине ускорения в источнике не сказано.