KernelMosaic: открытый датасет учит небольшую модель писать CUDA-ядра
В препринте на arXiv представлен KernelMosaic, открытый датасет, в котором разнообразные задачи на CUDA соединены с проверенными решениями и траекториями их получения. Исходная проблема, как её описывают авторы: чтобы научить большие языковые модели писать эффективные CUDA-ядра, нужна обучающая выборка, охватывающая разные вычислительные требования и итеративную оптимизацию кода. Собрать её трудно: спецификации задач неоднородны, а удачные реализации получаются через сложный итеративный цикл тестирования и доработки.
Задачи для датасета отбирали с участием человека: ручной просмотр и отбор с учётом разнообразия. Сами задачи записаны в разных формах, как описания на естественном языке, эталонные программы, математические спецификации и их сочетания.
Решения и траектории строила агентная система. Она ведёт сильную языковую модель через три этапа: реализацию, исправление ошибок корректности и оптимизацию производительности. При этом используются многократно применяемые подсказки по CUDA и обратная связь от выполнения кода.
Главный результат: контролируемое дообучение (supervised fine-tuning) небольшой открытой модели на KernelMosaic подняло долю корректных решений на KernelBench с 4%, 0% и 0% до 88%, 82% и 16% на уровнях L1, L2 и L3 соответственно. Одновременно на каждом уровне выросла доля задач, где ядро оказывается быстрее PyTorch в eager-режиме (конкретные цифры в тексте не приведены). Дополнительные эксперименты, по словам авторов, показали, что обучение на отобранных траекториях заметно лучше, чем обучение на прямых ответах, и стимулирует модель к длительному тестированию и правке кода. Вывод авторов: KernelMosaic позволяет универсальной модели заметно продвинуться в генерации CUDA-ядер.
Ключевые факты
- KernelMosaic, открытый датасет разнообразных задач на CUDA с проверенными решениями и траекториями их получения.
- Задачи отбирали вручную с учётом разнообразия; они заданы описаниями на естественном языке, эталонными программами, математическими спецификациями и их сочетаниями.
- Решения строила агентная система: сильная языковая модель проходит реализацию, исправление корректности и оптимизацию производительности с подсказками по CUDA и обратной связью от выполнения.
- После дообучения небольшой открытой модели корректность на KernelBench L1/L2/L3 выросла с 4%/0%/0% до 88%/82%/16%.
- Обучение на траекториях, по словам авторов, существенно лучше обучения на прямых ответах и поощряет длительное тестирование и правку.
Почему это важно
Написание быстрых CUDA-ядер, трудоёмкая работа, а данных для обучения моделей в этой области не хватает. Авторы предлагают открытый датасет не только с готовыми решениями, но и с траекториями, историей тестов и правок, которая ведёт к рабочему ядру. Заявленный скачок корректности небольшой открытой модели (например, с 4% до 88% на KernelBench L1) показывает, что при хороших обучающих данных такая модель может сильно улучшить результат на этом бенчмарке.
Кому это важно
Исследователям, которые обучают модели генерации кода для GPU, и командам, занятым автоматической оптимизацией вычислительных ядер. Также тем, кто строит агентные системы с циклом «написать, проверить, починить, ускорить» и ищет открытые данные для такого обучения.
Как это применить
Из текста аннотации видно общую схему: взять набор разнотипных задач, прогнать сильную модель через реализацию, исправление и оптимизацию с обратной связью от запуска кода, а затем дообучить небольшую модель на полученных траекториях. Ссылки на скачивание, лицензия и объём датасета в источнике не указаны, поэтому детали использования придётся искать в самой статье и репозитории.
Можно ли доверять
Это препринт на arXiv, и цифры приведены самими авторами. Из аннотации неясно, какая именно небольшая модель дообучалась и какая сильная модель строила траектории, нет сравнения с другими моделями и прежними методами, а метрика корректности отдельно не расшифрована. Заявление об ускорении относительно PyTorch eager дано без чисел, только указано, что доля таких задач растёт на каждом уровне. Оценку стоит перепроверить по полному тексту и воспроизведению.
Риски и подводные камни
Рост корректности на уровне L3 скромнее (до 16%), чем на L1 и L2, то есть на более сложных задачах проблема далека от решения. Результаты измерены на KernelBench, и перенос на реальные производственные ядра из аннотации не следует. Корректность сама по себе не равна скорости: о величине ускорения в источнике не сказано.