Языковые модели пишут веса нейросетей для ЭЭГ и ЭКГ без градиентного спуска

Препринт посвящён «программированию в пространстве весов» (weight-space programming): языковая модель читает веса уже обученной нейросети и редактирует их. Это открывает путь к «обучению» через рассуждение, а не через градиентный спуск. По словам авторов, раньше подход показали на сетях для игр и для исправления отдельных сбоев в языковых моделях, а также на диффузионных моделях. Новая работа переносит его на модели, обученные на биосигналах, ЭЭГ и ЭКГ.
Авторы утверждают, что передовые модели умеют не только находить заложенные в биосигнальные модели неисправности, не зная заранее, какие они, но и писать все веса сети с нуля, получив лишь архитектуру, задачу и минимальный набор обучающих испытуемых.
Конкретные результаты: в одной из серий экспериментов языковая модель сравнялась со стандартным обучением градиентным спуском, используя в 6 раз меньше обучающих испытуемых, только за счёт рассуждения и без единого шага градиентного спуска. Кроме того, сети, написанные Claude Opus 5.5, набрали больше баллов, чем классические «ручные» конвейеры для ЭЭГ (мощность альфа-диапазона и общие пространственные паттерны с линейным дискриминантным анализом), когда строились по тем же 5 испытуемым.
Авторы называют и ограничения: языковые модели не могут улучшить уже хорошо обученные классификаторы и не способны надёжно определить по одним только весам, на какой задаче сеть обучалась. Общий вывод: подход может быть полезен для небольших сетей, например на периферийных устройствах и носимых гаджетах, но концепцию нужно изучать дальше, прежде чем применять на практике.
Ключевые факты
- Языковая модель читает и правит веса обученной сети, а в части опытов пишет их с нуля, получив архитектуру, задачу и минимум обучающих испытуемых.
- В одной серии экспериментов модель сравнялась со стандартным градиентным спуском при в 6 раз меньшем числе обучающих испытуемых, без шагов градиентного спуска.
- Сети, написанные Claude Opus 5.5, превзошли классические ручные конвейеры для ЭЭГ (мощность альфа-диапазона; общие пространственные паттерны с линейным дискриминантным анализом) при тех же 5 испытуемых.
- Ограничения: модели не улучшают уже хорошо обученные классификаторы и не определяют по весам, для какой задачи сеть обучена.
- Авторы видят применение в небольших сетях на периферийных устройствах и носимых гаджетах, но подчёркивают, что нужны дальнейшие исследования.
Почему это важно
Идея в том, что часть работы градиентного спуска можно заменить рассуждением языковой модели над весами. Для биосигналов, где данных об испытуемых обычно мало, результат «в 6 раз меньше испытуемых» в одной из серий экспериментов выглядит заманчиво. Но это заявление авторов препринта по отдельным опытам, а не общий закон.
Кому это важно
Исследователям нейроинтерфейсов, ЭЭГ и ЭКГ, а также разработчикам небольших моделей для носимых и периферийных устройств, которые сталкиваются с нехваткой размеченных данных. Тем, кто изучает способность языковых моделей работать с весами других сетей, работа даёт ещё один пример применения.
Как это применить
Прямого готового инструмента в описании нет. Практически работу стоит читать как идею для экспериментов: передать языковой модели архитектуру, задачу и небольшую выборку испытуемых и попросить записать веса, либо дать модели обученную сеть с заложенной неисправностью. Сами авторы оговаривают, что для практического использования концепцию ещё нужно исследовать.
Можно ли доверять
Это краткое описание препринта: его выводы принадлежат авторам и не проверены независимо. В тексте нет значений точности и других метрик, не указаны наборы данных, архитектуры и протокол сравнения; неясно, к ЭЭГ, ЭКГ или к обеим областям относится результат с 6-кратным выигрышем, и сколько испытуемых использовал базовый градиентный спуск. Имена авторов и организации в описании не названы.
Риски и подводные камни
Сами авторы указывают два ограничения: языковые модели не улучшают уже хорошо обученные классификаторы и не могут надёжно определить по весам, на какой задаче сеть обучалась. Сравнение с классическими конвейерами сделано на 5 испытуемых, это очень малая выборка. Польза заявлена для небольших сетей; размер таких сетей не уточняется.