kobimusic выпустила Dettato: открытую модель аудио в MIDI на 20 млн параметров
Проект kobimusic представил Dettato, модель транскрипции аудио в MIDI с открытым исходным кодом. В ней всего 20 млн параметров, и, по словам автора, это примерно в 65 раз меньше, чем у MuScriptor. Автор называет MuScriptor 1.3B следующей по качеству открытой моделью и утверждает, что Dettato «значительно» её обходит. Кроме того, по опубликованным бенчмаркам (тестам) компании Mirelo Dettato набирает чуть больше, чем её закрытая модель «Mirelo A2M v1.1 Pro». Названий тестов и конкретных значений метрик автор не приводит, формулировки «значительно» и «чуть выше», его собственные.
Отдельно подчёркнуто, что при обучении не использовали записи, защищённые авторским правом. Модель открыта, а её результаты можно применять в коммерческих целях. Обучающие данные, смесь синтетических записей инструментов и сольных записей инструментов под лицензией Creative Commons (CC) из набора URMP. Остальные инструменты получены из примерно 20 soundfont (банков звуков), которые «морфятся» вместе по технике «soundfont babies», опубликованной автором ранее.
Автор сам оговаривает ограничения. Трудно оценить реальную точность на вашей задаче, не попробовав модель самому. Например, Dettato плохо разделяет инструменты. Кроме того, на выходе получается performance MIDI (запись исполнения) с выровненным битом, а не нечто, что можно сразу играть, вроде нот. Для нот автор советует songscription или klangio и называет их отличными инструментами достойных компаний.
История разработки: автор начал работу над Dettato около 10 месяцев назад, но примерно в апреле отбросил сделанное. Причина, он считал задачу AMT проблемой данных, а на деле узкое место, архитектура. Он проводит параллель с OMR (его первой моделью): обе области сначала решали алгоритмами, затем подключили гигантские LLM-компоненты. Такие модели естественным образом переобучаются на синтетических данных, потому что глобально задачи AMT и OMR выглядят иначе, чем при локальной постановке. Обе можно переформулировать как локальные: для OMR, модель-детектор, для AMT, модель «pitch-lane» (по дорожкам высоты звука).
В заключение автор надеется, что и открытые, и закрытые компании в области музыкального поиска (music retrieval) возьмут это на заметку: отказ от записей под авторским правом не тормозит, а подталкивает к новым решениям, и, вероятно, в итоге получается лучшая модель. Главная цель kobimusic, по его словам, помогать музыкантам, а не заменять их.
Ключевые факты
- Dettato, открытая модель аудио в MIDI на 20 млн параметров; автор называет её примерно в 65 раз меньше MuScriptor.
- По заявлению автора, она значительно превосходит MuScriptor 1.3B и чуть опережает закрытую «Mirelo A2M v1.1 Pro» на опубликованных бенчмарках Mirelo; цифр не приводится.
- Обучение: синтетические записи, сольные инструменты CC из набора URMP и около 20 soundfont по технике «soundfont babies»; защищённых авторским правом записей нет.
- Автор признаёт слабости: плохо разделяет инструменты, на выходе performance MIDI с битом, а не ноты.
- Вывод автора: узкое место в транскрипции, архитектура, а не данные; задачу AMT он переформулировал как локальную (модель pitch-lane).
Почему это важно
Если заявления автора подтвердятся, модель на 20 млн параметров конкурирует с моделью на 1,3 млрд и с закрытой коммерческой, а значит, качественную транскрипцию можно запускать дёшево. Вторая часть сюжета, отказ от записей под авторским правом: автор утверждает, что это ограничение не мешает качеству. Оба тезиса, его собственные и пока не проверены независимо.
Кому это важно
Музыкантам и разработчикам музыкальных инструментов, которым нужно превращать запись в MIDI. Также исследователям транскрипции музыки и компаниям в области music retrieval, к которым автор прямо обращается в конце.
Как это применить
Модель открыта, а её результаты, по словам автора, можно использовать в коммерческих целях; название лицензии в тексте не указано. Автор советует сначала попробовать модель на своём материале. Если нужны играбельные ноты, он рекомендует songscription или klangio.
Можно ли доверять
Все сравнения, самооценка автора. Сравнение с Mirelo сделано по бенчмаркам, которые опубликовала сама Mirelo, цифр нет, независимой проверки не приведено. Автор честно оговаривает слабости модели и сам советует не полагаться на бенчмарки без собственной проверки.
Риски и подводные камни
Модель плохо разделяет инструменты, а выход, не ноты, а performance MIDI с битом, то есть для партитур потребуются другие инструменты. Утверждение об отсутствии защищённых авторским правом записей в обучении основано на описании автора. Для конкретной задачи точность может отличаться от заявленной.
«Главная цель kobimusic, помогать музыкантам, а не заменять их.»
— kobimusic, представление Dettato