Figma рассказала, как обучает свою модель для правок дизайна в агенте Figma

Josh Clemm, вице-президент по инженерии Figma, опубликовал в блоге компании рассказ о том, как Figma обучает собственную модель для дизайн-агента Figma, который работает прямо на холсте. Исходная мысль: специализированное дообучение (post-training) может конкурировать с передовыми моделями. Повседневная работа дизайнеров состоит из мелких итеративных и плохо поддающихся автоматической проверке правок: поправить отступы, сменить цвет, переделать макет после комментария. Поэтому для агента важны и качество, и скорость: слишком долгая правка прерывает рабочий процесс.

Когда работа начиналась, передовые модели не понимали синтаксис Figma, а добиться нужного поведения через системные промпты потребовало бы очень много токенов. Поэтому Figma выбрала контролируемое дообучение (supervised fine-tuning, SFT). Каждый обучающий пример, это исходный дизайн, сгенерированный синтетический запрос на правку и удачный пример изменения. Дизайны представляли в родном формате файлов Figma, чтобы модель выдавала изменения, которые можно применить обратно к холсту. Для задач с ресурсами дизайн-системы генерировали синтетические запросы на изменение тем и компонентов. Правки пытались выполнить более крупные модели-учителя, а кандидатов проверяли детерминированными валидаторами и визуальными модельными судьями (проверка корректности результата и выполнения запроса); конвейер генерации мог сам исправлять правку по обратной связи оценщиков.

Подход, по словам автора, зашёл удивительно далеко: одна из ранних моделей на базе Llama 3.3 70B, обученная более чем на 250 000 примеров, стала конкурентоспособной в задачах редактирования с лучшими моделями того времени. Затем Figma перешла на более мощные базовые модели, включая новые Qwen, Muse Spark Open, Inkling и другие. Одновременно обнаружились пределы чистого SFT: имитационное обучение даёт дизайны, очень похожие на обучающие, в ущерб обобщению, и менее эффективно по числу примеров. Поэтому в актуальный рецепт добавили обучение с подкреплением (RL): улучшают среды для дизайна, разнообразие примеров, модели вознаграждения и экспертные критерии, чтобы награды отражали то, что важно дизайнерам.

Оценку Figma ведёт по отдельным измерениям, потому что дизайн может быть хорошо выровнен, но иметь плохой контраст, правка, выглядеть аккуратно, но не соответствовать запросу, а кнопка, выглядеть правильно, но использовать не тот компонент. Проверки структуры комбинируют с визуальными судьями, а эксперты-дизайнеры калибруют и просматривают результаты. Учитывают не только качество, но также скорость и стоимость. Оценки внутренних тестов для нескольких топовых моделей в статье показаны диаграммой, и это лишь один из многих входов при выборе моделей для продукта.

Ранние результаты: агент Figma недавно открыли для всех пользователей, и уже между бетой и общим релизом типовые задачи стали выполняться примерно на 20% быстрее. В очных сравнениях с экспертами-дизайнерами новый агент побеждает прежний продуктовый или не уступает ему в 62% случаев. Оценки пользователей выше на 33%, а откатывают работу агента на 60% реже. Доля работы, выполняемой собственной дообученной моделью, выросла более чем вдвое, средняя стоимость сообщения снизилась. Эти улучшения Figma приписывает всему агенту, моделям, инструментам и обвязке (harness), а модель редактирования называет лишь частью прогресса. В заключение автор пишет, что работа показала: дообученные модели могут конкурировать с передовыми в специализированной задаче вроде редактирования в Figma. Компания заявляет, что обучает модели с уважением к приватности и предпочтениям клиентов, и набирает людей на роли по дообучению моделей для непроверяемых областей.

Ключевые факты

Figma обучает собственную модель для агента на холсте: сначала SFT на синтетических примерах правок (исходный дизайн, запрос, удачное изменение в родном формате Figma), теперь добавляется обучение с подкреплением.
Правки для обучающих данных пробовали делать более крупные модели-учителя; результаты проверяли детерминированными валидаторами и визуальными судьями.
Ранняя модель на Llama 3.3 70B, обученная более чем на 250 000 примеров, на задачах редактирования была конкурентоспособна с лучшими моделями того времени; теперь Figma использует более мощные базы, включая новые Qwen, Muse Spark Open и Inkling.
По данным Figma, новый агент в 62% очных тестов с экспертами-дизайнерами побеждает прежний или не уступает ему; оценки пользователей выше на 33%, откатов на 60% меньше, типовые задачи примерно на 20% быстрее.
Доля работы, которую выполняет собственная дообученная модель, выросла более чем вдвое, но абсолютная доля не названа.

Почему это важно

Figma показывает практический путь, по которому продуктовая компания не ограничивается вызовом передовой модели, а дообучает свою под узкую задачу: ради скорости, стоимости и знания собственного формата. Компания утверждает, что дообученные модели могут конкурировать с передовыми в специализированной задаче редактирования, и подкрепляет это заявленными продуктовыми метриками. Интересна и связка синтетических данных, моделей-учителей и автоматических проверяющих, а также переход от SFT к обучению с подкреплением.

Кому это важно

Командам, которые строят ИИ-агентов поверх собственного формата данных или предметной области, особенно там, где результат трудно проверить автоматически. Также тем, кто выбирает между промптингом передовой модели и дообучением открытой базовой модели. Дизайнерам и продуктовым командам пост важен как описание того, чего ждать от агента Figma, который теперь доступен всем пользователям.

Как это применить

Из поста можно взять схему: генерировать синтетические запросы на правку к реальным исходным артефактам, получать эталонные правки от более крупных моделей-учителей, фильтровать их валидаторами и визуальными судьями, при необходимости давать конвейеру самоисправляться по обратной связи. Оценивать качество стоит по отдельным измерениям (структура, выравнивание, контраст, правильность компонентов), а калибровку результатов отдавать экспертам. Когда чистое имитационное обучение упирается в потолок по обобщению и числу примеров, Figma добавляет обучение с подкреплением, улучшая среды, разнообразие примеров, модели вознаграждения и экспертные критерии. Цену или условия доступа к агенту в тексте не приводят.

Можно ли доверять

Это материал самой Figma, написанный её вице-президентом по инженерии, и он же рекламирует продукт и вакансии. Цифры (около 20% по скорости, 62%, 33% и 60%) приведены без базы сравнения и метода измерения. Результаты обучения с подкреплением не опубликованы: оно описано как направление инвестиций. Оценки топовых моделей на внутренних тестах показаны только диаграммой, в тексте их нет. Авторы прямо оговаривают, что улучшения идут от всего агента (модели, инструменты, обвязка), а не только от модели редактирования.

Риски и подводные камни

Заявленные улучшения нельзя целиком отнести к дообученной модели: Figma сама пишет, что они складываются из моделей, инструментов и обвязки. Не названы текущая базовая модель в продакшене, размер итоговой модели, а также модели-учителя и визуальные судьи; не сказано о публикации весов или датасетов, так что воспроизвести подход можно лишь по описанию. Сама Figma признаёт ограничения чистого SFT: потеря обобщения и низкая эффективность по числу примеров. Автоматические судьи и синтетические данные требуют экспертной калибровки, иначе оценка может расходиться с тем, что ценят дизайнеры.

«Эта работа показала, что дообученные модели могут конкурировать с передовыми в специализированной задаче вроде редактирования в Figma.»

— Josh Clemm, блог Figma