BrickWright: ИИ-агенты строят из LEGO физически собираемые модели
Современные кодинг-агенты всё лучше справляются с 3D-моделированием, но когда нужно построить объект, который можно собрать в реальном мире, они часто выдают некорректные конструкции: с висящими в воздухе, пересекающимися или не связанными между собой деталями. Авторы статьи считают, что агентам достаточно дать инструменты для сборки и для проверки физической осуществимости, и они начнут создавать физически корректные конструкции, которые при этом соответствуют исходному запросу.
На примере кубиков LEGO они представили BrickWright, фреймворк для генерации физически осуществимых построек из текстового или картиночного запроса с помощью предобученных агентов. Постройка считается физически осуществимой, если в ней только реальные детали, нет пересекающихся или висящих в воздухе деталей, а конструкция по возможности образует связную структуру.
Агенты в BrickWright работают, пиша код с помощью BrickLayer, набора инструментов на Python из двух частей. Первая часть: удобный API для сборки из кубиков, который, как утверждают авторы, вдвое снижает стоимость инференса по сравнению с работой в «сыром» формате LDraw. Вторая часть: валидатор, который возвращает агенту обратную связь о физической осуществимости.
Результаты: базовые агенты достигают физической валидности от 9% (GPT-6 Luna) до 69% (GPT-6 Astra), а агенты под управлением BrickWright показывают 100% валидности на выборке из 512 запросов. При этом, по словам авторов, качество следования запросу у лёгких агентов улучшается, а у более сильных сохраняется. Кроме того, такие агенты превосходят специализированные модели в задаче «текст в кубики». Код доступен на странице проекта: https://avalovelace1.github.io/brickwright/.
Ключевые факты
- BrickWright, фреймворк, в котором предобученные кодинг-агенты генерируют физически осуществимые постройки из LEGO по текстовому или картиночному запросу.
- Агенты пишут код через BrickLayer: Python-набор с API для сборки (вдвое дешевле по стоимости инференса, чем работа в сыром LDraw) и валидатором физической осуществимости.
- Базовые агенты дают физически валидные постройки в 9% (GPT-6 Luna), 69% (GPT-6 Astra) случаев, агенты с BrickWright, в 100% на выборке из 512 запросов.
- Следование запросу у лёгких агентов улучшается, у сильных сохраняется; в задаче «текст в кубики» подход превосходит специализированные модели.
- Код опубликован на странице проекта.
Почему это важно
Работа показывает, что проблему «красивой, но несобираемой» 3D-модели можно решать не дообучением, а инструментами: API для сборки и валидатор, дающий агенту обратную связь. По данным авторов, этого хватает, чтобы поднять долю физически корректных построек у готовых агентов с 9-69% до 100% на выборке из 512 запросов.
Кому это важно
Исследователям, которые работают с кодинг-агентами и генерацией 3D-объектов, а также тем, кого интересует создание объектов, которые нужно физически собирать. Идея «агент плюс проверяющий инструмент» применима и за пределами кубиков LEGO.
Как это применить
Авторы опубликовали код на странице проекта (avalovelace1.github.io/brickwright). BrickLayer, набор на Python с API для сборки и валидатором; агент пишет код с его помощью. По утверждению авторов, такой API вдвое снижает стоимость инференса по сравнению с работой в сыром LDraw. Абсолютные цифры стоимости в источнике не приведены.
Можно ли доверять
Все цифры взяты из аннотации самих авторов. Валидность в 100% измерена по определению, которое задаёт их же валидатор: физическая сборка построек из настоящих кубиков в источнике не описана. Неизвестно, какие именно агенты использовались в запусках с BrickWright и держится ли 100% для каждого из них отдельно. Специализированные модели, с которыми проводилось сравнение, не названы, а метрика и цифры по следованию запросу не приведены, указано только направление изменения.
Риски и подводные камни
Показатель 100% относится к выборке из 512 запросов и к определению осуществимости авторов: реальные детали, отсутствие пересечений и висящих деталей, связность «если возможно». Из источника не следует, что любая постройка получится красивой или понятной для сборки руками. Стоимость инференса сравнивается только с сырым LDraw, а не с другими подходами. Из названий и условий сравнения нельзя сделать вывод о результатах других агентов, кроме указанных.
«Мы утверждаем, что предоставления агентам инструментов для сборки построек и проверки их физической осуществимости достаточно, чтобы они создавали физически корректные сборки, которые при этом соответствуют входным запросам.»
— авторы BrickWright, аннотация статьи