Microsoft создала синтетические корпоративные среды для проверки Copilot

Microsoft Research рассказала о платформе Industry Evaluation Data Generation Platform, с помощью которой оценивают Microsoft Copilot. Проблема в том, что для проверки корпоративного ИИ нужны тестовые данные, повторяющие сложность реальных организаций, а настоящие корпоративные данные содержат конфиденциальную информацию и не могут использоваться для оценки ни при каких условиях. Решение, полностью синтетические среды, имитирующие реальные рабочие процессы.

Платформа держится на трёх опорах: синтетические корпоративные среды (с пользователями, встречами, письмами, документами и оргструктурой), автоматические конвейеры генерации запросов и структурированные рамки оценки качества. Каждое смоделированное рабочее пространство называется tenant (тенант), изолированная организационная среда со своими пользователями, данными и настройками. Среды не статичны: они имитируют меняющуюся во времени организацию, с историей встреч, сроками проектов, цепочками писем, растянутыми на недели, и организационными изменениями. Это важно, потому что многие запросы к Copilot зависят от времени, например «Что команда решила в прошлый четверг?».

Для реалистичности среды опираются на открытые данные. Базу профессий O*NET Министерства труда США используют, чтобы сделать реалистичными роли и обязанности сотрудников, задать долю и частоту рабочих задач и подогнать отраслевые процессы (например, обзор клинических исследований или обновление портфеля). Онлайн-вакансии дают названия должностей, иерархию подчинения и состав отделов. Отчётность SEC определяет масштаб организации, структуру бизнес-подразделений и финансовый контекст. Все источники открыты и проверены юридической и политической службой Microsoft.

Создано три среды: фармацевтическая (подача регуляторных заявок, обсуждения клинических испытаний, совещания по безопасности), капитальных рынков (воронки сделок, комплаенс-переписка, обзоры клиентских портфелей) и ИТ/софтверной компании (планирование спринтов, обсуждение код-ревью, координация запуска продукта). В каждой, сотни пользователей с полной историей коммуникаций.

Запросы для проверки Copilot создаёт автоматический конвейер из шести этапов. Он берёт большую библиотеку типовых рабочих задач, отбирает подходящие для отрасли, адаптирует их под отраслевую лексику и контекст, затем с помощью ИИ формулирует запросы на основе данных синтетической среды, переписывает их, чтобы звучали естественно, и проверяет каждый на точность и уникальность.

Качество синтетики оценивает внутренняя семантическая система: структурная достоверность (реалистичны ли иерархии, размеры команд, межфункциональные связи), контекстная релевантность, поведенческий реализм (похожи ли общение и взаимодействие виртуальных пользователей на человеческие) и безопасность контента (нет вредного, оскорбительного или персональных данных, нет имитации реальных людей). В тексте говорится о «трёх измерениях», но перечислено четыре пункта.

Результаты по данным авторов: составной показатель качества вырос на 39% по сравнению с первым подходом к генерации; в отдельных отраслевых средах оценки превысили 0,9 из 1,0. Автоматизация заменила многодневное ручное создание набора данных автоматическими запусками; оценка экономии, около $100 тыс. на набор и $300 тыс. по проекту в целом. Любая команда может заново сгенерировать набор по той же конфигурации и получить идентичный результат. Платформа опубликована во внутреннем общем каталоге Microsoft и названа первой стандартизированной базовой оценкой для Copilot. Благодаря полностью синтетическим данным, по словам авторов, команды внутри Microsoft могут свободно использовать наборы для экспериментов, бенчмарков и регрессионного тестирования без проверки приватности. Текст источника обрывается на середине фразы в конце раздела о результатах.

Ключевые факты

Microsoft Research построила платформу Industry Evaluation Data Generation Platform: полностью синтетические среды (тенанты) для оценки Copilot без использования реальных данных клиентов.
Среды опираются на открытые данные: O*NET Министерства труда США, онлайн-вакансии и отчётность SEC; созданы три отрасли, фармацевтика, капитальные рынки, ИТ/софт, в каждой сотни пользователей.
Шестиэтапный конвейер автоматически превращает типовые рабочие задачи в отраслевые запросы к Copilot и проверяет их на точность и уникальность.
Составной показатель качества вырос на 39% относительно первого подхода; в некоторых средах оценки выше 0,9 из 1,0.
По оценке авторов, экономия около $100 тыс. на набор данных и $300 тыс. по проекту; наборы доступны командам внутри Microsoft через общий каталог.

Почему это важно

Проверять корпоративный ИИ-помощник на реальных данных клиентов нельзя, а мелкие вручную собранные тесты не отражают сложность настоящих организаций. Microsoft предлагает третий путь: большие синтетические компании с историей переписки и встреч, привязанные к открытым источникам. Авторы утверждают, что такие среды помогают находить проблемы, которые общие бенчмарки пропускают, и что платформа стала первой стандартизированной базовой оценкой для Copilot.

Кому это важно

Командам, которые оценивают корпоративных ИИ-ассистентов и агентов и упираются в запрет на использование реальных данных. Также интересно тем, кто занимается генерацией синтетических данных, тестовыми наборами для отраслевых сценариев и регрессионным тестированием ИИ-продуктов.

Как это применить

Сама платформа и наборы данных, судя по тексту, предназначены для внутреннего использования Microsoft: данные опубликованы во внутреннем каталоге, о публичном выпуске не сказано. Применимы идеи подхода: опираться на открытые источники (профессиональные базы, вакансии, отчётность компаний), моделировать развитие организации во времени, строить конвейер генерации запросов из библиотеки типовых задач с отраслевой адаптацией и проверкой уникальности, фиксировать конфигурацию, чтобы набор данных можно было воспроизвести.

Можно ли доверять

Это первоисточник, блог Microsoft Research, то есть самоописание собственной системы. Независимой проверки нет. Показатель качества определён лишь в скобках, базовое значение для 39% и сами итоговые оценки не приведены (названо только, что в некоторых средах выше 0,9). Метод расчёта экономии в $100 тыс. и $300 тыс. не раскрыт, это оценки. Примеров найденных в Copilot проблем в доступном тексте нет, а текст оборван на середине фразы.

Риски и подводные камни

Синтетические данные лишь приближают реальность: достоверность среды измеряется внутренней системой самих авторов, и соответствие реальным пользователям не подтверждено внешне. Для запросов используются библиотека типовых задач и генерация ИИ, что может сузить разнообразие сценариев. Отсутствие проверки приватности удобно, но означает, что безопасность держится на автоматических проверках контента и на выборе источников. Результаты и наборы пока описаны только для трёх отраслей.