NVIDIA и Elith выпустили Nemotron-Personas-Finance-Japan: 9 млн синтетических персон для финансового ИИ

NVIDIA и Elith выпустили Nemotron-Personas-Finance-Japan: 9 млн синтетических персон для финансового ИИ

Elith и NVIDIA выпустили Nemotron-Personas-Finance-Japan, открытый набор синтетических персон для разработки финансового ИИ в Японии. Это финансовое расширение набора Nemotron-Personas-Japan. По словам авторов, насколько им известно, это первый открытый набор персон масштаба миллиона записей, который связывает официальную статистику Японии с данными о домашних финансах и финансовой грамотности.

Мотивация такая: в финансовом секторе использование реальных данных ограничено строгими требованиями к приватности и комплаенсу, а для разработки агентного ИИ нужны данные, которые отражают демографию, состав домохозяйств и состояние активов, но не несут рисков реальных данных.

В составе набора: 9 млн персон (1 млн записей по 9 персон в каждой) на естественном японском языке; 50 полей на запись (9 полей персоны, 11 атрибутов персоны и 30 контекстных полей на основе официальной демографической статистики и статистики занятости); около 1,5 млрд токенов, из них около 750 млн, токены персон; около 950 тысяч уникальных имён; более 1600 категорий профессий. Персоны охватывают профессии, спорт, искусство, путешествия, кулинарию, финансы, финансовое поведение и финансовые заботы. Для сравнения, персон в нём на 50% больше, чем в Nemotron-Personas-Japan, а полей 50 вместо 22.

Как сделано: набор создан в NVIDIA NeMo Data Designer (корпоративная система генерации синтетических данных с поддержкой шаблонов Jinja, проверки через Pydantic, структурированных ответов, автоповторов и нескольких бэкендов генерации). Использованы NeMo SDG-PGMs (вероятностные графические модели для статистически обоснованной генерации, Apache-2.0) и gemma-4-31B-it (Apache-2.0) для генерации японских текстов. Авторы расширили официальную статистику: добавили более тонкую градацию образования, дополнительные категории занятости (владельцы бизнеса, узкие профессии), жизненные этапы вроде студентов, пенсионеров и периодов безработицы, активы и расходы на уровне домохозяйства, а также данные об использовании интернета и смартфонов и о финансовой грамотности. При проектировании учитывались отзывы финансовых организаций и отраслевых ассоциаций, среди них Sompo Japan, Tokio Marine Holdings, Bank of Fukuoka, Mizuho Financial Group, Meiji Yasuda Life Insurance и Financial Data Utilization Association (FDUA).

Приватность: каждая персона полностью синтетическая, реальные люди не представлены, набор спроектирован так, чтобы снижать риск для приватности. Демография и домашние финансы следуют официальной статистике и открытым опросам, имена, реальным японским образцам.

Лицензия, CC BY 4.0, коммерческое использование разрешено. Набор загружается через библиотеку datasets под идентификатором nvidia/Nemotron-Personas-Finance-Japan и рассчитан на интеграцию с фреймворком пользовательских симуляций NeMo User Sim. Предполагаемые применения: агенты клиентской поддержки, оценка продажных диалогов и маркетинговых инициатив, симуляции клиентов, red-teaming (проверка на устойчивость) клиентского ИИ, генерация многоходовых диалогов с персонами в роли затравок, проверка моделей на предвзятость между городом и селом, возрастами, уровнями образования и доходами.

В тот же день вышел парный набор Nemotron-PII-Japan: 100 000 синтетических японских деловых документов с размеченными персональными данными для обучения и проверки моделей обнаружения и удаления таких данных; документы построены на Nemotron-Personas-Japan. Авторы предлагают использовать Finance-Japan для имитации клиентов, а PII-Japan, для проверки, как конвейер защищает их данные.

Ключевые факты

  • Elith и NVIDIA открыли Nemotron-Personas-Finance-Japan: 9 млн синтетических персон (1 млн записей по 9 персон), 50 полей на запись, около 1,5 млрд токенов, более 1600 категорий профессий.
  • Данные привязаны к официальной статистике Японии и дополнены домашними финансами и финансовой грамотностью; авторы называют набор первым открытым такого масштаба на их памяти.
  • Лицензия CC BY 4.0 разрешает коммерческое использование; загрузка через datasets: nvidia/Nemotron-Personas-Finance-Japan.
  • Генерация: NeMo Data Designer, NeMo SDG-PGMs и gemma-4-31B-it (оба под Apache-2.0); при проектировании учтены отзывы Sompo Japan, Tokio Marine, Mizuho и других.
  • Одновременно вышел Nemotron-PII-Japan: 100 000 синтетических деловых документов с размеченными персональными данными.

Почему это важно

Финансовый ИИ упирается в то, что реальные клиентские данные закрыты требованиями приватности и комплаенса. Открытый синтетический набор, привязанный к японской статистике, даёт разработчикам материал для обучения и тестирования без клиентских данных. Авторы отдельно отмечают, что набор снижает зависимость от западноцентричных данных и поддерживает «суверенный ИИ». По сравнению с Nemotron-Personas-Japan набор крупнее на 50% по числу персон и содержит 50 полей вместо 22. Это заявления авторов, а не независимая оценка.

Кому это важно

В первую очередь командам, которые делают финансовый ИИ в Японии: банкам и страховщикам, а также стартапам и интеграторам, которые на них работают. Кроме того, набор пригоден для любого проекта на японском языке, которому нужны более тонкие срезы населения для обучения и тестов. Исследователям предвзятости он даёт возможность сравнить поведение моделей по городу и селу, возрасту, образованию и достатку.

Как это применить

Набор загружается так: load_dataset("nvidia/Nemotron-Personas-Finance-Japan") из библиотеки datasets. Лицензия CC BY 4.0 допускает коммерческое использование. Авторы предлагают использовать персоны как затравки для генерации диалогов, для настройки моделей на культурно привязанных данных, для создания финансовых ИИ-ассистентов, для симуляций клиентов в NeMo User Sim и для red-teaming клиентского ИИ. Для проверки систем защиты данных можно взять парный Nemotron-PII-Japan.

Можно ли доверять

Источник, первоисточник, блог самих разработчиков (NVIDIA и Elith), то есть описание подано самими авторами. Цифры о составе набора конкретны. Бенчмарков, оценок качества набора и обученных на нём моделей в тексте нет, статистическая сверка с реальными данными, кроме заявления о следовании официальной статистике, не приводится. Участие финансовых организаций описано как учёт их отзывов при проектировании; о том, что они используют набор, в тексте не говорится. Утверждение о «первом открытом наборе такого масштаба» дано как «насколько нам известно».

Риски и подводные камни

Набор синтетический: он повторяет распределения официальной статистики и может не передавать реального поведения клиентов, а качество не подтверждено измерениями. Авторы говорят лишь о снижении риска для приватности, а не о его устранении. Заявленная польза для борьбы с предвзятостью и «коллапсом моделей», тезис авторов без приведённых проверок. Генерация опирается на gemma-4-31B-it, поэтому качество японских текстов зависит от этой модели.

«Каждая персона полностью синтетическая. Реальные люди не представлены, а набор спроектирован так, чтобы снижать риск для приватности.»

— Из блога Elith и NVIDIA на Hugging Face