OpenAI будет обучать модели на данных сессий Daybreak Blue с 29 ноября
OpenAI планирует обучать свои модели на данных сессий Daybreak Blue (в заголовке источника, сессии по кибербезопасности). Начиная с 29 ноября компания будет использовать эти данные для обучения. Об изменении сообщило письмо участникам программы Trusted Access.
Раньше эти данные в обучение не попадали, причём даже у пользователей, у которых была выключена настройка «improve the model for everyone» («улучшать модель для всех»). Теперь это исключение снимается.
Реакция была быстрой и резкой: после критики OpenAI разослала второе письмо, в котором пообещала отдельную возможность отказаться от использования данных (opt-out). Взаимодействия, помеченные при проверках безопасности, по-прежнему могут использоваться в целях безопасности.
Изменение заставило исследователей опасаться повторения истории Бакмастера и Алпёге (Buckmaster-Alpöge). Математики Тристан Бакмастер (Tristan Buckmaster) и Леви Алпёге (Levent Alpöge) загрузили в OpenAI Codex черновики работ по уравнениям Навье, Стокса. Вскоре OpenAI представила собственное доказательство, но отрицала, что использовала их материалы для обучения. По оценке The Decoder, одного подозрения хватило, чтобы показать исследователям, что может пойти не так.
Ключевые факты
- С 29 ноября OpenAI будет использовать данные сессий Daybreak Blue для обучения своих моделей; о смене правил сообщило письмо участникам программы Trusted Access.
- Раньше эти данные не участвовали в обучении, даже если пользователь выключил настройку «improve the model for everyone».
- После критики OpenAI отправила второе письмо и пообещала отдельную возможность отказаться.
- Взаимодействия, помеченные при проверках безопасности, по-прежнему могут использоваться в целях безопасности.
- Исследователи опасаются повторения случая Бакмастера и Алпёге: математики загрузили в Codex черновики по уравнениям Навье, Стокса, OpenAI представила своё доказательство и отрицала использование их данных для обучения.
Почему это важно
Данные сессий Daybreak Blue раньше были защищены от обучения даже при выключенной общей настройке «improve the model for everyone». Теперь OpenAI это исключение убирает, то есть прежняя гарантия перестаёт действовать. Для пользователей, которые работали в этих сессиях именно из-за такой гарантии, с 29 ноября условия меняются.
Кому это важно
В первую очередь участникам программы Trusted Access, которым пришло письмо, и всем, кто работает с Daybreak Blue. Также исследователям и специалистам, которые загружают в сервисы OpenAI (например, Codex) неопубликованные материалы: случай Бакмастера и Алпёге показал, чем грозит даже одно лишь подозрение в использовании таких данных.
Как это применить
Если вы участник Trusted Access или пользуетесь Daybreak Blue, до 29 ноября проверьте письма от OpenAI и настройки аккаунта. Второе письмо обещает отдельную возможность отказаться от обучения; в источнике не указан срок и механизм этой отписки, поэтому следите за уточнениями от самой компании. Конфиденциальные и неопубликованные материалы до выяснения условий разумно не загружать.
Можно ли доверять
Это пересказ публикации The Decoder, а не первоисточника: сами письма OpenAI в материале не приведены. Источник не называет причину решения, не уточняет, сколько пользователей затронуто, и не говорит, когда были отправлены оба письма. Опасения исследователей описаны в общем виде, без цитат конкретных людей. Деталей об устройстве обещанной отписки пока нет.
Риски и подводные камни
Главный риск, утечка или использование чувствительных данных, полученных в сессиях по кибербезопасности, при обучении моделей. Обещание отдельной отписки пока остаётся обещанием: сроки и форма не названы. Случай Бакмастера и Алпёге показывает репутационную сторону проблемы: OpenAI отрицала использование их материалов, но, по словам The Decoder, одного подозрения было достаточно, чтобы встревожить исследователей. Источник не сообщает, было ли оно когда-либо подтверждено.