OpenAI улучшает ChatGPT в малоресурсных языках программирования
OpenAI опубликовала материал о том, как компания улучшает ChatGPT в работе с малоресурсными языками программирования (low-resource programming languages), то есть языками, для которых у нейросетей обычно меньше материала и опыта.
Вместе с этим OpenAI называет новые оценки (evaluations) в трёх областях: разработка программного обеспечения, работа с SQLite и миграция с COBOL. Таким образом, помимо самого улучшения, компания вводит способы измерять результат на этих задачах.
Доступно лишь краткое описание материала. Результатов тестов, процентов, названий моделей и версий, описания метода и данных в нём нет, поэтому оценить масштаб улучшений по этому тексту нельзя.
Ключевые факты
- OpenAI заявляет, что улучшает ChatGPT в малоресурсных языках программирования.
- Заявлены новые оценки по трём направлениям: разработка ПО, SQLite и миграция с COBOL.
- В доступном описании нет цифр, результатов тестов и названий моделей.
- Метод, данные и дата публикации в описании не приведены.
Почему это важно
Нейросети для программирования обычно лучше всего работают с самыми распространёнными языками. OpenAI публично заявляет, что работает над менее распространёнными, и называет конкретные направления оценки: разработка ПО, SQLite и миграция с COBOL. COBOL связан с задачей переноса существующего кода, но подробности в доступном описании не раскрыты.
Кому это важно
Разработчикам, которые пишут на редких языках или работают с SQLite, и командам, занятым миграцией кода с COBOL. Также материал интересен тем, кто следит за тем, как OpenAI измеряет качество ChatGPT в программировании.
Как это применить
Практических рекомендаций в доступном описании нет. Разумный шаг, дождаться полного текста материала и проверить на своих задачах, изменилось ли качество ответов ChatGPT для нужного языка.
Можно ли доверять
Это материал самой OpenAI, то есть заявление разработчика о собственном продукте. В доступном описании нет цифр и результатов тестов, которые можно было бы проверить, поэтому оценивать заявленное улучшение рано.
Риски и подводные камни
Без опубликованных результатов и описания метода неизвестно, насколько велик эффект и на каких задачах он проявляется. Названия оценок ещё не означают, что они доступны сторонним исследователям, а выводы стоит делать только после изучения полного текста.