Эмили Бендер разъясняет суть статьи «Stochastic Parrots» спустя пять лет
В марте 2021 года группа лингвистов и компьютерщиков опубликовала статью «О рисках стохастических попугаев: Могут ли языковые модели быть слишком большими?» Работа утверждала, что большие языковые модели (LLM) не понимают смысл, а лишь статистически предсказывают последовательности слов, эту идею авторы назвали метафорой «стохастического попугая». Статья привлекла огромное внимание (в том числе потому, что Google вскоре уволила двух из авторов за её публикацию).
Спустя пять лет главная автор Эмили Бендер, профессор компьютерной лингвистики в Университете Вашингтона, выпустила статью, разбирая частые неправильные толкования своей работы. В интервью IEEE Spectrum она объясняет ключевые моменты.
Первое большое недопонимание: люди часто говорят, что Бендер утверждает, будто сам ИИ, это стохастический попугай. На самом деле метафора относилась конкретно к LLM для синтеза текста, а не ко всем технологиям, называемым ИИ (шахматные движки, AlphaFold, системы разметки изображений, это совсем другое). Вторая ошибка: интерпретация фразы как оскорбления или унижения. Бендер подчеркивает, что это просто точное описание того, как эти системы действительно работают, а не критика.
Бендер также критикует сам термин «искусственный интеллект» за его размытость. Он охватывает разнородные технологии, затрудняя осознанное обсуждение и регулирование. К примеру, когда говорят, что «учёные использовали ИИ для открытия нового лекарства», остаётся неясным, имеют ли в виду белковые складки (AlphaFold), погодное моделирование или что-то ещё, это совершенно разные технологии, чем ChatGPT.
Если бы переписывать статью сейчас, Бендер добавила бы раздел об эксплуатационных трудовых практиках: ужасные условия работников данных и массовая кража творческого и интеллектуального выхода создателей, которые лежат в основе этих систем.
Ключевые факты
- «Стохастический попугай» относится только к LLM для синтеза текста, а не ко всем типам ИИ (не к AlphaFold, шахматным движкам и т.п.)
- Метафора, не оскорбление, а описание того, как LLM действительно работают: они предсказывают вероятные последовательности слов, не понимая смысла
- Термин «искусственный интеллект» размыт и затрудняет разумное обсуждение технологии и её регулирования
- ChatGPT и AlphaFold, технически совершенно разные системы, но публика часто смешивает их под одним ярлыком ИИ
- Если переписывать статью, нужно добавить раздел об эксплуатации работников данных и краже интеллектуальной собственности, которая лежит в основе LLM
Почему это важно
Пять лет спустя метафора «стохастического попугая» стала широко известна, но её часто неправильно интерпретируют. Это создаёт путаницу в общественном и научном дискурсе о языковых моделях. Размытый термин «ИИ» затрудняет принятие обоснованных решений о регулировании и внедрении технологий. Точное понимание того, как работают LLM, критично для ответственного их использования.
Кому это важно
Разработчикам языковых технологий, политикам, занимающимся регулированием ИИ, журналистам, пишущим об AI, исследователям в области компьютерной лингвистики, и всем, кто использует или оценивает LLM-приложения вроде ChatGPT. Также важно для публики, чтобы избежать ложных ожиданий и неправильных сравнений между качественно разными технологиями.
Как это применить
При обсуждении LLM, языковых технологий или генеративных моделей текста используйте конкретные названия (ChatGPT, Gemini, Claude) вместо абстрактного ИИ. Различайте отдельные типы технологий: синтез текста, белковое складывание, распознавание изображений, это принципиально разные подходы. При регулировании или политических решениях избегайте общего ярлыка и описывайте конкретные возможности и риски каждой технологии. Помните, что смысл в LLM-тексте создаёт читатель, а не сама система.
Можно ли доверять
Интервью с Эмили Бендер, одной из авторов оригинальной статьи, надёжный источник. Она профессор компьютерной лингвистики, а её работа по стохастическим попугаям опубликована в рецензируемых научных изданиях. Интервью проводило IEEE Spectrum, авторитетное издание в технической области. Бендер критикует некоторые интерпретации своей работы, но не переписывает историю, а уточняет оригинальный смысл.
Риски и подводные камни
Риск: легко поддаться общей критике ИИ, слышащей в слове «попугай» унижение, хотя Бендер подчеркивает, что это описание, а не оценка. Опасность: при регулировании LLM применить правила, предназначенные для иных типов ИИ. Смешение: даже после уточнений люди будут продолжать использовать слово «попугай» как ярлык со своей коннотацией. Важно учитывать факторы, которые Бендер не включила в оригинальную статью: эксплуатацию работников данных и нарушение авторских прав создателей контента, используемого в обучении.
«Когда текст, выходящий из такой системы, имеет смысл, это потому что смысл в него вкладываем мы. Всякий раз, когда мы оцениваем эту технологию, нам нужно учитывать нашу способность придавать смысл языку и держать это в поле зрения при оценке того, что происходит с технологией. Это часто теряется в этих дискуссиях.»
— Эмили Бендер