Эссе 2011 года отвечает Хомскому: статистические модели языка, это наука

Эссе «Хомский и две культуры статистического обучения» (2011), ответ на спор Стивена Пинкера и Ноама Хомского об успехе вероятностных моделей, обученных статистическими методами. Хомский в стенограмме говорит, что в применении статистических моделей к лингвистическим задачам «были некоторые успехи, но много провалов», а само понятие успеха он называет новым в истории науки: оно трактует успех как приближение к неанализированным данным. Автор эссе (страница размещена на norvig.com; в доступном фрагменте он пишет от первого лица) возражает по нескольким линиям. Доступна лишь середина и поздняя часть текста, начало и концовка обрезаны.

Сначала он разводит понятия. Модель Шеннона на цепях Маркова: при словаре в 100 000 слов и зависимости слова от двух предыдущих нужно задать квадриллион (10^15) вероятностей. Единственный реальный способ, собрать статистику по данным и добавить сглаживание для случаев, где данных нет. Поэтому большинство (но не все) вероятностных моделей обучаются, а многие (но не все) обученные модели вероятностны. Закон всемирного тяготения Ньютона, обученная, но детерминированная модель: константа G оценивается статистическим выводом по зашумлённым опытам. Автор считает, что Хомский не возражает против такой модели с одним параметром и, судя по всему, критикует модели вроде шенноновских с квадриллионами параметров. Идеальный газ, статистическая, вероятностная и неполная модель, но она даёт и точные предсказания, и понимание, недоступное при отслеживании отдельных молекул.

Далее пример с орфографией. Правило «I перед E, кроме после C» сравнивается со статистикой по корпусу в триллион слов английского текста: сочетание IE встречается чаще EI почти в 4 раза, а CIE чаще CEI почти в 3 раза (science, society, ancient, species), вопреки правилу. По расчёту автора, точность правила «I перед E», 0,793, а с оговоркой про C, 0,753. Более сложная статистическая модель (вероятности всех четырёхбуквенных последовательностей и/или известных слов) могла бы быть примерно в десять раз точнее, но не объяснила бы, как устроена орфография; для этого нужна модель с фонемами, слогоделением и языком происхождения, обученная или нет, вероятностная или нет.

Затем автор доказывает, что статистические модели не имеют «ограниченного успеха», а занимают подавляющее, хотя и не исключительное положение. Он приводит слова Стива Эбни (1996): за десять лет статистические методы из почти неизвестных стали обязательной основой компьютерной лингвистики. Большинство, признаёт автор, не решает вопрос о правоте, но сам он после примерно 14 лет попыток заставить языковые модели работать на логических правилах перешёл к вероятностным подходам (благодаря Джину Чарняку, Джудее Перлу и коллеге Декаю У) и не видел никого, кто двигался бы в обратную сторону. Как финансовую меру успеха он называет такое сравнение: наследники теории Шеннона приносят несколько триллионов долларов выручки в год, наследники теорий Хомского, «куда меньше миллиарда» (как именно посчитано, не сказано). Это инженерная причина; дальше автор переходит к научным.

Научный довод: по словарному определению наука делает упор на точном моделировании, а не на понимании, но, по мнению автора, оба начала всегда сосуществовали. Для проверки он случайно выбрал аннотацию из журнала Science, про электрод из оксида индия-олова для светодиодов (OLED) с максимальной внешней квантовой эффективностью 54%, и заключил, что она посвящена скорее точному описанию мира, чем объяснению.

Наконец, он разбирает возражения Хомского. Тезис 1969 года, что «вероятность предложения», бесполезное понятие, держался на идее, что новое предложение получает нулевую вероятность. Но в современных моделях принято сглаживание, дающее новым событиям ненулевую вероятность, так что критика неверна, хотя десятилетиями была очень влиятельной. Вывод «Синтаксических структур» (1957), что вероятностные модели не дают понимания базовых проблем синтаксиса, верен лишь для моделей на цепях Маркова, но не для вероятностных моделей вообще. Лучше всего изучены вероятностные контекстно-свободные грамматики (PCFG): они лучшие по качеству разбора и легче обучаются на данных, чем категориальные. Любая вероятностная модель, надмножество детерминированной (вероятности 0 или 1), поэтому обоснованная критика могла бы касаться лишь избыточной выразительности. Фрагмент обрывается на разборе примера Хомского «colorless green ideas sleep furiously» (бесцветные зелёные идеи яростно спят), где Хомский указывает, что фраза (a) грамматична, а (b), нет.

Ключевые факты

  • Хомский в ответ на вопрос Пинкера говорит об «успехах, но многих провалах» статистических моделей; автор эссе называет это неверной картиной и считает положение таких моделей в отрасли подавляющим.
  • Критика Хомского 1957 года верна только для моделей на цепях Маркова, а довод 1969 года про «нулевую вероятность новых предложений» снимается сглаживанием.
  • Для английской орфографии по корпусу в триллион слов IE чаще EI почти в 4 раза, а CIE чаще CEI почти в 3 раза; точность правила «I перед E», 0,793, а с оговоркой про C, 0,753.
  • Автор после примерно 14 лет работы с логическими правилами перешёл на вероятностные методы и, по его словам, не видел никого, кто шёл бы обратно.
  • Точное моделирование и объяснение, по мнению автора, всегда сосуществовали в науке; статистические модели могут давать и то и другое (пример, закон идеального газа).

Почему это важно

Спор о том, считать ли статистическое моделирование языка настоящей наукой или лишь подгонкой под данные, определяет, какие работы признают объяснением, а какие инженерией. Эссе, одна из ярких попыток ответить на критику Хомского по существу: развести «вероятностные» и «обученные» модели, показать границы его возражений и напомнить, что точность и понимание в науке не исключают друг друга.

Кому это важно

Исследователям и студентам, изучающим компьютерную лингвистику и машинное обучение; всем, кого интересует, чем «объяснение» отличается от «хорошего прогноза»; читателям, которые следят за идейными спорами вокруг языковых моделей.

Как это применить

Эссе полезно как набор готовых различений для обсуждений: вероятностная модель или нет, обученная или нет, дискретная или непрерывная, даёт ли она предсказания, понимание или и то и другое. Пример с орфографией показывает, как сравнивать правило и статистическую модель по точности и при этом отдельно спрашивать, что модель объясняет.

Можно ли доверять

Это авторское эссе, то есть позиция, а не нейтральный обзор: доводы подкреплены цитатами Хомского и Эбни и простыми расчётами, но выводы о «доминировании» и сравнение выручки, оценки самого автора, способ подсчёта выручки не приводится. Доступна лишь часть текста: начало обрезано, концовка и выводы отсутствуют, поэтому итоговые тезисы автора здесь не пересказаны.

Риски и подводные камни

Часть доводов, аргумент от большинства и от денег; сам автор признаёт, что большинство не определяет правоту. Утверждение, что Хомский возражает лишь против моделей с огромным числом параметров, предположение автора («я полагаю», «судя по всему»). Цифра «примерно в десять раз точнее» для сложной модели орфографии дана в условном наклонении («могла бы быть»), а не как измерение. Это текст 2011 года, и его выводы относятся к тому, что было известно к тому времени.

«Он трактует успех как приближение к неанализированным данным.»

— Ноам Хомский, из стенограммы обмена со Стивеном Пинкером