TimeCapsule: модель обучили только на текстах Викторианской эпохи, чтобы изучить временную предвзятость ИИ
Авторы работы указывают на проблему "временной перегруженности" (temporal overexposure) больших языковых моделей: они обучаются на огромных массивах современных текстов, впитывают сегодняшние понятия и оттого становятся ненадёжными рассказчиками о прошлом, их представления о прежних эпохах неизбежно искажены знанием будущего.
Чтобы проверить эту идею экспериментально, исследователи построили TimeCapsule, каузальную языковую модель на 1,2 млрд параметров в архитектуре, близкой к LLaMA, и обучили её исключительно на викторианских текстах 1800, 1875 годов. Авторы называют такую модель "эпистемологически изолированным генеративным архивом": в отличие от обычных LLM, она физически не может знать о событиях и понятиях позже 1875 года.
При количественной оценке на отложенном массиве викторианской прозы TimeCapsule показала перплексию на 45,4% ниже, чем базовая модель GPT-2. При этом более крупные современные модели, обученные на широких и разнообразных корпусах, дают ещё более низкую перплексию, но, в отличие от TimeCapsule, не обладают временной изоляцией: они опираются на знания, недоступные людям XIX века.
Отдельный эффект, то, что авторы называют "вычислительным осмыслением" (computational sensemaking): не зная современных терминов, модель объясняет незнакомые ей понятия через доступные в её обучающих данных викторианские аналогии. Например, описывая компьютер, она называет его "гипертрофированным лёгким".
Авторы также провели качественную проверку: два учёных-гуманитария (специалисты по герменевтике/интерпретации текстов) пытались отличить подлинные викторианские отрывки от сгенерированных моделью. Оба ошибочно приняли примерно 40% подлинных исторических текстов за машинный текст, это авторы называют "кризисом подлинности".
Основной вывод статьи: структурное незнание будущего превращает то, что в обычных условиях считалось бы галлюцинацией модели, в инструмент интерпретации, способ исследовать, как мыслили и объясняли мир люди XIX века (их "онтологии").
Ключевые факты
- TimeCapsule, каузальная языковая модель на 1,2 млрд параметров (архитектура в духе LLaMA), обученная исключительно на английских текстах 1800, 1875 годов.
- На отложенной викторианской прозе перплексия TimeCapsule на 45,4% ниже, чем у базовой GPT-2; более крупные современные модели дают ещё меньшую перплексию за счёт широты обучения, но не имеют временной изоляции.
- Модель демонстрирует "вычислительное осмысление": объясняет незнакомые ей современные понятия через викторианские аналогии, например, называет компьютер "гипертрофированным лёгким".
- В качественном тесте два учёных-гуманитария ошибочно приняли около 40% подлинных викторианских текстов за сгенерированные машиной, авторы называют это "кризисом подлинности".
- Вывод авторов: незнание будущего превращает галлюцинации модели в инструмент интерпретации представлений XIX века о мире.
Почему это важно
Работа переворачивает привычную претензию к LLM, вместо того чтобы бороться с "галлюцинациями" как с браком, авторы показывают: если модель обучена исключительно на текстах одной исторической эпохи, её неспособность понять современные понятия сама становится исследовательским инструментом. Это конкретная иллюстрация проблемы временной перегруженности современных ИИ: обычные LLM обучены на массивах текстов вплоть до сегодняшнего дня и потому неизбежно проецируют сегодняшние понятия на прошлое, когда их просят рассуждать об истории.
Кому это важно
Прежде всего исследователям NLP, изучающим смещения и ограничения языковых моделей, а также специалистам по цифровым гуманитарным наукам (digital humanities) и историкам, которым важно, как ИИ-инструменты интерпретируют исторические источники. Результаты также значимы для двух гуманитариев-экспертов из исследования, как демонстрация того, насколько трудно отличить подлинный исторический текст от правдоподобной стилизации.
Как это применить
Подход можно использовать как метод: обучать модели на текстах, изолированных по времени или тематике, чтобы получить "архив", который рассуждает исключительно в категориях своей эпохи, это даёт исследователям инструмент для реконструкции того, как определённая культура объясняла бы себе незнакомые явления. Также подход можно применять как диагностику: сравнение ответов временно изолированной модели и обычной LLM позволяет выявлять, где именно современные модели незаметно привносят анахронизмы в рассуждения об истории.
Можно ли доверять
Это препринт на arXiv, то есть работа пока не прошла рецензирование в журнале или на конференции. В её пользу говорит сочетание количественной метрики (перплексия на отложенных данных, сравнение с GPT-2 и более крупными моделями) и качественного теста с участием двух независимых экспертов-гуманитариев. Ограничение, размер тестовой группы экспертов (двое) и то, что оценка "кризиса подлинности" опирается на их субъективные суждения, а не на более широкую выборку.
Риски и подводные камни
Модель обучалась только на англоязычных текстах узкого 75-летнего периода (1800, 1875) и имеет всего 1,2 млрд параметров, выводы об "эпистемологической изоляции" не обязательно переносятся на другие эпохи, языки или более крупные модели. Сам результат, то, что эксперты путают подлинные и сгенерированные тексты в 40% случаев, можно прочитать и как тревожный сигнал: подобные модели способны производить убедительные псевдоисторические фальсификации, что создаёт риски для источниковедения и цифровой архивистики, если такие тексты выдают за подлинные.
«Гипертрофированное лёгкое»
— TimeCapsule, так модель, не знающая слова "компьютер", описала его через доступную ей викторианскую аналогию