Автор yk адаптировал CPython под JIT: быстрее обычного во всех тестах AWFY, кроме одного
Автор фреймворка yk, который автоматически добавляет JIT-компиляторы в интерпретаторы на C, рассказывает, как адаптировал под него CPython. Предыстория: в конце октября он показал данные, по которым на его наборе тестов yklua вдвое быстрее интерпретатора PUC Lua, на котором основан. Тогда его спросили: «как вы узнаете, что это работает для больших интерпретаторов?» PUC Lua как минимум на порядок меньше CPython или CRuby. К CPython смотрели около года назад, но yk тогда не хватало нескольких очевидных вещей. С тех пор многое изменилось, а быстрый эксперимент с помощью языковой модели дал повод посмотреть снова.
Итог: CPython с адаптацией под yk (ykcpython) работает и даёт заметный выигрыш и относительно обычного CPython, и относительно экспериментального JIT самого Python. Это результат примерно 3-4 дней работы непосредственно над ykcpython; до этого понадобилось ещё полторы недели общих исправлений ошибок в yk. В сумме для адаптации добавлено чуть менее 450 строк кода.
Измерения: сравнивались cpython (обычный CPython 3.15.1), cpython_jit (CPython 3.15.1 с включённым экспериментальным JIT) и ykcpython (коммит 31b4d387). Тесты, набор AWFY (форк команды автора), каждый тест гоняли по 10 итераций внутри процесса. В основной таблице среднее время и 99-процентные доверительные интервалы получены бутстрэпом по 30 запускам процесса на машине с 64-ядерным AMD EPYC 7773X под Debian в режиме производительности. Автор приложил повторяемый эксперимент и сырые данные. Вывод: ykcpython быстрее cpython на всех тестах, кроме DeltaBlue, где он примерно на 2,5% медленнее, и быстрее cpython_jit в 8 из 13 тестов. Метрика, время выполнения от начала до конца, оно включает запуск и прогрев и потому, по словам автора, скорее выгодно обычным интерпретаторам и «наказывает» JIT. cpython и cpython_jit собраны LLVM-21 (JIT требует его); ykllvm основан на версии LLVM примерно на полгода новее, что может слегка исказить сравнение.
Автор сразу оговаривается: пост не для того, чтобы делать вид, будто ykcpython готов к использованию, он определённо не готов, и на более широком наборе программ такого результата ждать не стоит. По его мнению, результаты на наборе тестов, барьер, который надо пройти, а не самоцель: система с хорошими результатами может плохо работать в реальности, а система с плохими почти всегда работает плохо.
Как yk устроен: на вход принимает слегка изменённый интерпретатор на C и выдаёт виртуальную машину с мета-трассирующим JIT. Он не стремится к самой быстрой реализации языка, а хочет сделать знакомую реализацию заметно быстрее при 100% совместимости. Интерпретатор указывает, где в программе на гостевом языке возможны циклы (структура YkLocation), и по желанию добавляет подсказки оптимизации; расставить YkLocation относительно просто, а подсказки требуют глубокого знания интерпретатора и тщательных замеров. Автор начинает с минимума: добиться, чтобы записывались и компилировались хоть какие-то трассы, и сразу следить, чтобы проходил набор тестов языка. Для простого интерпретатора хватает менее 10 строк изменений; yk не любит «потоковые» интерпретаторы с goto между опкодами.
Первая попытка, «ярус 1» (tier 1), основной интерпретатор CPython. Быстрый ввод поддержки yk выявил в самом yk недостающее (от атомарных загрузок до неподдерживаемых разрядностей в sub), мелкие несовместимости и прямые ошибки (от исправлений stackmap до лишних действий после fork); на это ушло около полутора недель. Диф для яруса 1, около 200 строк: переключение CPython на встроенный, но не используемый по умолчанию интерпретатор на switch, учёт теневого стека yk при изменении размера C-стека и YkLocation на опкодах обратных переходов. Версия получилась гораздо медленнее ожидаемого, хотя трассы создавались и выполнялись правильно, а тесты проходили (правда, с большим расходом памяти).
Причина, квикенинг (специализация опкодов), добавленный в CPython 4 года назад: общие опкоды (например, «сложить объекты») подменяются специализированными (например, «сложить два int») и при необходимости откатываются. Опкоды могут многократно переходить между специализированным и общим видом, а в простой реализации каждый такой переход выбрасывал трассу и создавал новую, поэтому затраты на создание редко окупались. Автор вспомнил разговор с разработчиками CPython и нашёл в CPython «ярус 2» (tier 2), альтернативную реализацию ключевых частей главного цикла, нужную в основном для экспериментального JIT. Быстрый эксперимент показал, что он лучше подходит для yk. Поддержку яруса 1 убрали и добавили поддержку в ярусе 2, всего 80 строк. Она, в частности, назначает YkLocation началам циклов: проходит по инструкциям исполнителя и для целей переходов _JUMP_TO_TOP создаёт YkLocation, если его ещё нет.
Сборка ykcpython использует флаги --without-computed-gotos, --without-tail-call-interp, --enable-experimental-jit=interpreter и --without-ensurepip; обычный cpython собирался clang-21 с --enable-optimizations и --with-lto. Все замеры дальше по тексту основной таблицы автор делал однократным запуском time обычным пользователем, не проверяя тщательно, свободна ли машина: при начальной оптимизации нет смысла ждать час на каждое изменение, когда эффекты обычно велики. Далее статья переходит к оптимизации диспетчеризации интерпретатора на примере теста Mandelbrot, но доступный текст обрывается на начале этого раздела, поэтому дальнейшие шаги оптимизации и итоговые выводы здесь не пересказаны.
Ключевые факты
- ykcpython, CPython 3.15.1, адаптированный под мета-трассирующий JIT-фреймворк yk: около 3-4 дней работы над самим ykcpython плюс полторы недели общих исправлений в yk; добавлено чуть менее 450 строк кода.
- На 13 тестах AWFY (30 запусков процесса, 10 итераций внутри процесса, 99-процентные доверительные интервалы, 64-ядерный AMD EPYC 7773X) ykcpython быстрее обычного CPython везде, кроме DeltaBlue (примерно на 2,5% медленнее), и быстрее экспериментального JIT CPython в 8 из 13 тестов.
- Первая версия на основном интерпретаторе CPython (ярус 1, около 200 строк) оказалась медленной из-за специализации опкодов, сбрасывавшей трассы; переход на интерпретатор яруса 2 потребовал всего 80 строк.
- Метрика, время выполнения от начала до конца, включая запуск и прогрев, что, по словам автора, выгодно обычным интерпретаторам; сравнение слегка искажает и то, что ykllvm основан на LLVM примерно на полгода новее LLVM-21.
- Автор прямо пишет, что ykcpython не готов к использованию и такого же результата на более широком наборе программ ждать не стоит.
Почему это важно
yk претендует на то, чтобы автоматически добавлять JIT-компилятор в существующий интерпретатор на C с минимальными правками и полной совместимостью. Главным возражением был вопрос, сработает ли это на больших интерпретаторах, а не только на сравнительно небольшом PUC Lua (где, по данным автора, выигрыш в 2 раза). Пост показывает, что для CPython хватило менее 450 строк, чтобы получить выигрыш на большинстве тестов AWFY как у обычного CPython, так и у его экспериментального JIT. Это пока демонстрация подхода, а не готовый продукт.
Кому это важно
Разработчикам языковых виртуальных машин и интерпретаторов, которые хотят ускорить существующую реализацию без переписывания с нуля. Интересно и тем, кто следит за экспериментальным JIT в CPython: здесь он сравнивается с альтернативным подходом на том же интерпретаторе яруса 2. Для обычных пользователей Python практического применения пока нет.
Как это применить
Прямого применения нет: автор подчёркивает, что ykcpython не готов к использованию. Практическая ценность, в описанном порядке работ для адаптации интерпретатора под yk: сначала минимальные правки, чтобы записывались и компилировались хоть какие-то трассы; сразу следить, чтобы проходил набор тестов языка; расставить YkLocation на циклах; подсказки оптимизации добавлять позже и только с замерами. Повторяемый эксперимент и сырые данные автор выложил по ссылкам в посте.
Можно ли доверять
Автор выкладывает повторяемый эксперимент и сырые данные, указывает версии, коммит, флаги сборки и железо, даёт доверительные интервалы и сам перечисляет искажающие факторы: метрика, выгодная обычным интерпретаторам, разные версии LLVM, а также то, что последующие замеры в посте сделаны одним запуском time без проверки простоя машины. Результаты получены автором самого фреймворка yk, а не независимой группой, и только на наборе AWFY. Доступный текст статьи обрывается посреди раздела об оптимизации диспетчеризации, поэтому таблица с подробными значениями по тестам и итоговые выводы здесь не пересказаны.
Риски и подводные камни
Автор сам предупреждает, что ykcpython не готов к использованию и что на более широком наборе программ результат будет хуже. Он пишет, что хорошие результаты на тестах не гарантируют хорошей работы в реальности. Конкретные ограничения, названные в тексте: на DeltaBlue ykcpython медленнее обычного CPython примерно на 2,5%, а в 5 из 13 тестов уступает экспериментальному JIT CPython; тесты проходили, но с повышенным расходом памяти (для ранней версии на ярусе 1); yk не любит интерпретаторы с «потоковой» диспетчеризацией через goto. Поддержка ярусов и флагов сборки зависит от конкретной версии CPython 3.15.1.
«Смысл этого поста не в том, чтобы делать вид, будто ykcpython хоть в какой-то мере готов к использованию людьми, он определённо не готов!»
— автор поста