Jane Street пробует новые собеседования: дизайн, проверка кода и LLM

Компания Jane Street рассказала в своём блоге, что меняет подход к собеседованиям программистов. Исходная посылка: за последние годы LLM изменили разработку, и в Jane Street большинство инженеров теперь пользуются ими каждый день, не только для написания кода, но и для чтения, отладки и ревью кода, а также для задач, вообще не связанных с кодом.

При этом классические собеседования по программированию, по словам компании, не менялись: вопросы того же типа, что и много лет. Кандидат садится с одним-двумя интервьюерами, вместе решает задачу программированием и комментирует свои действия вслух. Цели прежние: увидеть, как человек решает задачи, структурирует работу, общается и сотрудничает. Но, как пишет компания, форма профессии изменилась. Раз генерация кода стала, по её оценке, дешевле, чем когда-либо, ещё важнее стали другие части работы: чутьё на то, что строить, выбор долговечных абстракций и уверенность, что построенное действительно корректно.

Поэтому этим летом Jane Street начала пробовать новые виды интервью на выездных собеседованиях (onsite) для кандидатов из студенческого набора. В целом в них меньше написания кода и больше задач более высокого уровня: проектирование ПО, проверка качества, структуры и замысла кода, а также использование LLM для создания кода. Большинство раундов при этом останутся традиционными собеседованиями по программированию без помощи LLM.

Компания признаёт, что описание звучит расплывчато, но говорит, что это намеренно: форматы ещё меняются, и она не хочет подробно описывать то, что через полгода будет выглядеть иначе.

Что важно знать кандидатам. Не на каждом onsite уже есть новые раунды, а по приходе кандидата предупредят, чего ожидать. Остальной процесс не изменился, прежние статьи компании о собеседованиях остаются актуальными. Глубокого опыта работы с LLM у всех нет, и не нужно иметь продуманную методику работы с агентами, чтобы хорошо пройти отбор: компания ищет людей с хорошим чутьём на создание ПО и не считает, что для его оценки нужна LLM. Она не ждёт какой-то конкретной настройки или использования LLM везде; важно ясно мыслить об инструментах, в чём они сильны, где слабы и когда стоит взяться за что-то другое. Интервью более опытных кандидатов, как и прежде, остаются разнообразнее: от написания ПО до проектирования систем и обсуждения прошлых работ. В конце компания обещает продолжать эксперименты и написать больше, когда будет о чём рассказать.

Ключевые факты

  • Jane Street этим летом начала пробовать новые виды интервью на выездных собеседованиях для кандидатов из студенческого набора.
  • В новых раундах меньше написания кода: упор на проектирование ПО, проверку качества, структуры и замысла кода и на использование LLM для создания кода.
  • Большинство раундов остаются традиционными собеседованиями по программированию без помощи LLM; не на каждом onsite новые раунды уже есть.
  • От кандидатов не ждут особой методики работы с агентами или конкретной настройки, важно ясно мыслить об инструментах и их пределах.
  • Форматы описаны расплывчато намеренно, потому что ещё меняются; остальной процесс найма не изменился.

Почему это важно

Известная фирма прямо заявляет, что собеседования должны проверять не только умение писать код, но и умение судить о коде и работать с LLM. Причина, по версии компании, в том, что генерация кода стала дешевле, а на первый план вышли вкус, выбор абстракций и проверка корректности. Это показательный сигнал о том, как работодатели переосмысливают оценку инженеров, хотя пока речь лишь о пробных раундах.

Кому это важно

Прежде всего тем, кто собирается на собеседования в Jane Street, особенно кандидатам из студенческого набора, на чьих onsite новые форматы уже пробуют. Также это интересно инженерным руководителям и рекрутерам, которые думают, как менять собственные интервью в эпоху LLM, и разработчикам, которые хотят понимать, какие навыки работодатели считают важными.

Как это применить

Компания советует не тревожиться из-за отсутствия отточенной методики работы с агентами. Практически стоит потренироваться в проектировании ПО, в оценке качества и замысла чужого или сгенерированного кода и в осознанном выборе инструментов: понимать, в чём LLM сильны, где слабы и когда лучше взять другое средство. Традиционные задачи на программирование вслух с интервьюером по-прежнему остаются основой. Подробностей о новых раундах в тексте нет, поэтому детали стоит ждать от самой компании: на месте кандидата предупредят, чего ожидать.

Можно ли доверять

Это материал первой стороны, опубликованный в блоге самой Jane Street, без указания автора: компания говорит от лица «мы». В нём нет цифр, примеров вопросов, названий инструментов или моделей и нет результатов пробы, так что проверить заявленное нечем. Дата публикации в тексте не указана; «этим летом», формулировка самого поста. Это описание намерений и пилота, а не отчёт об итогах.

Риски и подводные камни

Компания сама признаёт, что формулировки расплывчаты, а форматы быстро меняются, поэтому ориентироваться на них как на устоявшуюся схему нельзя. Не на каждом onsite есть новые раунды, так что у разных кандидатов опыт может отличаться. В тексте не сказано, будут ли новые форматы распространены на опытных кандидатов: для них компания лишь отмечает, что интервью по-прежнему разнообразнее. Не следует делать вывод, что работа с LLM теперь заменяет умение программировать: большинство раундов остаются без помощи LLM.

«В конце концов, мы ищем людей с отличным чутьём на создание ПО, и нам не кажется, что для его оценки нужна LLM.»

— Jane Street, блог компании