Jane Street: ложная пожарная тревога чуть не залила дата-центр в Нью-Йорке
Автор блога, работавший в системной команде Jane Street, вспоминает эпизод из жизни фирмы. Это личный рассказ от первого лица, а не официальное заявление компании. Год происшествия в тексте не указан. Автор сам называет это взглядом на фирму «снизу» и шутливо сравнивает системную команду с «синими воротничками» среди OCaml-программистов.
Jane Street долго настаивала на том, чтобы машинный зал находился рядом с торговым залом. По словам автора, причин было две: защита интеллектуальной собственности (чтобы шпионы не украли серверы и не узнали торговые стратегии) и технологический риск (чтобы вышедшую из-под контроля автоматическую торговлю всегда можно было остановить, выдернув кабели питания). Автор связывает эту культуру риска с одним из партнёров фирмы, служившим на атомной подводной лодке: на лодке не доверяют автоматике, если нет красного механического рычага, который её отключает. Со временем машинный зал вырос в солидный дата-центр: онлайновый ИБП, кондиционеры для серверных (CRAC), сетевые коммутаторы размером с холодильник, подземный дизель-генератор и около 10 рядов серверных шкафов по 10 шкафов в глубину. Всё это находилось внутри обычного офисного небоскрёба 1 New York Plaza.
Автор снимал крошечную студию в 200 квадратных футов в девяти минутах пешком от торгового зала, и поэтому оказался под рукой, когда случилась авария. Однажды вечером ему позвонил гонконгский офис: в нью-йоркском дата-центре сработала дымовая тревога. Подрядчики работали над подсобным помещением рядом с дата-центром, при резке поднялась пыль и включила датчик дыма.
Опасность была не в самой тревоге. По описанию автора, спринклеры над машинным залом обычно не заполнены водой постоянно: после сигнала дымовой системы трубы наполняются водой под давлением, но вода не льётся, пока не откроется термочувствительная пробка на каждой головке, то есть пока воздух вокруг не станет достаточно горячим. Однако в этом дата-центре дымовая тревога была подключена к отключению CRAC-установок, чтобы воздух не раздувал настоящий пожар. Охлаждение встало, температура в зале, полном серверов, пошла вверх, а трубы со спринклерами уже были под давлением. Автор называет это потенциально способным разрушить бизнес.
Задача была такая: как можно быстрее добраться до офиса и вытащить шнур питания из каждого устройства в зале, пока температура не превысила 150 °F (по Фаренгейту) и спринклеры не уничтожили всё. Автор бежал по Уотер-стрит, ждал лифт на 33 этажа, вошёл в зал, который «ощущался как сауна», и рядами, шкаф за шкафом, выдёргивал кабели обеими руками. Затем смотрел на монитор температуры: 141, 142, 143, 143,5, 143,6 °F, после чего рост остановился. В зале наступила тишина, какой автор раньше не слышал. Он иронизирует, что зал держали рядом именно ради возможности выдёргивать шнуры, но вряд ли кто-то представлял, что это придётся делать ради спасения серверов от спринклеров.
Поскольку основные нью-йоркские рынки в тот день были закрыты, простой оказался минимальным, а на следующее утро системы уже работали. Последовали разборы, которые, по словам автора, были деловыми и спокойными, похожими на спор студентов-инженеров. Итог: спринклеры остаются, процедуры и наблюдение ужесточаются, серверы продолжают размещать в офисном здании рядом с торговым залом. Автор мимоходом упоминает, что продолжалось это «до тех пор, пока ураган Сэнди не дал фирме по голове», но подробности называет историей для другого раза.
На следующее утро автор написал новый монитор. Гонконгская команда заметила проблему лишь случайно: кто-то увидел на экране, что на серверах один за другим всплывает сообщение о растущей температуре. Отдельный сервер не настроен поднимать тревогу из-за небольшого нагрева, но одновременный рост температуры на многих серверах означает общий отказ охлаждения. Поэтому автор написал на OCaml программу, которая каждую минуту опрашивает все серверы в каждой площадке об их температуре по встроенным датчикам, берёт среднее и при повышении рассылает оповещение всей системной команде. Можно было бы реагировать и на остановку CRAC-установок или на отдельный датчик температуры в зале, но, по словам автора, такая телеметрия была заметно менее надёжной, а «неизвестные неизвестные» всё равно могут подвести, поэтому самое надёжное порой, спросить у парка Linux-машин их температуру.
Ключевые факты
- Пыль от работ подрядчиков рядом с нью-йоркским дата-центром Jane Street в 1 New York Plaza включила дымовую тревогу; она была подключена к отключению CRAC-установок, и охлаждение остановилось, а трубы спринклеров наполнились водой под давлением.
- Автор побежал из дома (девять минут пешком) и выдёргивал шнуры питания из устройств, пока температура не достигла порога в 150 °F: показания монитора остановились на 143,6 °F.
- Рынки Нью-Йорка в тот день были закрыты, простой был минимальным, системы заработали на следующее утро; по итогам разборов спринклеры оставили, процедуры и наблюдение ужесточили, серверы остались рядом с торговым залом.
- После случая автор написал на OCaml монитор: раз в минуту он опрашивает серверы по встроенным датчикам, считает среднюю температуру и оповещает системную команду при повышении.
Почему это важно
История показывает, как две по отдельности разумные меры безопасности (отключать охлаждение при дыме и держать спринклеры под давлением после сигнала) в сочетании создают риск для оборудования от ложной тревоги. Автор описывает именно такую цепочку, которая могла уничтожить серверы фирмы, и это хороший пример того, что проблема может быть не в отдельном компоненте, а в их связке. Это не новость об ИИ: материал относится к эксплуатации дата-центров и мониторингу.
Кому это важно
Инженерам по эксплуатации (SRE и системным администраторам), тем, кто проектирует или арендует серверные помещения, и тем, кто настраивает мониторинг инфраструктуры. Также интересна читателям, которым нравятся разборы инцидентов в финансовых компаниях.
Как это применить
Из рассказа можно вынести идеи для собственных проверок: выяснить, как в вашем помещении дымовая сигнализация связана с кондиционированием и пожаротушением; не полагаться только на оповещения по одному серверу, а следить за общим сдвигом температуры по парку; иметь независимый от телеметрии здания источник сигнала о перегреве. Так делает автор: монитор раз в минуту опрашивает серверы по встроенным датчикам и считает среднее. Рассказ описывает конкретный случай и не является инструкцией по пожарной безопасности.
Можно ли доверять
Это личный рассказ автора в блоге от первого лица. Jane Street в тексте не цитируется, официальных подтверждений нет, дата и год происшествия не указаны, имя автора в тексте статьи не названо. Часть описания работы спринклеров автор подаёт как общую схему («обычно»), а не как точную спецификацию именно этого здания. Тон материала шутливый, с иронией и театральными деталями, поэтому подробности стоит воспринимать как воспоминание. В начале заметки автор указывает, что текст написан человеком, а ИИ использовался для вычитки и лёгкой правки.
Риски и подводные камни
Не стоит делать из истории вывод, что вытаскивать шнуры из серверов вручную, хороший план: это было аварийное решение в условиях нехватки времени, а не рекомендация. Автор не сообщает, срабатывали ли спринклеры, были ли повреждены серверы или потеряны данные, и не называет денежных потерь. Подход с усреднением температуры по серверам тоже не универсален: сам автор признаёт, что можно было опираться и на сигнал остановки CRAC-установок или на датчик в зале, но считал эту телеметрию менее надёжной.
«Самое надёжное порой действительно в том, чтобы спросить у парка Linux-машин их температуру и поднять панику, если среднее значение хоть немного выше нормы.»
— Автор блога michael.bacarella.com