Microsoft объяснила сбой Microsoft 365: скрытая ошибка шлюза и перенос трафика

Microsoft опубликовала предварительный отчёт о разборе инцидента (Post-Incident Report, PIR) по крупному сбою Microsoft 365 и Exchange. По версии Ars Technica, скрытый дефект в облачном шлюзе Microsoft, дремавший с июля, стал причиной одного из крупнейших сбоев в истории компании. По отчёту, вместе сработали три фактора: латентная (скрытая) ошибка, изменения в трафике и сниженная мощность серверов. Итоговый статус инцидента Microsoft указала как «техническая проблема, не связанная с кибератаками или ИИ/агентами».
Сбой длился с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября, то есть чуть меньше 24 часов. Дополнительный мониторинг затронутых систем сохранялся до 14 ноября. Сбой быстро отразился на компаниях и госучреждениях, которые зависят от облачной и почтовой инфраструктуры Microsoft. Инцидент проходит под идентификаторами EX1550543 и MO1550821. Полный отчёт на страницах статуса Microsoft виден только администраторам Microsoft 365, но предварительный текст воспроизвёл Office Watch, а Пенсильванский университет ведёт архив обновлений Microsoft о состоянии сервисов.
Первый фактор, сама ошибка. Изменение, развёрнутое в облачном шлюзе Microsoft начиная с июля, создало дефект: при определённых условиях ресурсы процессора и памяти могли исчерпываться, и система переставала отвечать. По словам Microsoft, в предрелизном тестировании дефект не нашли, потому что тестовое оборудование было слабее некоторых систем, уже работавших в production. На новых машинах с большим числом ядер процессора, судя по всему, эта проблема проявлялась сильнее.
Второй фактор, нагрузка на серверы. Microsoft пишет: «Переключения трафика во время штатного обслуживания и обновления сети вскрыли скрытую ошибку». Для надёжности у компании есть две независимые системы шлюзов для доступа к Microsoft 365: если одна даёт сбой и пользователи не могут пройти через «парадный вход», открывается другая. Согласно отчёту, примерно за 15 часов до сбоя трафик Teams перенесли с запасного шлюза на основной, где обслуживается доступ к Exchange Online. Такое переключение, штатный защитный механизм, но оно увеличило нагрузку на основной шлюз и изменило состав запросов. Запросы продолжали накапливаться, затронутые серверы исчерпали ресурсы и стали отказывать в новых подключениях.
Третий фактор, сниженная мощность серверов, назван в начале материала, но в доступном тексте подробно не описан.
Ключевые факты
- Сбой Microsoft 365 и Exchange длился чуть меньше 24 часов: с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября; дополнительный мониторинг шёл до 14 ноября.
- Причина по предварительному отчёту Microsoft: скрытая ошибка облачного шлюза (изменение развёрнуто с июля), смена трафика и сниженная мощность серверов.
- Ошибка могла исчерпывать процессор и память; в тестах её не нашли, поскольку тестовое оборудование слабее части боевых систем.
- Примерно за 15 часов до сбоя трафик Teams перенесли с запасного шлюза на основной, где работает Exchange Online; нагрузка выросла, серверы стали отклонять подключения.
- Итоговый статус инцидента: «техническая проблема, не связанная с кибератаками или ИИ/агентами»; идентификаторы EX1550543 и MO1550821.
Почему это важно
Сбой в облаке Microsoft затронул Microsoft 365 и Exchange почти на сутки и, по описанию Ars Technica, быстро отразился на компаниях и госучреждениях, зависящих от этой инфраструктуры. Издание называет его одним из крупнейших в истории компании. Разбор показывает, как совпадение трёх обстоятельств, давней скрытой ошибки, штатного переключения трафика и сниженной мощности серверов, вывело из строя систему, у которой есть два независимых шлюза для отказоустойчивости. Отдельно Microsoft подчёркивает, что причина техническая и не связана с кибератаками или ИИ/агентами.
Кому это важно
Администраторам Microsoft 365 и Exchange Online, ИТ-отделам компаний и госорганов, которые строят на облаке Microsoft почту и совместную работу, а также инженерам по надёжности, которых интересует, как ломаются системы с резервными шлюзами. Полный отчёт на страницах статуса Microsoft доступен только администраторам Microsoft 365.
Как это применить
Вывод для инженеров из описанного: тестовые стенды должны быть сопоставимы с боевым оборудованием. По версии Microsoft, дефект не нашли именно потому, что тестовые машины слабее некоторых производственных, а на новых машинах с большим числом ядер он, видимо, проявлялся сильнее. Второй урок, штатное резервное переключение меняет нагрузку и состав запросов на основном контуре, и такие сценарии стоит проверять заранее. Администраторам предварительный отчёт можно прочитать на страницах статуса Microsoft 365 (по идентификаторам EX1550543 и MO1550821) или в воспроизведении Office Watch; историю обновлений о состоянии сервисов хранит архив Пенсильванского университета.
Можно ли доверять
Материал Ars Technica пересказывает предварительный отчёт самой Microsoft, то есть версия событий, это версия компании. Отчёт предварительный, окончательного разбора в доступном тексте нет. Часть объяснений осторожна: связь большего числа ядер с блокировкой отмечена словом «видимо», а причину необнаружения дефекта в тестах приводит Microsoft («по утверждению компании»). Доступный текст обрывается после описания второго фактора, поэтому третий фактор, сниженная мощность серверов, в нём не раскрыт. Число затронутых пользователей, организаций и регионов в источнике не указано.
Риски и подводные камни
Сведений о компенсациях клиентам, последствиях для соглашений об уровне обслуживания и мерах по исправлению в доступном тексте нет, так что делать выводы об этом нельзя. Утверждение «не связано с кибератаками или ИИ/агентами», это итоговый статус в отчёте самой Microsoft, а не независимая проверка. Поскольку отчёт предварительный, детали причин могут уточниться. Кроме того, полный текст на страницах статуса закрыт для обычных пользователей, а общедоступные копии, это воспроизведение третьей стороны.
«техническая проблема, не связанная с кибератаками или ИИ/агентами.»
— Microsoft, итоговый статус инцидента в предварительном отчёте