Osegi
Софт·2 мин чтения

Сбой Microsoft 365: ошибка с июля и обычное переключение шлюза

Microsoft объяснила сбой Microsoft 365 12 ноября: ошибка в коде месяцами оставалась незамеченной, а потом совпала с плановым переключением и нехваткой мощностей.

Rows of servers in a dark data center with a red warning light glowing on one rack.
Фото: mint

Причина сбоя Microsoft 365 12 ноября оказалась удивительно будничной: программная ошибка, которая с июля лежала в системе и никому не мешала. Теперь Microsoft подробно рассказала, как всё сложилось.

Чарльз Ламанна, исполнительный вице-президент Microsoft по Copilot, агентам и платформе, говорит, что одновременно совпали три фактора. Сетевые шлюзы оказались перегружены, и в худший момент более 80% затронутых серверов-шлюзов не отвечали. Перестали работать Teams, Exchange Online, OneDrive, SharePoint и приложения Office.

Что вызвало сбой Microsoft 365 12 ноября?

Первый фактор: ошибка из-за конкуренции за блокировки (lock contention) во внутреннем процессе. Она появилась в изменении кода, подготовленном для сетевых шлюзов Microsoft 365. Изменение выкатили в июле 2026 года, и за несколько недель оно дошло до инфраструктуры по всему миру. Больше трёх месяцев ничего не происходило. Нагрузочные тесты проблему не поймали: в них был другой трафик и в основном старые, менее мощные серверы, а ошибка сильнее проявлялась на машинах с большим числом ядер и новым железом.

Второй фактор: всплеск трафика. Примерно за 15 часов до сбоя Teams переключился с резервного шлюза на основной, который обслуживает и Exchange Online. Такие переключения входят в обычную практику Microsoft, но нагрузка на основной шлюз выросла, а характер трафика изменился, и скрытая ошибка стала срабатывать чаще. Третий фактор: около 14% мощностей шлюза были выведены из строя из-за несвязанной проблемы накануне. Сами по себе они не вызвали бы сбоя, запас был достаточный.

Почему сбой охватил весь мир?

Когда серверы переставали отвечать, система управления трафиком перенаправляла запросы на исправные. Нагрузка на них росла, и они наталкивались на ту же ошибку. Цикл повторялся, и меньше чем за два часа поражённой оказалась вся инфраструктура шлюзов. Отдельная неполадка не дала перегородкам между партициями (capacity units) остановить распространение между регионами.

Teams, OneDrive, SharePoint и Office смогли уйти с проблемных шлюзов и вернулись раньше. По словам Microsoft, чаты и встречи в Teams почти весь сбой работали нормально. Exchange Online так переключиться не мог, поэтому проблемы с ним тянулись дольше.

Восстановление тоже шло тяжело. Автоматика не была рассчитана на такой масштаб, а возвращавшиеся серверы сразу заваливало накопившимися запросами, и часть снова падала. Изменение уже распространилось по всему миру, поэтому обычный откат, поэтапное развёртывание и флаги функций не помогли. Инженеры подготовили обновление, возвращающее код в прежнее стабильное состояние, отключали группы серверов, ставили патч и перезапускали их, иногда сразу более 50% региона. Итоговый разбор инцидента (PIR) Microsoft обещает опубликовать позже на этой неделе.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:microsoft 365outagemicrosoftteamsexchange onlinecloud

Ещё за этот день

Показать все →

Ещё в рубрике: Софт

Показать все →