Osegi
Web et dev·2 min de lecture

Panne Outlook : Microsoft accuse un défaut introduit en juillet

Microsoft attribue la panne d'Outlook et d'Exchange Online à un défaut livré en juillet. Impossible de revenir en arrière : les ingénieurs ont dû corriger le correctif.

Rows of servers in a data center with warning lights, illustrating a large cloud email outage.
Image: theregister

La panne d'Outlook qui a privé les utilisateurs de Microsoft 365 de messagerie remonte à une modification de code de juillet. Pendant des mois, elle n'a rien causé. Le 12 novembre, elle a mis hors service l'essentiel d'un parc de serveurs passerelles.

Selon le rapport préliminaire publié par Microsoft le 15 novembre, la mise à jour avait réussi les tests de charge et été déployée sans incident. Le hic : « nos tests de charge avaient tendance à privilégier du matériel plus faible, avec moins de cœurs ». Le défaut provoquait une contention de verrous (des processus se disputent la même ressource) dans un processus Windows interne, ce qui épuisait processeur et mémoire. Le problème s'aggrave sur les machines dotées de plus de cœurs et de matériel récent.

Qu'est-ce qui a déclenché la panne d'Exchange Online ?

Deux événements en soi banals se sont produits en même temps. Teams a basculé vers la passerelle principale qui sert Exchange Online, d'où un pic de charge. Parallèlement, près de 14 % de la capacité des serveurs de la passerelle était hors service, en cours de remise en route. Microsoft affirme que la marge suffisait pour chacun des deux cas. Ensemble, ils ont déclenché le défaut.

Une cascade a suivi. Quand un serveur perdait la connexion, le trafic passait au suivant, qui rencontrait le même défaut. En deux heures, tout le parc était touché, et au plus bas, plus de 80 % des serveurs ne répondaient plus.

Pourquoi la réparation a-t-elle été si longue ?

Redémarrer les serveurs ne servait à rien : ils étaient aussitôt submergés. Les processus de reprise automatisés « n'étaient pas conçus » pour repartir d'un tel état, et un retour en arrière était exclu, le défaut datant de plusieurs mois. Les ingénieurs ont donc créé un correctif du correctif : une mise à jour ramenant le code Windows à son dernier état sain connu, appliquée par groupes de serveurs.

Teams, OneDrive, SharePoint et les applications Office ont pu quitter les passerelles défaillantes. Exchange Online, non, pour des raisons d'échelle, d'où une messagerie coupée plus longtemps.

Chronologie : bascule de Teams à 01 h 07 UTC le 12 novembre, alerte de la supervision à 16 h 03, premier ticket client à 16 h 33. Le correctif est appliqué le 13 novembre à 07 h 20 UTC, le retour à la normale confirmé à 16 h 10, dernière communication le 14 à 04 h 15. Le rapport final est attendu le 20 novembre.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:microsoftoutlookexchange onlinemicrosoft 365outageazure

Plus d'actus de ce jour

Tout voir →

Plus dans: Web et dev

Tout voir →