Osegi
Web & Dev·2 Min. Lesezeit

Outlook-Ausfall bei Microsoft: Fehler steckte seit Juli im Code

Microsoft führt den Ausfall von Outlook und Exchange Online auf einen Fehler zurück, der seit Juli im System lag. Ein Rollback ging nicht, also kam ein Patch für den Patch.

Rows of servers in a data center with warning lights, illustrating a large cloud email outage.
Bild: theregister

Der große Outlook-Ausfall in Microsoft 365 hat eine Vorgeschichte, die bis in den Juli zurückreicht. Monatelang blieb eine Codeänderung unauffällig, am 12. November legte sie dann den Großteil einer Gateway-Flotte lahm.

Laut dem vorläufigen Bericht, den Microsoft am 15. November veröffentlicht hat, bestand das Update damals den Lasttest und lief ohne Probleme an. Der Haken: „Unsere Lasttests konzentrierten sich tendenziell auf schwächere Hardware mit weniger Kernen.“ Der Fehler verursachte Lock Contention (Prozesse streiten um dieselbe Ressource) in einem internen Windows-Prozess, was CPU und Arbeitsspeicher aufbrauchte. Auf Rechnern mit mehr Kernen und neuerer Hardware sei es schlimmer.

Was löste den Exchange-Online-Ausfall aus?

Zwei an sich normale Dinge passierten gleichzeitig. Teams wechselte per Failover auf das primäre Gateway für Exchange Online, die Last stieg. Zugleich waren fast 14 Prozent der Gateway-Kapazität außer Betrieb, auf dem Weg zurück in den Betrieb. Für sich genommen hätte beides gereicht, sagt Microsoft, es gab genug Reserve. Zusammen traf es den Fehler.

Danach lief eine Kaskade ab. Fiel ein Server aus, wanderte der Verkehr zum nächsten gesunden, der denselben Fehler hatte. Binnen zwei Stunden war die ganze Flotte betroffen, zeitweise reagierten über 80 Prozent der Server nicht.

Warum dauerte die Reparatur so lange?

Server wieder hochzufahren half nicht, sie wurden sofort erneut überrannt. Die automatische Wiederherstellung sei „nicht dafür ausgelegt“ gewesen, aus diesem breiten Ausfallzustand zu starten. Ein Rollback war unmöglich, weil der Fehler Monate alt war. Die Ingenieure bauten deshalb einen Patch für den Patch: ein Update, das den Code in Windows auf den zuletzt bekannten guten Stand zurücksetzte und gruppenweise eingespielt wurde.

Teams, OneDrive, SharePoint und Office-Apps konnten die defekten Gateways umgehen. Exchange Online aus Skalierungsgründen nicht, deshalb dauerte der Mailausfall am längsten.

Zeitleiste: Das Teams-Failover um 01:07 UTC am 12. November, die Warnung des Monitors um 16:03 UTC, der erste Supportfall um 16:33 UTC. Der Fix kam am 13. November um 07:20 UTC, die Entwarnung um 16:10 UTC, das letzte Kundenupdate am 14. November um 04:15 UTC. Der Abschlussbericht soll am 20. November folgen.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:microsoftoutlookexchange onlinemicrosoft 365outageazure

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: Web & Dev

Alle anzeigen →