Osegi
Web i dev·1 min czytania

Awaria Timeweb Cloud: serwery działały, ale zniknęły z sieci

17 listopada Timeweb Cloud był niedostępny niecałe dwie godziny. Serwery wirtualne działały, ale po aktualizacji zabezpieczeń nie ogłosiły swoich tras w sieci.

Rows of servers in a data center with network cables, illustrating a cloud hosting outage.
Zdjęcie: Хабр

Awaria Timeweb Cloud trwała 17 listopada niecałe dwie godziny, a same serwery wirtualne przez cały ten czas pracowały. Po prostu nikt nie mógł się do nich dostać. Firma opublikowała postmortem, czyli analizę incydentu, i wyjaśniła, co poszło nie tak.

Według Timeweb inżynierowie aktualizowali stos sieciowy hiperwizorów, żeby poprawić bezpieczeństwo infrastruktury. Podczas aktualizacji usługa dynamicznego routingu nie uruchomiła się ponownie w całości. Hiperwizory nie mogły więc ponownie ogłosić tras do sprzętu sieciowego i część serwerów straciła łączność.

Problemy zaczęły się o 13:18 czasu moskiewskiego. Użytkownicy skarżyli się, że przestały działać strony internetowe, a zasoby na VPS nie odpowiadały. Awaria dotknęła lokalizacje w Rosji, Kazachstanie, Niemczech i Holandii. Oszczędzony został tylko Nowosybirsk.

Jak wyglądało usuwanie awarii Timeweb Cloud?

O 13:28 inżynierowie zlokalizowali problem i zaczęli naprawę. O 13:47 firma potwierdziła kłopoty w lokalizacjach SPB, MSK, DE, NL i KZ. Zespół w pełni zrestartował stos sieciowy hiperwizorów, po czym routing wrócił. O 14:17 większość serwerów znów była osiągalna, a o 15:05 firma uznała, że wszystkie usługi działają normalnie.

Co zmieni Timeweb?

Firma zapowiada trzy poprawki:

  • po aktualizacji hiperwizorów sprawdzany będzie każdy komponent usługi routingu, a nie tylko cała usługa;
  • między etapami aktualizacji pojawią się dłuższe przerwy, żeby wykryć problem, zanim aktualizacja trafi na kolejne węzły;
  • odzyskiwanie stosu sieciowego przy podobnych awariach ma być szybsze.

Lekcja jest znajoma każdemu administratorowi: usługa, która według monitoringu działa, wcale nie musi działać w całości.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:timewebtimeweb cloudoutagehypervisorhostingvps

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: Web i dev

Zobacz wszystkie →