Osegi
Веб и разработка·1 мин чтения

Сбой Timeweb Cloud: серверы работали, но пропали из сети

17 ноября Timeweb Cloud был недоступен меньше двух часов. Виртуальные серверы работали, но после обновления безопасности не анонсировали свои маршруты.

Rows of servers in a data center with network cables, illustrating a cloud hosting outage.
Фото: Хабр

Сбой Timeweb Cloud 17 ноября длился меньше двух часов, и всё это время виртуальные серверы продолжали работать. Просто до них нельзя было достучаться. Компания опубликовала постмортем, то есть разбор инцидента, и объяснила, что пошло не так.

По данным Timeweb, инженеры обновляли сетевой стек гипервизоров, чтобы повысить безопасность инфраструктуры. Во время обновления служба динамической маршрутизации перезапустилась не полностью. Гипервизоры не смогли заново анонсировать маршруты к сетевому оборудованию, и часть серверов потеряла связность.

Проблемы начались в 13:18 по Москве. Пользователи жаловались, что не открываются сайты, а ресурсы на VPS не отвечают. Затронуты были локации в России, Казахстане, Германии и Нидерландах. Не пострадал только Новосибирск.

Как Timeweb Cloud восстанавливал работу

В 13:28 инженеры локализовали проблему и взялись за восстановление. В 13:47 компания сообщила о проблемах в локациях SPB, MSK, DE, NL и KZ. Сетевой стек гипервизоров перезапустили целиком, после чего маршрутизация вернулась. К 14:17 большинство серверов снова были доступны по сети, а в 15:05 работа всех сервисов была полностью восстановлена.

Что изменит Timeweb

Компания назвала три меры:

  • после обновления гипервизоров проверять каждый компонент службы маршрутизации, а не только службу целиком;
  • увеличить интервалы между этапами обновления, чтобы заметить проблему до перехода к следующим нодам;
  • ускорить восстановление сетевого стека при похожих сбоях.

Первое сообщение о восстановлении компания дала меньше чем через два часа после начала сбоя и пообещала разбор позже. Он вышел на следующий день.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:timewebtimeweb cloudoutagehypervisorhostingvps

Ещё за этот день

Показать все →

Ещё в рубрике: Веб и разработка

Показать все →