Osegi
웹·개발·1 분 소요

Timeweb Cloud 장애, 보안 업데이트 뒤 경로 안내가 끊겼다

11월 17일 Timeweb Cloud가 2시간 가까이 접속되지 않았습니다. 서버는 계속 돌았지만 업데이트 뒤 경로가 다시 알려지지 않았습니다.

Rows of servers in a data center with network cables, illustrating a cloud hosting outage.
이미지: Хабр

Timeweb Cloud에서 11월 17일 발생한 장애는 서버가 꺼진 것이 아니었습니다. 네트워크로 가는 길이 사라졌을 뿐입니다.

Timeweb Cloud 장애는 어떻게 진행됐나

러시아 호스팅 업체 Timeweb이 사후 분석(포스트모템)을 공개했습니다. 문제는 모스크바 시간 13시 18분에 시작됐고, 15시 5분에 모든 서비스가 완전히 복구됐습니다. 2시간이 안 되는 시간입니다. 노보시비르스크를 제외한 모든 지역이 영향을 받았습니다. 이용자들은 사이트가 열리지 않고 VPS가 응답하지 않는다고 전했으며, 러시아와 카자흐스탄, 독일, 네덜란드 지역이 해당됐습니다.

원인은 무엇이었나

회사는 인프라 보안을 높이려고 하이퍼바이저(가상 서버를 구동하는 기반 소프트웨어)의 네트워크 스택을 업데이트하고 있었습니다. 이 과정에서 동적 라우팅 서비스가 완전히 재시작되지 않았습니다. 그 결과 하이퍼바이저가 네트워크 장비로 가는 경로를 다시 알리지 못했고, 일부 서버의 네트워크 연결이 끊겼습니다. 가상 서버 자체는 계속 작동했다고 합니다.

13시 28분 엔지니어들이 문제를 특정하고 복구에 들어갔습니다. 13시 47분에는 SPB, MSK, DE, NL, KZ 지역의 문제를 공지했습니다. 하이퍼바이저의 네트워크 스택을 완전히 재시작하자 라우팅이 돌아왔고, 14시 17분에는 대부분의 서버가 다시 연결됐습니다.

재발 방지책

업데이트 뒤에는 라우팅 서비스 전체만이 아니라 구성 요소 하나하나를 점검합니다. 업데이트 단계 사이의 간격도 늘려, 다음 노드로 넘어가기 전에 문제를 발견하도록 합니다. 비슷한 장애가 났을 때 네트워크 스택을 더 빨리 복구하는 방안도 마련할 계획입니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:timewebtimeweb cloudoutagehypervisorhostingvps

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: 웹·개발

전체 보기 →
Timeweb Cloud 장애, 라우팅 재시작이 원인 · Osegi