Osegi
웹·개발·2 분 소요

Google Cloud, 런던 장애 원인으로 PLC 설정 오류 지목

Google Cloud는 10월 20일 런던 장애에서 PLC 설정 오류와 전압 감지 설계 결함 탓에 비상 발전기가 가동되지 않았다고 밝혔다.

Rows of backup diesel generators outside a large datacenter building at dusk.
이미지: theregister

Google Cloud가 10월 20일 europe-west-2-b 가용 영역에서 발생한 장애의 원인이 시스템 설정 오류로 비상 발전기가 가동되지 않은 것이라고 밝혔습니다. 런던 시설의 이 장애로 Lloyds, HSBC, Royal Mail, Revolut 등의 서비스가 중단됐습니다.

회사는 11월 4일 서비스 상태 페이지에 경위를 공개했습니다. 해당 시설은 모든 핵심 부하에 완전히 이중화된 전력 경로를 두는 2N 전력 구조를 쓰며, 이중 이중화된 프로그래머블 로직 컨트롤러(PLC)가 관리하는 고압 발전기 뱅크가 뒷받침합니다.

외부 케이블 고장과 피더 B 차단이 겹쳐

시설은 "A"와 "B"라는 독립된 두 개의 전력 피더로 전기를 받습니다. 유지보수나 비상시 수동 전환을 위한 예비 연결도 있습니다. Google은 근본 원인이 전력 공급업체의 외부 지하 케이블 고장이며, 이 케이블이 피더 A에 연결돼 있었다고 설명했습니다.

당시 피더 B의 차단기는 수리를 위해 일부러 열려 있었습니다. 10월 14일 분기별 발전기 부하 시험에서 확인된 문제를 고치는 작업이었습니다. 이 때문에 모든 핵심 부하가 피더 A 하나에 의존하고 있었습니다.

정전 시 UPS는 5분간 버티도록 설계됐고 실제로 작동했습니다. 그러나 Google에 따르면 "전압 감지 설계 결함과 PLC 설정 오류"로 발전기에 자동 시동 신호가 전달되지 않았습니다. 주 배전과 보조 배전이 모두 무전압이었는데도 PLC 로직은 정상 전원이 있다고 판단해 시동 명령을 내리지 않았습니다. 결국 UPS 전력이 바닥났고 발전기도 켜지지 않았습니다.

재발 방지 조치

Google은 전력망 연결이 복구된 뒤 같은 실수가 없도록 PLC를 다시 프로그래밍했습니다. europe-west-2-b의 전기 설비도 여러 부분 변경했고 테스트를 마쳤다고 밝혔습니다.

후속 과제는 두 가지입니다. 특정 지역에 영향을 주는 장애에 대해 자동 알림·커뮤니케이션 체계를 만들어 공지 속도를 높이고, 인프라 수준 이벤트에 대한 플랫폼 전반의 테스트 범위를 넓히는 것입니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:google cloudoutagelondondatacenterplceurope-west2

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: 웹·개발

전체 보기 →