Google Cloud、ロンドン障害の原因はPLC設定ミスと説明

外部ケーブル故障とフィーダーB停止が重なる

施設は「A」「B」という独立した2系統の商用電源フィーダーから受電する。保守や緊急時に手動で切り替える予備の接続もある。根本原因は、電力会社が供給に使う外部の地下ケーブルが故障したことで、これはフィーダーAにつながっていた。

当時、フィーダーBの遮断器は修理のため意図的に開放されていた。10月14日の四半期ごとの発電機負荷試験で見つかった問題の是正作業だった。そのため全重要負荷がフィーダーAだけに依存していた。

停電時、UPSは最大5分間稼働する設計で、実際に動作した。しかしGoogleによると、「電圧検知の設計上の欠陥とPLCの設定ミス」により、発電機に自動起動信号が送られなかった。主系統と副系統の配電が無電圧だったにもかかわらず、PLCのロジックは健全な商用電源があると判断し、起動指令を出さなかった。結果としてUPSの電力が尽き、発電機も動かなかった。

再発防止策

Googleは電力会社との接続回復後にPLCを再プログラムした。europe-west-2-bの電気設備にも多数の変更を加え、動作を確認済みという。

今後の対応は2点で、場所に影響する障害向けに自動の通知連携の仕組みを整えて連絡を迅速化すること、そしてインフラ層の事象を想定したプラットフォーム全体のテスト範囲を広げることである。