Google Cloud wskazuje błąd PLC jako przyczynę awarii w Londynie

Bezpośrednią przyczyną był uszkodzony zewnętrzny kabel podziemny dostawcy energii, podłączony do przyłącza A. Uszkodzenie nastąpiło wtedy, gdy przyłącze B było wyłączone: jego wyłącznik otwarto fizycznie w celu napraw po problemach wykrytych podczas kwartalnego testu obciążeniowego generatorów 14 października. Cały krytyczny ładunek spoczywał więc na jednej ścieżce.

Zasilacze UPS działały, generatory nie

Zasilacze UPS w europe-west-2-b mogą podtrzymać pracę przez pięć minut po utracie połączenia z siecią i zadziałały zgodnie z założeniami. Jednak wada projektu pomiaru napięcia oraz błędna konfiguracja PLC sprawiły, że instalacja generatorów nie dostała automatycznego sygnału startu. Logika sterownika uznawała, że dostępne jest sprawne zasilanie z sieci, mimo że oba tory dystrybucji były bez napięcia. Gdy baterie UPS się wyczerpały, a generatory pozostały wyłączone, zasilanie zniknęło.

Po przywróceniu połączenia z siecią Google przeprogramował PLC, by błąd się nie powtórzył. Firma zapowiada, że wprowadziła w układzie elektrycznym wiele zmian i je przetestowała.

Dalsze kroki

Google wyznaczył sobie dwa zadania. Pierwsze to „Communications Enhancement”: opracowanie zautomatyzowanego mechanizmu przekazywania alertów do komunikacji, który przyspieszy powiadamianie o incydentach dotykających konkretnej lokalizacji. Drugie to rozszerzenie testów w całej platformie pod kątem zdarzeń na poziomie infrastruktury.