Ein falsch ausgewertetes Spannungssignal hat im Oktober eine Google-Cloud-Zone in London lahmgelegt. Die Notstromgeneratoren sprangen trotz Stromausfall nicht an. Googles detaillierter Störungsbericht zeigt zudem, weshalb die Wiederherstellung der Speicherinfrastruktur und überlastete Ausweichzonen die Folgen deutlich verlängerten.

Ein Fehler in der Notstromsteuerung führte am 20. Oktober 2026 zum Ausfall einer Availability-Zone der Google Cloud in London. Obwohl redundante Stromzuführungen, Steuerungen und Notstromgeneratoren vorhanden waren, brach die Versorgung zusammen. Laut Googles Untersuchungsbericht dauerten die wesentlichen Beeinträchtigungen sechs Stunden und acht Minuten.

Betroffen war die Zone europe-west2-b. Die Ursache lag in einer Kombination aus Wartungsarbeiten und fehlerhafter Steuerlogik. Das Rechenzentrum verfügt regulär über zwei unabhängige Stromzuführungen. Nach einem Lasttest am 14. Oktober musste jedoch die Einspeisung B für Reparaturen über einen geöffneten Leistungsschalter getrennt werden. Sämtliche kritischen Verbraucher wurden deshalb über Einspeisung A versorgt.

Als am 20. Oktober ein externes Erdkabel dieser Einspeisung ausfiel, hätten die Notstromgeneratoren automatisch starten müssen. Die programmierbaren Steuerungen (PLC) erfassten jedoch weiterhin Spannung auf Einspeisung B – allerdings vor dem geöffneten Leistungsschalter. Da die Steuerlogik dessen Zustand nicht berücksichtigte, meldeten beide redundanten Controller eine intakte Stromversorgung. Der Startbefehl für die Generatoren blieb aus. Die USV-Batterien waren um 7:00 Uhr britischer Zeit erschöpft.

Storage-Recovery verzögerte den Neustart

Bereits um 8:20 Uhr war die Stromversorgung wiederhergestellt. Bis zum regulären Cloud-Betrieb vergingen jedoch weitere Stunden. Zahlreiche Speichersysteme mussten nach dem abrupten Abschalten interne Wiederherstellungsprozesse durchlaufen. Google verzichtete deshalb auf einen sofortigen Neustart abhängiger Dienste.

Erst um 11:13 Uhr war die Storage-Infrastruktur ausreichend wiederhergestellt. Ab 11:45 Uhr ließ Google schrittweise wieder Anfragen zu. Um 13:08 Uhr waren nach Unternehmensangaben 99,5 Prozent der Compute-Engine-VMs betriebsbereit.

Auch das zonenübergreifende Failover bereitete Probleme. Zusätzliche Workloads und Datenbankanfragen überlasteten teilweise die verbliebenen Zonen. Zudem scheiterten Steuerungsanfragen an Metadaten- und Katalogdiensten in der ausgefallenen Zone. Betroffen waren unter anderem Persistent Disk, Hyperdisk, Cloud Storage, Filestore, NetApp Volumes und VMware Engine.

Der Vorfall verdeutlicht die Grenzen redundanter Infrastrukturen. Identische Steuerlogik kann trotz mehrfach vorhandener Komponenten zu einem gemeinsamen Ausfall führen. Deshalb müssen Stromversorgung und Notstromsysteme auch während Wartungsarbeiten und bei ungewöhnlichen Schalterstellungen zuverlässig funktionieren. Gleichzeitig garantiert der Betrieb über mehrere Availability-Zonen keine unterbrechungsfreie Verfügbarkeit.

IT-Verantwortliche sollten prüfen, ob die verbleibenden Zonen bei einem vollständigen Ausfall ausreichend Failover-Kapazitäten bereitstellen und ob Steuerungsebenen sowie Datenabhängigkeiten unabhängig funktionieren. Entscheidend ist zudem, den vollständigen Wiederanlauf der Storage-Infrastruktur und der darauf aufbauenden Dienste regelmäßig zu testen.

Eigenen Angaben zufolge wurde die PLC-Konfiguration inzwischen korrigiert und weitere Prüfungen sowie Anpassungen der Wartungsprozesse eingeleitet. Weitere Prüfungen vergleichbarer Standorte, Tests der Generatorumschaltung und Änderungen am Freigabeprozess für Wartungsarbeiten wurden ebenfalls angekündigt.