Notfall-Pläne und die Realität
Notfall-Pläne sind eine feine Sache – aber nur die Realität zeigt was sie taugen. Einen solchen Ernstfall hatten wir vor gut einer Woche in unserem Münchener Rechenzentrum.
Zunächst fiel eine der drei Phasen unseres Stromanschlusses aus und damit ein drittel der Steckdosen im Serverraum, was nur minimale Auswirkungen hatte. Auch als die daran angeschlossene USV leer war wurden alle bis auf eine Maschine über eine zweite Phase mit Strom versorgt. Die Dienste dieser Maschine wurden auf eine andere Maschine übertragen – das Monitoring meldete: „alles grün“. Bis hier hat der Notfall-Plan gute Dienste geleistet.
Der große Schreck kam als die Hausverwaltung anrief und sagte die Stadtwerke müssten den Strom für voraussichtlich 6 Stunden komplett abstellen. Nun erfuhren wir auch was passiert war: Das dicke Stromkabel in der Straße hatte einen Kurzschluss – „der Bagger muss anrücken“! Das würden die USVs nicht überbrücken können. Jetzt war Improvisationstalent gefragt.
Die Lösung kam in Form eines langen Verlängerungskabels quer über den Innenhof zu einem Gebäude, das nicht von der defekten Stromleitung betroffen war. Nach Abschaltung redundanter Systeme und weniger unkritischer Maschinen reichte der Strom aus dem Nachbarhaus um WorNet zu versorgen.
Nach 18 Stunden war der Strom dann wieder da und ein unerwarteter Notfall-Test glimpflich beendet. An dieser Stelle sei Herrn Seyb von der Hausverwaltung herzlich für seine Unterstützung gedankt 🙂