Ein Datenbank Server Upgrade welches eigentlich in der Nacht ausgeführt werden sollte, wurde versehentlich um 7 Uhr Morgens gestartet.

Zuerst dachten wir, dass unsere Datenmengen ein Problem darstellen würden – dem war aber nicht so.

Unsere Datenbanken sind an guten Tagen unter schwerer Last, an Regentagen fast nicht ausgelastet. Ein typischer „Server“ hilft hier nicht mehr weiter. Wir setzen daher auf „Serverlose“ Umgebungen die mit den Bedürfnissen mitskalieren.

Das genannte Upgrade blieb hängen und nach ca 2h hegten wir den Verdacht dass etwas nicht stimmt. Der Cloud Anbieter merkte dann selbst dass etwas nicht stimmte und setzte diverse Spezialisten Teams ein um das Problem zu finden.

Zwischenzeitlich war der Support der Firma sehr schlecht, bis es einen Schichtwechsel gab.

Darum begannen wir die Systeme neu aufzusetzen auf der bestehenden Version – was im zweiten Versuch auch geglückt ist. Sobald das System wieder da war, konnten wir innerhalb von ca 30 Min die Mehrheit der Dienste umbauen damit wieder alles gut lief.

um ca 19:30 funktionierten dann die Systeme wieder.

Nach dem Schichtwechsel meldete sich der Support der Firma endlich und überraschte uns mit dem wahren Grund:

Bei Wettkämpfen kann man die Zeitzone des Austragungsort angeben (für H&F Wettkämpfe). Diese Zeitzonenauswahl kommt aus der Datenbank selbst.

Diese Verknüpfung hat wohl eine komplette Blockade ausgelöst wo wir weder vor noch zurück konnten.