2023-05-30: Partieller Ausfall der Teams-Telefonie über Pfalzcloud

Seit heute morgen funktioniert bei einem Teil unserer Kunden (und uns selber) die eingehende und ausgehende Teams-Telefonie über den Pfalzcloud-Trunk nicht.

Wir sind mit Hochdruck an der Ursachensuche und -behebung.

Die erste Untersuchung ergab als vermutliche Ursache einen Zusammenhang mit dem am Freitag erfolgten Zertifikats-Rollover, auch wenn die abschließenden Tests am Freitag erfolgreich waren.

Trotzdem sieht es so aus, als würde irgendein System immer noch das alte, heute morgen abgelaufene Zertifikat verwenden.

Seit 10:10 CEST funktioniert die Teams-Telefonie wieder für alle unsere Kunden.

Wir konnten die beiden Fehler bei Microsoft und Audiocodes identifizieren, die zu dem Problem geführt hatten. EIne Zusammenfassung erfolgt in diesem Post.

Zwischen 02:00 und 10:10 CEST am 30.05.2023 war die eingehende und ausgehende Teams-Telefonie über unseren SBC gestört.

Eine erste Analyse ergab recht schnell, dass die Verbindungungen noch das alte, am 30.05.23 0h UTC abgelaufene Zertifikat verwendeten. Obwohl in der Nacht vom 26. auf den 27.5. das Zertifikat nach Hersteller-Anleitung erfolgreich getauscht und die Telefonie getestet worden war.

Die Root-Cause-Analyse ergab ein Caching der Verbindungsdaten auf Seiten von Microsoft, wodurch UNDOKUMENTIERT ein UNTERBRECHENDER Reboot des SBCs notwendig ist um die Verbindungen komplett „abzureissen“ und neu aufzubauen.

Nach dem Durchführen dieses Reboots wurde noch ein Bug beim SBC-Hersteller gefunden, wodurch das ehemals vorhandene MS-Root-Zertifikat gelöscht worden war und neu eigespielt werden musste.

Wir entschuldigen uns vielmals bei allen unseren Teams-Telefonie-Kunden für die entstandenen Unannehmlichkeiten.

Um ähnliche Probleme in Zukunft zu vermeiden haben wir in unsere SOPs für den Zertifikatstausch einen Reboot vor dem Test und eine erneute zusätzliche Kontrolle der Root-Zertifikate nach dem Reboot aufgenommen.

Dieses Thema wurde automatisch 60 Tage nach der letzten Antwort geschlossen. Es sind keine neuen Antworten mehr erlaubt.