Hata üç ay boyunca fark edilmedi
Microsoft, 12 Kasım'daki küresel Microsoft 365 kesintisini Temmuz ayında ağ geçidi sunucuları için hazırlanan bir güncellemeyle gelen yazılım hatasına bağladı. Şirketin 15 Kasım'da yayımladığı ön rapora göre güncelleme testlerden geçti ve dünya genelinde sorunsuz kuruldu; ancak yük testleri sunucu donanımları arasındaki farkları hesaba katmadı.
Microsoft yöneticisi Charles Lamanna, testlerin daha az çekirdekli, daha zayıf donanımlara odaklandığını belirtti. Hata, daha fazla çekirdeğe sahip yeni makinelerde daha ağır sonuç verdi: bir Windows süreci içindeki kilit çekişmesi (lock contention) sunucu işlemcisini ve belleğini tüketti, makineler yanıt veremez hale geldi.
Üç koşul birleşince çöküş başladı
Kesintiyi tetikleyen üç etken vardı:
- Teams'in alternatif ağ geçidinden, Exchange Online'ı da taşıyan ana ağ geçidine geçmesi yükü artırdı.
- Bir önceki günden kalan ilgisiz bir sorun nedeniyle ağ geçidi kapasitesinin yaklaşık %14'ü devre dışıydı.
- Bu koşullar birleşince hata tetiklendi ve istekler birikmeye başladı.
Bir sunucu bağlantısını kaybettiğinde trafik yönetimi istekleri sağlıklı uç noktalara yönlendirdi; ancak bu sunucular da aynı hatayla karşılaştı. Sorun iki saat içinde ağ geçidi filosunun tamamına yayıldı ve en kötü noktada sunucuların %80'inden fazlası yanıt veremedi.
Geri dönüş neden zor oldu
Arızalı makineleri geri getirmek zordu: hizmete dönen sunucular bekleyen trafikle anında boğuluyordu. Hata aylardır kodda olduğu için olağan geri alma (rollback) mekanizmaları, kademeli dağıtım kontrolleri ve özellik bayrakları hızlı çözüm sağlayamadı. Mühendisler bunun yerine ilgili kodu önceki çalışan haline döndüren bir güncelleme geliştirdi ve sunucuları gruplar halinde yeniden başlatarak kademeli olarak hizmete aldı.
Zaman çizelgesi
Microsoft'un kaydına göre bağlantı izleyicisi 12 Kasım'da 16:03 UTC'de ağ sorunlarında artış saptadı; ilk müşteri destek talebi 30 dakika sonra geldi. 13 Kasım 00:30 UTC'de mühendisler bağlantı anlaşmasını (connection negotiation) ana sorun kaynağı olarak belirledi ve 07:20 UTC'de önlemi uyguladı. Teams, OneDrive, SharePoint ve Office uygulamaları arızalı ağ geçidinden çıkarılabildi; Exchange Online çıkamadığı için Outlook kesintisi uzadı. Microsoft, hizmetin 14 Kasım'da tüm etkilenen müşterilere geri döndüğünü ve nihai incelemenin süreceğini belirtti.