İçeriğe geç
Sıfırıncı Dakika
Son haberler

Microsoft, 12 Kasım'daki küresel Microsoft 365 kesintisinin nedenini açıkladı

YazılımGüncellendi: 2 dk okuma
Microsoft, 12 Kasım'daki küresel Microsoft 365 kesintisinin nedenini açıkladı

Kısaca

Microsoft, 12 Kasım'da yaşanan ve sunucuların %80'inden fazlasını yanıt veremez hale getiren küresel Microsoft 365 kesintisinin nedenini Temmuz ayında ağ geçidi sunucularına eklenen bir yazılım hatasına bağladı. Şirket, hatanın üç ay boyunca fark edilmediğini, artan trafik ve azalan kapasiteyle tetiklenerek yayıldığını açıkladı. Hizmet 14 Kasım'da tüm etkilenen müşterilere geri döndü.

  • Kesinti, Temmuz ayında ağ geçidi sunucularına eklenen bir yazılım hatasından kaynaklandı
  • Hata üç aydan fazla fark edilmedi
  • Kilit çekişmesi sunucu işlemcisini ve belleğini tüketti
  • En kötü noktada sunucuların %80'inden fazlası yanıt veremedi
  • Hizmet 14 Kasım'da tüm etkilenen müşterilere geri döndü

Hata üç ay boyunca fark edilmedi

Microsoft, 12 Kasım'daki küresel Microsoft 365 kesintisini Temmuz ayında ağ geçidi sunucuları için hazırlanan bir güncellemeyle gelen yazılım hatasına bağladı. Şirketin 15 Kasım'da yayımladığı ön rapora göre güncelleme testlerden geçti ve dünya genelinde sorunsuz kuruldu; ancak yük testleri sunucu donanımları arasındaki farkları hesaba katmadı.

Microsoft yöneticisi Charles Lamanna, testlerin daha az çekirdekli, daha zayıf donanımlara odaklandığını belirtti. Hata, daha fazla çekirdeğe sahip yeni makinelerde daha ağır sonuç verdi: bir Windows süreci içindeki kilit çekişmesi (lock contention) sunucu işlemcisini ve belleğini tüketti, makineler yanıt veremez hale geldi.

Üç koşul birleşince çöküş başladı

Kesintiyi tetikleyen üç etken vardı:

  • Teams'in alternatif ağ geçidinden, Exchange Online'ı da taşıyan ana ağ geçidine geçmesi yükü artırdı.
  • Bir önceki günden kalan ilgisiz bir sorun nedeniyle ağ geçidi kapasitesinin yaklaşık %14'ü devre dışıydı.
  • Bu koşullar birleşince hata tetiklendi ve istekler birikmeye başladı.

Bir sunucu bağlantısını kaybettiğinde trafik yönetimi istekleri sağlıklı uç noktalara yönlendirdi; ancak bu sunucular da aynı hatayla karşılaştı. Sorun iki saat içinde ağ geçidi filosunun tamamına yayıldı ve en kötü noktada sunucuların %80'inden fazlası yanıt veremedi.

Geri dönüş neden zor oldu

Arızalı makineleri geri getirmek zordu: hizmete dönen sunucular bekleyen trafikle anında boğuluyordu. Hata aylardır kodda olduğu için olağan geri alma (rollback) mekanizmaları, kademeli dağıtım kontrolleri ve özellik bayrakları hızlı çözüm sağlayamadı. Mühendisler bunun yerine ilgili kodu önceki çalışan haline döndüren bir güncelleme geliştirdi ve sunucuları gruplar halinde yeniden başlatarak kademeli olarak hizmete aldı.

Zaman çizelgesi

Microsoft'un kaydına göre bağlantı izleyicisi 12 Kasım'da 16:03 UTC'de ağ sorunlarında artış saptadı; ilk müşteri destek talebi 30 dakika sonra geldi. 13 Kasım 00:30 UTC'de mühendisler bağlantı anlaşmasını (connection negotiation) ana sorun kaynağı olarak belirledi ve 07:20 UTC'de önlemi uyguladı. Teams, OneDrive, SharePoint ve Office uygulamaları arızalı ağ geçidinden çıkarılabildi; Exchange Online çıkamadığı için Outlook kesintisi uzadı. Microsoft, hizmetin 14 Kasım'da tüm etkilenen müşterilere geri döndüğünü ve nihai incelemenin süreceğini belirtti.

Neden önemli?

Microsoft 365 kullanan herkesin yaşadığı kesintinin teknik nedenini anlamak isteyen okurlar için önemli; ayrıca büyük bulut hizmetlerinde tek bir hatanın nasıl zincirleme çöküşe dönüştüğünü gösteriyor.

Kaynaklar

İlgili haberler