November 16, 15:10

Майкрософт опубликовала предварительный отчет о прошлонедельном падении в Microsoft. Причиной стал июльский апдейт для сетевых шлюзов.

На новых многоядерных машинах баг вызывает lock contention во внутреннем процессе Windows и съедает весь CPU и память, а тестирование проводили на старом железе. Сработало, когда Teams переключили на основной шлюз ExchangeOnline. Дальше классика: трафик уходит на соседние серверы, а они падают, потому что тоже уже обновлены. За два часа баг расползся по всему парку, и в худший момент не отвечало больше 80% серверов.

Красивая история, баг четыре месяца спал и ждал совпадения двух вполне обычных событий. Откатить его уже не получилось, ну и да, тестировать на старом железе, а в прод ставить новое — это ошибка, которую делают все и всегда.

🔗 www.theregister.com/saas/2026/11/16/microsoft-blames-monster-email-outage-on-software-defect-introduced-in-july-fix/5310026

Microsoft blames monster email outage on software defect introduced in July fix

Summer code change caused a Fall fail – frantic engineers had to patch the patch instead of rolling back