Майкрософт опубликовала предварительный отчет о прошлонедельном падении в Microsoft. Причиной стал июльский апдейт для сетевых шлюзов.
На новых многоядерных машинах баг вызывает lock contention во внутреннем процессе Windows и съедает весь CPU и память, а тестирование проводили на старом железе. Сработало, когда Teams переключили на основной шлюз ExchangeOnline. Дальше классика: трафик уходит на соседние серверы, а они падают, потому что тоже уже обновлены. За два часа баг расползся по всему парку, и в худший момент не отвечало больше 80% серверов.
Красивая история, баг четыре месяца спал и ждал совпадения двух вполне обычных событий. Откатить его уже не получилось, ну и да, тестировать на старом железе, а в прод ставить новое — это ошибка, которую делают все и всегда.
Microsoft blames monster email outage on software defect introduced in July fix
Summer code change caused a Fall fail – frantic engineers had to patch the patch instead of rolling back
