Torstaina 12. marraskuuta alkanut Microsoft 365 -häiriö vaikutti Outlookiin, Teamsiin, Copilotiin ja muihin palveluihin vielä perjantaina. Häiriöilmoitusten määrä Downdetectorissa nousi Outlookin osalta huippuvaiheessa yli 130 000:een, ja ilmoituksia tuli 74 maasta ja alueelta. Luvut kuvaavat käyttäjien lähettämiä ilmoituksia, eivät varmennettua määrää häiriöstä kärsineitä ihmisiä.
2
3
23
Microsoftin mukaan palvelimia oli yllättäen poissa käytöstä, mikä kuormitti jäljelle jäänyttä infrastruktuuria. Yhtiö sanoi, ettei kuormituksen taustalla ollut tavallista suurempi liikennemäärä. Perjantain varhaisissa päivityksissä Microsoft kertoi osittaisesta vakaantumisesta korjauspäivityksen jälkeen, mutta ei vahvistanut kaikkien palvelujen palautuneen normaaliksi eikä ilmoittanut palautumiselle määräaikaa.
1
38
43
Näin häiriö eteni
Ensimmäiset ilmoitukset tulivat torstaina pian puolenpäivän jälkeen Yhdysvaltain itärannikon aikaa. Aluksi selvitettiin ongelmia Exchange Online -postilaatikoihin pääsyssä Amerikassa, mutta myöhemmät raportit kertoivat laajemmista Microsoft 365 -sovellusten ja -palvelujen ongelmista.
2
15
Downdetectoriin tuli Outlook-ongelmista yli 130 000 ilmoitusta noin kello 13.15 itärannikon aikaa. CNN:n mukaan ilmoituksia oli noin tunnissa kertynyt 74 maasta ja alueelta.
2
3
23 Downdetectorin luvut perustuvat käyttäjien ilmoituksiin, eivätkä ne kerro suoraan häiriöstä kärsineiden asiakkaiden määrää.
3
Häiriö jatkui perjantaille ja ulottui Aasian ja Tyynenmeren alueen työpäivään. Ongelmat koskivat raporttien mukaan muun muassa Outlookia, Teamsia, Copilotia ja muita Microsoftin palveluja, mutta vaikutukset vaihtelivat palvelun ja alueen mukaan.
5
19
26
Mitä Microsoft kertoi syystä?
Microsoft kertoi useiden palvelimien muuttuneen yllättäen käyttökelvottomiksi. Tämän seurauksena jäljellä oleville palvelimille kohdistui tavallista enemmän kuormitusta. Yhtiön mukaan tilanne ei johtunut liikenteen kasvusta.
1
Microsoft kertoi myöhemmin, että osalla palvelimista salattuja yhteyksiä käsittelevä prosessi oli ylikuormittunut, minkä vuoksi palvelimet lakkasivat käsittelemästä pyyntöjä.
7 Häiriöpäivityksiä käsitelleessä toisessa lähteessä mainittiin myös yritys palauttaa aiempi verkkokonfiguraation muutos. Käytettävissä olevat tiedot eivät kuitenkaan vahvistaneet, että muutos olisi ollut lopullinen juurisyy; perjantain varhaisissa uutisissa Microsoftin kerrottiin yhä selvittävän tarkkaa syytä.
36
43
Microsoftin mukaan sillä ei ollut tietoa häiriön aiheuttaneesta haitallisesta toiminnasta. Kyse oli yhtiön tuolloisesta arviosta, ei julkaistusta lopullisesta tutkintatuloksesta.
5
Korjaus toi merkkejä vakaudesta, mutta täyttä palautumista ei vahvistettu
Palautuminen ei ollut välitöntä eikä tasaista. Raporttien mukaan aiemmat muutokset eivät olleet tuottaneet odotettua tulosta, ja Microsoft jatkoi häiriöstä kärsineen infrastruktuurin korjaamista.
16
44
Perjantain varhaisina tunteina Microsoft kertoi palvelinten vakauden parantuneen sen jälkeen, kun se oli asentanut korjauspäivityksen osaan infrastruktuuristaan. Päivitys koski ylemmän tason todennus- ja reitityskomponenttia. Yhtiö kertoi seuraavansa tuloksia ja pyrkivänsä laajentamaan päivitystä; tämä ei tarkoittanut, että kaikki palvelimet tai palvelut olisivat jo palautuneet.
38
50
Microsoftin palvelutilanne oli edelleen luokiteltu heikentyneeksi, eikä varhaisissa perjantaipäivityksissä ilmoitettu aikaa, jolloin kaikki olisi jälleen normaalisti.
8
43 Tiedot kertovat siis osittaisesta paranemisesta, eivät häiriön vahvistetusta päättymisestä.
Häiriö näkyi myös organisaatioissa ja palveluliitännöissä
Vaikutukset eivät rajoittuneet yksittäisiin sähköpostilaatikoihin. Raporttien mukaan ongelmia esiintyi muun muassa Australian ja Japanin viranomaisissa, Yhdysvaltain kaupunkien sähköpostijärjestelmissä sekä OpenAI:n ja Anthropicin käyttämissä Microsoft 365 -liitännöissä.
26
33
41
- Julkiset palvelut ja koulut: Britannian parlamentti kertoi vaihtoehtoisten viestintäjärjestelyjen olevan käytössä. Kouluissa vanhempia pyydettiin ottamaan yhteyttä puhelimitse sähköpostin sijaan. Raporttien mukaan häiriö vaikutti myös Australian ja Japanin viranomaisiin, mutta saatavilla olevat tiedot eivät erittele kunkin maan palveluja.
17
26
- Yhdysvaltain kaupunkien sähköposti: Miami Beach, Austin ja Jacksonville kertoivat saapuvan tai lähtevän sähköpostin ongelmista ja ohjasivat asukkaita tarvittaessa ottamaan yhteyttä kaupungin toimistoihin puhelimitse.
33
- Tekoälypalvelujen Microsoft-liitännät: OpenAI ja Anthropic raportoivat ongelmista Microsoft 365 -liitännöissään. Tämä koski Microsoft-integraatioita, eikä tarkoita, että kummankaan yhtiön koko tekoälypalvelu olisi ollut poissa käytöstä.
41
Kun sähköposti tai työvälineet eivät toimi luotettavasti, organisaatio voi joutua käyttämään muita yhteydenpitotapoja. Tässä raportoidut järjestelyt vaihtelivat: esimerkiksi koulujen ja asukkaiden yhteydenottoja ohjattiin puhelimeen, ja Britannian parlamentti käytti vaihtoehtoisia viestintäjärjestelyjä.
17
33