Chyba AWS zobrazovala účty v bilionech dolarů. Co se stalo a co odhalila

AWS problém poprvé veřejně přiznala přibližně v 1:30 ráno 17. července pacifického času. Společnost uvedla, že vyšetřuje nepřesná data v Cost Exploreru, a během dne zveřejnila několik dalších aktualizací .

Příčina: chyba v jednotkových cenách

AWS později potvrdila, že příčinou byla chyba v jednotkových cenách uvnitř subsystému pro výpočet odhadované fakturace .

Tento subsystém převádí naměřené využití cloudových služeb na předpokládané budoucí náklady. Chyba způsobila, že výpočetní algoritmus použil nesprávné, výrazně nadhodnocené sazby. Nešlo tedy o změnu skutečně naměřené spotřeby, ale o poruchu v logice, která z této spotřeby vytváří odhad .

Jak velký byl rozsah incidentu?

• Globální dopad: problém se týkal zákazníků napříč regiony AWS .
• Více nástrojů: nesprávné odhady se zobrazovaly v Billing and Cost Management Console a Cost Exploreru; současně se mohly spouštět také výstrahy AWS Budgets a Cost Anomaly Detection .
• Žádný skutečný účet za biliony: AWS opakovaně uvedla, že zobrazené částky neodpovídaly reálnému využití ani skutečně dlužným sumám .

Jinými slovy, šlo o velmi děsivý údaj na obrazovce, nikoli o skutečný finanční závazek.

Panika a lavina falešných upozornění

Reakce zákazníků na sociálních sítích ukázaly, jak rychle může chyba v cloudové fakturaci narušit důvěru. Někteří uživatelé popisovali šok při pohledu na částky v bilionech dolarů; objevily se dokonce zprávy o odhadech v kvadrilionech .

Vedle samotného zobrazení se hromadně spouštěla i upozornění na neobvyklé náklady. Týmy tak mohly během krátké doby obdržet velké množství falešných poplachů. To vytváří riziko takzvané únavy z alertů: administrátoři si mohou na záplavu varování zvyknout a příště pomaleji zareagovat na skutečný nárůst nákladů .

Přímá finanční ztráta podle dostupných informací nevznikla, protože chybné odhady nebyly zákazníkům naúčtovány . Incident však způsobil provozní zmatek a zpochybnil spolehlivost nástrojů, na které firmy spoléhají při kontrole cloudových výdajů.

Časová osa opravy

U většiny zákazníků trvalo období s chybným zobrazením přibližně 16 až 18 hodin. Návrat všech historických a odhadovaných údajů do správného stavu ale vyžadoval další čas na přepočítání.

Co incident znamená pro cloudové rozpočty

1. Výstrahy jsou závislé na datech, která sledují

AWS Budgets a Cost Anomaly Detection čerpají z navazujících výpočtů odhadovaných nákladů. Pokud je chybný zdrojový výpočet, mohou být chybné i všechny následné výstrahy . Samotné zapnutí upozornění proto nezaručuje, že každé varování odpovídá skutečnému problému.

2. Potřebné jsou nezávislé kontrolní mechanismy

Cloudové platformy by měly umět zachytit částky, které se dramaticky odchylují od běžné historie. Pokud výpočet náhle překročí například tisícinásobek obvyklých nákladů, systém by mohl zobrazit stav „data se zpracovávají“ místo toho, aby uživateli ukázal zjevně nesmyslný údaj.

Taková kontrola by fungovala jako pojistka nebo zarážka mezi výpočetním systémem a zákaznickým rozhraním. Důležitá by byla také druhá, nezávislá validační cesta, která by extrémní hodnoty ověřila před jejich zveřejněním.

3. Hromadné falešné poplachy mají provozní cenu

I když nesprávná částka neznamená skutečnou fakturu, může spustit interní eskalace, kontrolu účtů nebo obavu z napadení infrastruktury. Tisíce falešných upozornění najednou navíc snižují pozornost týmů vůči budoucím reálným incidentům .

4. Komunikace musí být rychlejší než oprava dat

Během incidentu zákazníci potřebovali především jasné potvrzení, že zobrazené částky nejsou skutečné. Informace získávali z oznámení AWS, stavových stránek a sociálních sítí, protože v konzoli nebyl připravený mechanismus, který by nesprávné odhady okamžitě potlačil nebo označil .

Nebyla to finanční katastrofa, ale test důvěry

Červencová chyba AWS nebyla událostí, při níž by zákazníci skutečně dlužili biliony dolarů. Byla však důležitým testem spolehlivosti cloudových finančních nástrojů.

Incident ukázal, že systém pro odhad nákladů by měl být oddělen od zákaznického rozhraní dalšími kontrolami. Když jediná chyba v jednotkové ceně dokáže během několika hodin vyvolat globální vlnu nesmyslných částek a falešných alarmů, nestačí pouze opravit výpočet. Je třeba zajistit také to, aby se podobný výsledek vůbec nedostal až k uživateli.