Błąd w systemie rozliczeniowym AWS: klienci zobaczyli rachunki na biliony dolarów. Oto, co się naprawdę stało

Przyczyna: błąd w jednostkach cenowych

AWS potwierdził, że źródłem problemu był błąd w jednostkach cenowych w podsystemie szacowania kosztów . Podsystem obliczający prognozowane koszty nieprawidłowo zastosował jednostki cenowe, przez co algorytm mnożył użycie przez błędne, ogromnie zawyżone stawki. Wadliwa była logika szacowania, a nie rzeczywiste dane o zużyciu .

Globalny zasięg

• Globalny – problem dotknął klientów we wszystkich regionach AWS, od Bangalore po Bolsover .
• Wszyscy użytkownicy, którzy w czasie trwania incydentu korzystali z Cost Explorera lub konsoli Billing, widzieli nieprawidłowe szacunki .
• Błąd nie wpłynął na rzeczywiste fakturowanie – faktury i już zaksięgowane opłaty były rozdzielne, a AWS wielokrotnie podkreślał, że wyświetlane kwoty nie odzwierciedlają rzeczywistego użycia ani należności .

Skutki: panika, zmęczenie alertami i utrata zaufania

• Panika wśród klientów – media społecznościowe zalały doniesienia o momentach, w których użytkownicy myśleli, że „dusza opuszcza ciało”, widząc rachunki na biliony dolarów . Niektórzy klienci zgłaszali szacunkowe opłaty sięgające kwadrylionów dolarów .
• Zmęczenie alertami – alerty z AWS Budgets i Cost Anomaly Detection uruchomiły się masowo, potencjalnie uczulając zespoły na przyszłe, prawdziwe ostrzeżenia .
• Brak rzeczywistych strat finansowych – AWS nie obciążył klientów błędnymi kwotami; szacunki były wyłącznie wyświetlane. Mimo to zaufanie przedsiębiorstw i zakłócenia operacyjne były poważne .

Oś czasu odzyskiwania: 16–18 godzin tańca

Całkowity czas wyświetlania nieprawidłowych danych: około 16–18 godzin dla większości klientów, pełne przeliczenie trwało dłużej.

Szersze implikacje dla systemów alertów kosztowych w chmurze

Incydent ujawnił kilka krytycznych słabości architektonicznych:

1. Martwe pola w logice alertów – AWS Budgets i Cost Anomaly Detection opierają się na tym samym potoku szacowania, który uległ awarii. Gdy górne obliczenia są uszkodzone, wszystkie alerty downstream stają się szumem . To pokazało, że alerty rozliczeniowe są tak niezawodne, jak podsystem szacowania, który je zasila.

2. Zmęczenie alertami na skalę globalną – Tysiące klientów otrzymało jednocześnie fałszywie pozytywne alerty o wysokich kosztach. Może to uczulić zespoły operacyjne, spowalniając ich reakcję na prawdziwą anomalię rozliczeniową lub realny wzrost kosztów .

3. Konieczność niezależnych kontroli poprawności – Systemom rozliczeniowym w chmurze brakuje „wyłącznika krańcowego”, który odrzucałby szacunki przekraczające rozsądne progi (np. >1000× normy). Po tym incydencie przedsiębiorstwa prawdopodobnie będą wymagać wielowarstwowej walidacji: drugiego, niezależnego potoku, który oznacza wyświetlanie danych przekraczających historyczne normy, zanim trafią one do konsoli.

4. Luka komunikacyjna – AWS nie miał wbudowanego mechanizmu do natychmiastowego tłumienia lub zastępowania fałszywych szacunków w konsoli. Klienci polegali wyłącznie na mediach społecznościowych i stronach statusu AWS, aby dowiedzieć się, że dane są błędne .

5. Lekcja architektoniczna – Podsystem szacowania powinien być zaprojektowany z obronnym sprawdzaniem granic: jeśli obliczone szacunki przekraczają konfigurowalną wielokrotność rzeczywistych kosztów z poprzedniego okresu, system powinien odmówić ich wyświetlenia i zamiast tego pokazać komunikat „dane w toku”.

Podsumowując, lipcowy błąd rozliczeniowy AWS z 2026 roku nie był wydarzeniem finansowym, ale wydarzeniem dotyczącym zaufania i architektury. Ujawnił, że systemy zarządzania kosztami w chmurze potrzebują lepszej izolacji między logiką szacowania a interfejsami użytkownika, a także mechanizmów wyłączników krańcowych, aby pojedynczy błąd w jednostkach cenowych nie wywołał globalnej paniki.