Lỗi tính tiền AWS khiến khách hàng 'đứng tim' với hóa đơn ảo lên tới 2,5 nghìn tỷ USD

Nguyên nhân gốc rễ: Sai sót trong logic định giá đơn vị

AWS xác nhận nguyên nhân gốc rễ là một lỗi logic định giá đơn vị (unit pricing error) trong hệ thống con tính toán chi phí ước tính . Hệ thống phụ trách tính toán các chi phí dự kiến đã áp dụng sai đơn giá, khiến thuật toán ước tính nhân dung lượng sử dụng với một đơn giá sai lệch và bị thổi phồng lên một cách cực kỳ lớn. Bản thân lỗi nằm trong logic ước tính, chứ không phải lỗi từ dữ liệu sử dụng thực tế đã được đo đếm .

Phạm vi ảnh hưởng toàn cầu

• Toàn cầu — Sự cố ảnh hưởng đến khách hàng ở tất cả các khu vực của AWS, từ Bangalore (Ấn Độ) đến Bolsover (Anh) .
• Tất cả người dùng truy cập Cost Explorer hoặc Bảng điều khiển Quản lý Chi phí trong khung thời gian xảy ra sự cố đều nhìn thấy các ước tính sai lệch .
• Lỗi này không ảnh hưởng đến việc tính hóa đơn thực tế — các hóa đơn và khoản phí đã được cam kết là độc lập. AWS đã nhiều lần nhấn mạnh rằng các con số hiển thị không phản ánh mức sử dụng hoặc số tiền thực tế phải trả .

Tác động: Hoảng loạn, 'mệt mỏi cảnh báo' và mất niềm tin

• Hoảng loạn khách hàng — Mạng xã hội ngập tràn những câu chuyện 'hồn vía lên mây' khi người dùng thấy số dư tài khoản lên tới nghìn tỷ USD . Một số khách hàng còn báo cáo thấy các khoản phí ước tính lên tới hàng triệu tỷ (quadrillions) USD .
• 'Mệt mỏi vì cảnh báo' (Alert fatigue) — Các cảnh báo từ AWS Budgets và Cost Anomaly Detection đã đồng loạt 'kêu cứu', có nguy cơ làm các đội ngũ vận hành trở nên chai lỳ, giảm khả năng phản ứng với các cảnh báo thực sự trong tương lai .
• Không có tổn thất tài chính thực tế — AWS không xuất hóa đơn hay thu tiền dựa trên các con số sai lệch này; chúng chỉ mang tính chất hiển thị. Tuy nhiên, niềm tin của doanh nghiệp và sự gián đoạn vận hành là có thật .

Dòng thời gian khắc phục: 16-18 giờ 'căng não'

Tổng thời gian hiển thị sai lệch: khoảng 16–18 giờ đối với hầu hết khách hàng, thời gian tính toán lại hoàn toàn còn lâu hơn.

Bài học rộng hơn cho hệ thống cảnh báo chi phí đám mây

Sự cố này phơi bày một số điểm yếu kiến trúc quan trọng:

1. Điểm mù trong logic cảnh báo — AWS Budgets và Cost Anomaly Detection dựa trên cùng một đường ống ước tính đã bị lỗi. Khi quá trình tính toán đầu vào bị hỏng, tất cả các cảnh báo đầu ra trở thành nhiễu . Điều này cho thấy các cảnh báo chi phí chỉ đáng tin cậy khi hệ thống ước tính nuôi dữ liệu cho chúng hoạt động chính xác.

2. 'Mệt mỏi vì cảnh báo' ở quy mô lớn — Hàng nghìn khách hàng đồng thời nhận được các cảnh báo chi phí cao dương tính giả. Điều này có thể làm các đội vận hành trở nên trơ lỳ, khiến họ phản ứng chậm hơn với một bất thường chi phí thực sự hoặc một đợt tăng chi phí thật .

3. Sự cần thiết của các kiểm tra độc lập — Các hệ thống thanh toán đám mây thiếu một 'bộ ngắt mạch' (circuit breaker) có thể từ chối các ước tính vượt quá ngưỡng hợp lý (ví dụ: >1000 lần so với bình thường). Sau sự cố này, các doanh nghiệp có khả năng sẽ yêu cầu một lớp xác thực đa tầng: một đường ống độc lập thứ hai, có chức năng gắn cờ các hiển thị vượt quá định mức lịch sử trước khi đưa chúng lên bảng điều khiển.

4. Khoảng trống trong giao tiếp — AWS không có sẵn một cơ chế để chặn hoặc ghi đè các ước tính sai trên bảng điều khiển trong thời gian thực. Khách hàng chỉ có thể dựa vào mạng xã hội và các trang trạng thái của AWS để biết rằng dữ liệu hiển thị là sai .

5. Bài học về kiến trúc — Hệ thống con ước tính nên được thiết kế với tính năng kiểm tra giới hạn phòng thủ (defensive bounds checking): nếu các ước tính được tính toán vượt quá một bội số có thể cấu hình so với số liệu thực tế của kỳ trước, hệ thống nên từ chối hiển thị chúng và thay vào đó hiển thị thông báo 'dữ liệu đang chờ xử lý'.

Tóm lại, lỗi hóa đơn AWS tháng 7/2026 không phải là một sự kiện tài chính mà là một sự kiện về niềm tin và kiến trúc. Nó cho thấy các hệ thống quản lý chi phí đám mây cần có lớp cách ly tốt hơn giữa logic ước tính và giao diện người dùng, cũng như các cơ chế ngắt mạch để ngăn một lỗi gõ nhầm đơn giá duy nhất gây ra một cuộc hoảng loạn toàn cầu.