Баг в AWS показал клиентам счета на миллиарды долларов

Вечером в четверг случился заметный баг в AWS: часть клиентов Amazon Web Services увидела в личных кабинетах счета, взлетевшие с нескольких центов до миллионов и миллиардов долларов. Причина, ошибка в системе оценочного расчёта счетов. Amazon подтвердила, что отображаемые суммы не отражают реальное использование и начисления.

Форумы и соцсети быстро заполнились постами встревоженных пользователей с гигантскими прогнозами оплаты. Один клиент на Reddit утверждал, что его использование выставлялось к оплате на 4,2 триллиона долларов. Другой, u/Vatonee, описал ощущения точнее любой пресс-релизной формулировки: «Я чуть не получил сердечный приступ, когда мои два S3-бакета с парой мегабайт данных сгенерировали прогноз на полмиллиарда долларов».

Почему баг в AWS показал фантомные счета

По данным AWS Service Health Dashboard, сбой вызвала некорректная удельная цена (unit pricing) в системе оценочного биллинга. Речь про оценку предстоящих начислений, а не про списания с карты. Реальное использование оставалось прежним, ломался только расчёт итоговой суммы на экране.

Amazon приостановила обновления оценочного биллинга и откатила систему к последним корректным данным о начислениях. Компания прогнозировала несколько часов на восстановление, а от клиентов никаких действий не требовалось.

Паника оказалась дороже бага

Хуже всего сработали не цифры, а реакция на них. Пользователь u/lern_by признался: «Само собой, я запаниковал и уничтожил всё на этом аккаунте». Некоторые в стрессе удаляли данные и ресурсы ещё до того, как узнавали, что счёт AWS, это ошибка отображения. Отменить такие действия потом невозможно.

Другие отреагировали спокойнее и с юмором. u/Reese101 пошутил, что поставит автоплатёж на 10 центов в месяц, чтобы погасить долг. По его подсчётам, на это ушло бы около 1,1 миллиарда лет: «Интересно, AWS начисляет пени за просрочку?» Коллективный фактчекинг в комментариях помог многим быстро понять, что паниковать не стоит.

Что баг в AWS говорит о надёжности облака

Даже у крупнейшего облачного провайдера мира внутренние системы дают сбои. Тезис «слишком большой, чтобы упасть» на практике не работает: облачные сервисы уязвимы к ошибкам биллинга и другим инцидентам.

Как защититься от подобных ситуаций

Если вы держите инфраструктуру в облаке, подготовьтесь заранее. Настройте бюджеты и оповещения через AWS Budgets и Billing Alarms, регулярно анализируйте расходы в Cost Explorer. При любом странном счёте сначала проверяйте официальный статус инцидента на Service Health Dashboard. И не удаляйте ресурсы и данные сгоряча, откатить это будет невозможно.

Предсказуемость расходов, повод присмотреться к аренде VPS в Sigma, где вы контролируете свою инфраструктуру без сюрпризов от чёрного ящика биллинга.

Источники

Engadget, о баге в биллинге AWS и реакции пользователей