Сжигая данные: крупнейшие пожары на дата-центрах и их последствия

По данным исследовательской консалтинговой компании Gartner, простой обработки данных в дата-центрах в среднем обходится провайдерам в 300 000 долларов/час, или 5000 долларов в минуту. Несмотря на все меры предосторожности (резервные копии, например) и обеспечения пожаробезопасности, время от времени появляется очередная новость о сгоревшем ЦОД и безвозвратно утерянной информации. Мы вспомнили крупнейшие пожары, случившиеся в дата-центрах, и убытки, которые они принесли.

10 марта в французском Страсбурге вышел из строя дата-центр хостинг-провайдера OVH — он попросту сгорел. OVH является крупнейшей хостинговой компанией в Европе, занимая 3-е место в мировом рейтинге. Из-за неприятного инцидента частично или полностью прекратили работу веб-ресурсы по всей Европе. Больше всего пострадали данные пользователей симулятора выживания Rust — пожар уничтожил 25 серверов онлайн-игры, информация безвозвратно утеряна.

Всего один выгоревший дотла центр обработки данных (ЦОД) привел к тому, что тысячи сайтов Германии, Италии, Испании, Польши и других стран оказались недоступны для пользователей. Перестали загружаться страницы страсбургского аэропорта, официальные страницы множества населенных пунктов Франции, портал SecurityLab, а также были затронуты сервисы Google и «Яндекса» — более половины пользователей не могли открыть YouTube, отправить электронную почту, войти в свой аккаунт. Согласно данным издания JDN, пострадало свыше 3,5 млн веб-ресурсов.

В сгоревшем ЦОД SBG2 находилось 12 000 серверов на площади 500 м кв., и несмотря на всю оперативность действий пожарных, ничего спасти не удалось. Хотя физически никто из людей в результате пожара в дата-центре не пострадал, огромные убытки понесли клиенты хостинг-провайдера. Кто-то потерял важные заказы, кто-то ценные данные, кто-то репутацию, а кто-то оказался между жизнью и смертью.

Как остановить жизнь целого города

Дата-центры — это не только места хранения и обработки информации из социальных сетей и онлайн-магазинов. Ими также активно пользуются госслужбы и медучреждения. В 2021 году в канадском городе Калгари случился пожар на объекте Shaw Communications, нарушивший работу 311 аварийных служб города, баз данных имущества и транспортных средств, а еще задел медицинскую компьютерную сеть Alberta Health Services. В результате инцидента в местных больницах пришлось отложить на неопределенное время сотни важных хирургических операций.

Целых 36 часов город не мог нормально функционировать, что стало сигналом для госучреждений проверить остальные ЦОДы на безопасность, дабы исключить ситуацию с «идеальным штормом невозможных событий». Простыми словами — не допустить состояния, когда вышедшая из строя инфраструктура лишает власти плана управления аварийными ситуациями.

https://hi-tech.imgsmail.ru/pic_original/80da33633ead0b853854191d8f5e5723/1247485/
https://hi-tech.imgsmail.ru/pic_original/39dec28fcba15502ba4df3585066e393/1247492/
https://hi-tech.imgsmail.ru/pic_original/e8e5a6ffc7cc0bbc63b085093dd38037/1247490/
https://hi-tech.imgsmail.ru/pic_original/c34eb13283e8d415b8dee24b42a3a34a/1247491/
15фотографий
Посмотрите на легендарный завод «Москвич», который превратили в майнинг-ферму. Фото предоставлены Дмитрием Мариничевым

Делайте копии. И копии копий тоже делайте — это полезно

Отсутствие резервных центров обработки данных — это всегда плохо. Подстраховка должна быть всегда, особенно если идет речь о ЦОДе, обслуживающем около 1 млн человек. Так, в 2013 году из-за пожара в здании, в котором располагался дата-центр, «легли» все IT-службы округа Макомб, что расположен к западу от Детройта в штате Мичиган.

На следующий день после происшествия глава округа Марк Хакель был вынужден объявить чрезвычайное положение, добавив, что восстановление здания и дата-центра может занять несколько месяцев и потребовать затрат на миллионы долларов. Пожар лишил персонал округа телефонной связи и сети Интернет. Даже несмотря на доступность Gmail для общения в госструктурах, из-за неработоспособности множества компьютеров чиновникам Макомба пришлось вспомнить старую школу: вновь вручную писать письма, очистить от пыли копировальные станции и импровизировать с портативными компьютерами. Все для того, чтобы хоть как-то поддерживать услуги, предоставляемые населению.

Пожарам не важен статус: горят и мелкие дата-центры, и принадлежащие гигантам

Техногиганты также не застрахованы от пожаров, что и случилось с дата-центром SDS Samsung Electronics в Квачхоне в 2014 году. Итогом стал сбой в передаче данных не только со смартфонов компании, но и с других устройств, таких как планшеты, смарт-часы и умные телевизоры. Также стал недоступен и официальный сайт Samsung. Проблема затронула многих пользователей из различных стран, но благодаря оперативным действиям менее чем через сутки компании удалось устранить все неполадки, вернув своим гаджетам и сервисам полную работоспособность.

В 2015 году погорельцем стала телекоммуникационная компания в Белфасте, Великобритания, а именно — крупнейший оператор BT Group. Пожар нарушил работу всего дата-центра, вследствие чего лишились связи многочисленные клиенты компании, включая работников госучреждений. Нарушилась работа общественного транспорта Translink, офиса омбудсмена полиции, горсовета Белфаста, энергетических компаний Northern Ireland Electricity и Budget Energy.

Несмотря на то, что огонь в ЦОДе потушили максимально оперативно, а электроснабжение дата-центре восстановили в кратчайшие сроки, еще полдня инженерам партнеров BT Group пришлось потратить на восстановление всех узлов и систем, вывести их работу в штатный режим. Детали возникновения пожара и причиненные финансовые убытки BT Group в итоге не раскрыла, но сообщила, что оборудование ее клиентов не пострадало.

Пожар в Баку оставил почти весь Азербайджан без интернета почти на 8 часов. Не работало почти ничего.

Blackout в масштабах страны, только в 2015 году почти все население Азербайджана лишилось не электричества, а доступа в Интернет. В то ноябрьское утро загорелся один из дата-центров компании Delta Telecom, выведя его из строя на долгие 8 часов. Нет, полностью доступ в сеть не исчез — его могли обеспечить несколько каналов связи мобильных операторов Azefron и Blackcell.

Пожар произошел в Баку, затронув серверную комнату Delta Telecom. В официальном сообщении представители компании заявили, что причиной возгорания стали несколько кабелей, находящихся в старом ЦОДе. Из-за инцидента приостановили свою работу банки (было невозможно проведение операций), перестали работать банкоматы и платежные терминалы. Кроме того, ряд городов лишился мобильной связи.

Это была первая в стране столь масштабная авария, но устранить ее удалось в течение 5 часов. Полностью же функционировать все системы начали только спустя 8 часов. Согласно данным Renesys, занимающейся отслеживанием интернет-подключений, тогда перестали функционировать более 78% сетей Азербайджана. А после восстановления работоспособности, все 600 сетей пришлось временно подключить к Интернету через одно и то же соединение: Delta Telecom — Telecom Italia Sparkle.

Пожар в центре обработки данных CommCorp (Бразилия) в 2018 году. Фото: twitter / @andradeandrey
Пожар в центре обработки данных CommCorp (Бразилия) в 2018 году. Фото: twitter / @andradeandrey
Пожар в центре обработки данных CommCorp (Бразилия) в 2018 году. Фото: twitter / @andradeandrey
Пожар в центре обработки данных CommCorp (Бразилия) в 2018 году. Фото: twitter / @andradeandrey
Пожар в центре обработки данных CommCorp (Бразилия) в 2018 году. Фото: twitter / @andradeandrey

И огня не нужно — достаточно дыма

Не всегда для вывода из строя серверов необходим огонь — иногда достаточно и обычного задымления. Происшествие случилось в августе 2016 года — пострадал дата-центр госорганизации Канады Shared Services Canada. В ее ответственность входит обслуживание IT-инфраструктуры правительства, а потому нарушилась работа некоторых ведомств — они оказались не в состоянии обслуживать собственных граждан.

Задымление произошло на одном из оттавских ЦОДов, и несмотря на отсутствие огня, Shared Services Canada решила подстраховаться и завершить работу серверов в экстренном режиме. Это привело к «падению» веб-сайтов правительства, к приостановке работы системы начисления зарплаты. Также стала недоступна внутренняя электронная почта для госслужащих и нарушена работа Министерства транспорта Канады.

Это тоже интересно: