Производственный процесс: Как работают дата-центры H&F посетил дата-центр «ТрастИнфо» и узнал, как защищают физические хранилища информации.

Современный дата-центр — это комплекс сложных инженерных систем, позволяющих организовать безопасную и бесперебойную работу серверного и телекоммуникационного оборудования. Дата-центр «ТрастИнфо», принадлежащий компании «Ай-Теко», — один из крупнейших коммерческих дата-центров России. Полезная площадь для установки оборудования в нём составляет более 4 500 кв. м., а число стойко-мест — свыше 1 000. Это позволяет размещать в общей сложности до 50 000 серверов. Показатель бесперебойной работы составляет 99,982%.

На сегодня в России насчитывается более 170 крупных и средних коммерческих дата-центров. Общая полезная площадь коммерческих дата-центров в 2012 году достигла 62 600 кв. м., за год объём площадей вырос на 18,6%. Сегодня российский рынок дата-центров формируется крупными площадками, большая часть из которых расположена в Москве. По данным iKS-Consulting, российский рынок дата-центров в 2012 году вырос на 22,8% и составил 6,2 млрд рублей. По данным MForum Analytics, рынок дата-центров будет развиваться со скоростью около 30% в год и к 2015-му составит более $900 млн. Объём рынка в 2011-2016 годах вырастет с $310 до $1 127 млн; московский рынок — с $229 до $632 млн; петербургский — с $34 до $173 млн; региональные — с $47 до $323 млн.

Здание дата-центра «ТрастИнфо» было построено по принципу «дом в доме» с использованием специальных огнестойких и водонепроницаемых материалов на территории Научно-исследовательского центра электронной вычислительной техники (НИЦЭВТ), созданного в конце 1940-х годов. При строительстве здания дата-центра необходимо учитывать множество условий. Так, в технических требованиях международного стандарта TIA 942 указано, что здание не должно находиться в зоне, где за последние 100 лет случалось наводнение. Оно должно быть не менее чем на километр удалено от железных дорог и крупных шоссе (это сведёт к минимуму риск разлива химических веществ). Также нельзя строить дата-центры рядом с аэропортами, свалками, реками, иностранными посольствами и в районах с высокой преступностью. В целом, чем дальше от опасностей, тем лучше. Поэтому крупнейшие мировые дата-центры расположены в бывших ядерных убежищах, подземельях и в толще гор.

В помещении дата-центров не должно быть транзитных коммуникаций (отопление, водопровод, канализация). Однако для помещений, содержащих сервера, существуют требования по уровню влажности воздуха, так что наличие воды необходимо постоянно. Риск затопления можно снизить при помощи гидроизоляции. Также необходима установка датчиков протечек. Сервера требуют постоянного, круглосуточного охлаждения и теплоотвода, даже если центр обработки данных размещён на полюсе. Поэтому помещение должно быть оснащено системой искусственного климата. Необходимо контролировать температуру и влажность. Шкафы и стойки должны быть расположены по перемежающейся схеме, так чтобы передняя сторона шкафов/стоек в каждом ряду была обращена к передней же стороне другого ряда, создавая «горячие» и «холодные» проходы. Холодный воздух поступает из-под фальшпола, горячий — уходит в потолок: так происходит циркуляция воздуха. В «ТрастИнфо» даже используется пол с разной перфорацией: около высоконагруженных стоек она больше в диаметре.

«ТрастИнфо» для охлаждения использует воду из артезианской скважины, которая находится на территории НИЦЭВТ. Система охлаждения воздуха состоит из «чилеров», расположенных на улице, вентиляционных комнат и кондиционеров. Вентиляторы засасывают холодный воздух в чилеры, внутри которых находится этиленгликоль. Затем он взаимодействует с водой из скважины. Охлаждённая вода по замкнутому контуру идёт к кондиционерам, которые охлаждают воздух, подаваемый в зал. Также у дата-центра есть подземное хранилище с водой, за счёт которого в случае отказа системы охлаждения можно будет обеспечить четыре часа автономного охлаждения всех залов. Система охлаждения работает не круглогодично, а в зависимости от температуры окружающей среды. Зимой нет необходимости расходовать на это дополнительную электроэнергию.

У каждого машинного зала есть своя вентиляционная камера, в которой установлено шесть кондиционеров. Один из них всегда находится в резерве. Система поддерживает температуру в залах на уровне 22 градусов — оптимальной для работы оборудования без перегрева. Система автоматическая: на основе показаний датчиков она сама принимает решение, стоит ли охладить или добавить тепла в комнате. 

Энергопитание «ТрастИнфо» организовано от двух подстанций по двум каналам  — основному и резервному. Дата-центры очень энергоёмкие. На долю центров обработки данных приходится около 1,3% мирового потребления энергии. Согласно исследованию компании Digital Power Group, уже в 2035 году дата-центры будут «съедать» почти столько же энергии, сколько требуется для снабжения светом всего земного шара.

Зал источников бесперебойного питания (ИБП) — часть системы энергоснабжения «ТрастИнфо». Дата-центр укомплектован системой автоматического ввода резерва. При отсутствии электропитания от двух штатных подстанций дата-центр перейдёт на резервное питание от аккумуляторов. Расчётное время работы ИБП составляет 10-15 минут (до полной разрядки аккумуляторных батарей пройдёт 45 минут). Этого времени достаточно для запуска дизель-генераторных установок. Запас дизельного топлива рассчитан более чем на девять часов работы при полной нагрузке. В случае необходимости более длительной работы компания организует непрерывный подвоз солярки, и дата-центр будет работать в таком режиме столько, сколько надо.

Многие серверные стойки защищены сварными решётками и кодовыми замками, чтобы исключить возможность несанкционированного доступа. Некоторые заказчики устанавливают системы контроля доступа и видеонаблюдения за своими серверами. Так клиенты фиксируют, кто и когда заходил в их секцию.

Все коммуникации к стойкам подходят сверху — так удобнее и безопаснее. Под фальшполом — только шины заземления и датчики пожаротушения. Панели, которыми обшит зал, жаропрочные и не дают протечек. Все инженерные системы дублированы: отказ одной никак не влияет на производительность.

Круглосуточно в здании дежурят два инженера. Большую часть времени они наблюдают за состоянием инженерной инфраструктуры из комнаты мониторинга. Всё оборудование дата-центра оснащено датчиками, фиксирующими параметры электроснабжения и хладоснабжения в реальном времени. Три раза в день инженеры проводят визуальный осмотр помещений, проверяют температуру, состояние инженерных систем, ИБП, чилеров. 

Медная комната — гордость «ТрастИнфо» и единственное в своём роде специальное помещение, полностью обшитое медными листами. Оно обеспечивает защиту данных, записанных на магнитных лентах, от электромагнитного излучения. В мини-сейфах, установленных в этой комнате, хранятся носители с критически важными данными. Доступ в неё строго ограничен: чтобы открыть ячейку, нужно иметь два ключа, один из которых хранится у клиента, а второй — у охранника.

Все помещения дата-центра входят в единую систему пожаротушения, которая состоит из цифровой станции и газового оборудования. В этом помещении расположены 18 баллонов с огнетушащим веществом Хладон-125 и управляющее оборудование. Из него сделана трубопроводная разводка по всем помещениям дата-центра. Система пожаротушения гибридная: срабатывает как в ручном режиме, так и автоматически (если сработало сразу два датчика). В машинных залах над оборудованием расположены форсунки, которые в случае пожара выпустят газ, поглощающий кислород, над очагом возгорания.