Продолжающийся, несмотря на кризис, рост потребности в современных и качественных ЦОД – общемировая тенденция

Введение

Продолжающийся, несмотря на кризис, рост потребности в современных и качественных ЦОД – общемировая тенденция. Строительство ЦОД продолжается, но с учетом вынужденного ограничения расходов большинства компаний, критически важной становится эффективность инвестиций, обеспечить которую при традиционном подходе к планированию крайне сложно. Основная причина – сложность эффективного управления емкостью объекта. Строительство среднего ЦОД при отсутствии задержек займет от 9 до 18 месяцев. Принятие решения о выделении бюджета и начале проекта также может занять не один месяц. В результате, компании вынуждены планировать потребность на длительный (как минимум два-три года) период времени, начало которого отстоит на полтора-два года от точки принятия решения. Велика вероятность ошибки, причем как в сторону занижения, так и завышения потребности. Результат иллюстрируется следующим графиком, на котором ступенчатой линией показана имеющаяся емкость ЦОД, а кривые иллюстрируют плановую и фактическую в ней потребность (цифры условные):

Если вы проектируете ЦОД, опираясь на планируемые темпы роста бизнеса, к концу цикла строительства ситуация может кардинально измениться. Тем более вероятно она изменится к концу планового периода заполнения ЦОД.

Решение проблемы в теории просто – строить масштабируемый ЦОД и расширять быстро и в точности когда и на сколько нужно. Но на практике идея масштабирования входит в глубокое противоречие с другими базовыми требованиями – удельной стоимостью и эксплуатационными характеристиками. Проблемы здесь следующие:

- системы внешнего электроснабжения плохо поддаются масштабированию из-за проблем с присоединением (высокой стоимостью, длительным временем, отсутствием гарантий наличия резерва мощности у энергетиков на момент возникновения потребности);

- системы бесперебойного, гарантированного электропитания, электрораспределения, охлаждения и ряд других тем дешевле, чем из более крупных блоков строятся;

- любое расширение стационарного объекта создает риски и неудобства в процессе эксплуатации действующей части.

Выход из положения, на первый взгляд, состоит в использовании модульных технологий. Весь вопрос в том, какие именно модули использовать. До последнего времени, наиболее распространенным классом модулей являлись неавтономные модули, требующие подключения к внешним системам питания и охлаждения и значительного числа доработок при установке на место. Такие «полуфабрикаты» как правило, имеют преимущества при решении специальных задач, например, обеспечения физической изоляции зон ЦОД из соображений безопасности. Они также сокращают время строительства, при условии, что работы по присоединению к внешнему электроснабжению заканчиваются еще раньше.

Если посмотреть внимательно, такие модули не решают ни одной из трех перечисленных выше проблем, связанных с масштабируемостью. Первую из них вообще сложно решить, разве что за счет перехода на автономный источник энергии (например, газовую электростанцию). Но вторая и третья проблемы могут быть эффективно решены за счет использования нового класса модульных решений. Когда они стали появляться на рынке, за ними закрепилось название «Мобильные ЦОД» (МЦОД), поскольку наиболее заметная отличительная черта такого модуля – возможность перемещения на другое место эксплуатации (с более или менее серьезной головной болью). Но по мере развития понимания рынком возможностей МЦОД, мобильность стала восприниматься как полезная, но не столь уж и важная характеристика, а на первый план вышла автономность. В результате, ведущие производители[1] стали отказываться от термина «Мобильный ЦОД», заменяя его на «Модульный», «Портативный» и т. д. Мы предлагаем наравне с термином МЦОД, который можно расшифровать и как «Модульный ЦОД», использовать более общий термин - Универсальный Полностью Автономный Модуль (УПАМ).

Использование УПАМ позволяет полностью изменить подход к планированию инвестиций в ЦОД. Для реализации потенциала новой технологии СИТРОНИКС недавно предложил рынку концепцию, которую мы назвали RITE (Right In Time Extension). Суть RITE заключается в сочетании стационарного ядра ЦОД и модульной части. Ключевым фактором, обеспечивающим экономический эффект, является применение УПАМ СИТРОНИКС «Датериум», которые имеют беспрецедентно низкую цену за единицу емкости (вне зависимости от единицы измерения емкости, будь то кВт, кв. метры или стойки/юниты) и очень малое время ввода в эксплуатацию. Большая часть емкости ЦОД RITE обеспечивается модульной частью, которая достраивается по мере необходимости. Нерасширяемое стационарное ядро служит, главным образом, для размещения крупногабаритных систем, таких как большие ленточные библиотеки или серверы и системы хранения верхнего уровня. Прочее оборудование устанавливается внутри модулей. Часть площади ЦОД выделяется под системы высокой плотности энергопотребления, их можно размещать как в стационарном ядре, так и в модульной части при использовании специализированных модулей высокой плотности, имеющихся на рынке.

В результате, наша диаграмма управления емкостью ЦОД приобретает примерно такой вид:

Легко видеть, что распределение инвестиций во времени значительно более оптимально и риски ошибки гораздо ниже. И если в первом случае результатом стало бы обновление резюме менеджера, ответственного за планирование инфраструктуры, то во втором он был бы вправе рассчитывать на честно заработанный бонус.

УПАМ имеют и другие важные преимущества: высокую живучесть за счет независимости модулей друг от друга, высокую энергетическую эффективность за счет малого внутреннего объема и малых потерь. УПАМ могут использоваться различными способами, в том числе и как мобильные ЦОД. Основной фактор, ограничивающий применимость – относительно высокая их цена. Решение СИТРОНИКС свободно и от этого недостатка, в немалой степени, за счет российского происхождения. Расскажем о «Датериум» подробнее.

Общие характеристики МЦОД «Датериум»

Полезная емкость МЦОД «Датериум» составляет 7 стоек для ИТ-оборудования емкостью 42 RU, высота стойки 2000 мм, глубина 1000 мм, при этом поддерживается установка оборудования с монтажной глубиной более метра. Конструктивно он представляет собой контейнер, соответствующий по габаритам транспортному 20-футовому контейнеру ISO High Cube

Уровень доступности по классификации Uptime Institute TIER 2 или TIER 3, в зависимости от модификации[2].

Полезная электрическая мощность – до 32 кВт в базовой комплектации, до 38 кВт в версии Tier 3.

Плотность мощности – 4.6 кВт на стойку в базовой комплектации, 5,4 кВт на стойку в версии Tier 3. Ограничения по распределению тепловой и электрической нагрузки между стойками отсутствуют.

Массогабаритные характеристики:

·  Длина (с учетом навесных элементов) – 7 м;

·  Ширина 2.45 м;

·  Высота 2.9 м (без учета высоты регулируемых установочных опор);

·  Вес (без ИТ оборудования) - 8,5 тонн.

Диапазоны рабочих температур:

·  от -35º до +40º в климатическом исполнении «Стандарт»;

·  от -50º до +40º в климатическом исполнении «Арктика»;

·  от -20º до +50º в климатическом исполнении «Тропики».

Время полного развертывания на подготовленной площадке – 24 часа. Возможна установка на неподготовленную площадку, отвечающую минимуму требований, например, на асфальтированный участок автомобильной парковки.

В состав решения входит полный комплект инженерных систем:

·  бесперебойного электропитания;

·  охлаждения;

·  газового пожаротушения и дымоудаления;

·  мониторинга, диспетчеризации и управления;

·  безопасности и контроля доступа;

·  видеонаблюдения[3];

·  гарантированного питания (ДГУ)[4].

Система охлаждения

Первая волна УПАМ (представленная, например, знаменитым проектом Sun BlackBox) проектировалась под влиянием идеи о грядущем взрывном росте плотности энергопотребления оборудования за счет перехода на Blade технологии, широкого распространения виртуализации и grid-вычислений[5]. В связи с этим, большинство проектов имело своей задачей обеспечить поддержку максимальной мощности в ограниченном объеме контейнера. Естественным следствием данного подхода явилось широкое применение двухконтурных систем охлаждения на базе чиллеров, использующих жидкие теплоносители (обычно смесь воды и этиленгликоля) и теплообменники, смонтированные в стойках. В результате удается добиться теплосъема в объеме контейнера в сотни киловатт. Минусы этого подхода проявились быстро. Во-первых, в габаритах модулей, хорошо приспособленных для перевозки, то есть соответствующих габаритам транспортных контейнеров, разместить системы электропитания и охлаждения при мощностях выше нескольких десятков киловатт не получается и приходится ставить внешние системы (стоимость «обвязки» может в разы превышать стоимость контейнера). Во-вторых, двухконтурные решения весьма дороги. В-третьих, «загоняя» максимум энергии в фиксированный объем контейнера мы создаем серьезные эксплуатационные риски. «Вода» в контейнере сама по себе вызывает тревогу, при аварии ей просто некуда будет деться. Теплообменники стоек сложно защитить от образования конденсата (не забудьте, что контейнер требует доступа извне и имеет очень малый внутренний объем). Но наиболее серьезна другая опасность. В случае отказа системы охлаждения или прекращения подачи внешнего питания, скорость роста температуры в объеме контейнера может составлять десятки градусов в минуту. Не поможет и немедленное аварийное отключение. В такой ситуации возникает угроза не только физической исправности дорогого оборудования, но и жизни и здоровью персонала, находящегося в момент отказа внутри. Приходится принимать меры к резервированию всего и вся, выводя модуль в зону доступности Tier 4, но даже это не полностью устраняет риск «тепловой смерти», зато радикально увеличивает стоимость решения. По нашему мнению, разумный и безопасный в эксплуатации предел мощности в объеме 20-футового контейнера составляет 60-70 кВт, 4-футового кВт. А при таких мощностях вполне допустимо применение более простых и дешевых традиционных воздушных систем охлаждения, использующих систему горячих и холодных коридоров.

Именно такая система реализована в «Датериум». В качестве основных кондиционеров выбрана модель Liebert HPS-14 от Emerson, обладающая высокой удельной холодовой мощностью. Система состоит из 4 кондиционеров HPS-14 мощностью по 14 КВт каждый. Таким образом, в режиме резервирования N+1 она способна отвести до 42 КВт тепла. Все кондиционеры могут работать как в автономном режиме, так и в системе, управляемые единым контроллером.

Чтобы обеспечить движение горячих и холодных воздушных потоков без потерь на смешивание, был разработан тепловой экран, физически разделяющий горячий и холодный коридоры (компоновочное решение запатентовано). Это позволяет почти на 100% использовать мощность кондиционеров, кроме того модуль не чувствителен к неравномерному распределению в стойках оборудования с высоким тепловыделением. Холодный воздух поступает к фронтальной части стоек. В данной модели применен центробежный вентилятор, поэтому выходной поток имеет заметную горизонтальную составляющую, что улучшает перемешивание воздушных потоков от разных кондиционеров в холодном коридоре. Далее поток проходит через стойки с ИТ-оборудованием и попадает в горячий коридор, откуда всасывается обратно в кондиционеры. Схематически распределение тепловых потоков показано на рисунке.

Схема распределения тепловых потоков "Daterium"

Системой поддерживается режим свободного охлаждения (free cooling)[6], который автоматически включается при достаточно низких температурах внешнего воздуха. Наружный воздух через специально разработанную смесительную камеру подмешивается к воздушному потоку внутри модуля. Если внешняя температура ниже - 5º, внешние блоки кондиционеров полностью выключаются. За счет этого можно экономить до 30% от общего потребления энергии УПАМ в холодное время года.

Для работы при низких температурах при малой тепловой нагрузке и для обеспечения «холодного старта» каждый кондиционер оснащен нагревателем мощностью 6 КВт. Внешние блоки имеют встроенный подогрев для предотвращения выхода из строя компрессора из-за конденсации фреона. Внешние блоки кондиционеров защищены металлической сеткой со всех сторон и козырьком сверху.

Системы бесперебойного электропитания, электрораспределения и освещения

Система бесперебойного электропитания в базовой комплектации построена на базе семейства ИБП Liebert NXA производства Emerson, архитектура которого имеет высокий уровень внутреннего резервирования элементов. В модификации TIER 2 имеется один источник бесперебойного питания Liebert NXA 40, с временем работы от аккумуляторов 15 мин при максимальной нагрузке. В модификации TIER 3 используется конфигурация ИБП, позволяющая менять степень резервирования электроснабжения от N+1 до 2N.

Система электрораспределения до стоек дублирована, к каждой стойке подходит два трехфазных кабеля. «Датериум» имеет два электрических ввода, переключаемых вручную. Второй ввод предназначен для обеспечения бесперебойной работы модуля при плановых переключениях энергоснабжения. При использовании автономной дизель-генераторной установки (ДГУ)[7] в качестве резервного источника питания автомат ввода резерва находится в контейнере ДГУ, в соответствии со сложившейся практикой.

Для освещения МЦОД "Daterium используются светильники со встроенными аккумуляторами, имеющие режим автономного освещения.

Система мониторинга и управления

Нахождение людей в модуле предполагается только для инсталляции и обслуживания ИТ-оборудования. Все функции контроля и управления позволяет удаленно осуществлять система мониторинга, диспетчеризации и управления (СМДУ). СМДУ позволяет:

Управлять ИБП и кондиционерами через контроллер MBUS; Контролировать более сотни параметров ИБП и кондиционеров; Контролировать параметры электроснабжения на входе в ГРЩ; Контролировать статус системы пожаротушения и отрабатывать сценарий «пожар»; Контролировать состояние дверей и люков (контроль доступа); Контролировать температуру и влажность в МЦОД; Контролировать состояние автоматов защиты в ЩБП и ГРЩ; Выдавать вышеперечисленную информацию через IP-сеть.

В комплект поставки входит портативная станция управления (ноутбук) и программное обеспечение, позволяющее отображать в числовом виде и в виде мнемосхем наиболее значимые из вышеперечисленных параметров. По желанию заказчика, возможна доработка функциональности стандартного ПО и/или интеграция системы инженерной автоматики УПАД с СМДУ стационарного ЦОД Заказчика (поддерживаются открытые протоколы). СМДУ поддерживает объединение групп модулей в единое пространство управления.

Система газового пожаротушения

«Датериум» оборудован сертифицированной автоматической системой газового пожаротушения (АСГП). Система состоит из датчиков дыма, расположенных в машинном зале и в тамбуре, датчиков температуры, расположенных в горячем и холодном коридорах машинного зала, станции пожаротушения (контроллера) и газового баллона с электромагнитным клапаном. АСГП интегрирована с системой контроля доступа и ее логика учитывает при принятии решений о срабатывании положение дверей. Пожарная тревога включается при достижении температуры 68 º в машинном зале или при срабатывании дымовых датчиков в тамбуре. При этом звучит сирена и через запрограммированное время задержки подается газ. Система охлаждения, ИБП и общее электроснабжения при этом отключаются. Чтобы исключить возможность пуска газа во время присутствия в помещении МЦОД людей, при входе человека в МЦОД система автоматически переходит на ручное управление. Возврат в автоматический режим произойдет только после того, как за человеком закроется дверь. Даже в ручном режиме пуск газа возможен только после закрытия двери. Режимы работы системы индицируются на световых табло «Автоматика включена» и «Газ, уходи», расположенных как снаружи, так и внутри МЦОД. Сирен также две – внешняя и внутренняя. Автономный источник питания обеспечивает работу системы, когда МЦОД не подключен к электросети. Заказчик может выбрать используемый в АСГП тип газа.

Эксплуатация

Особое внимание при разработке модуля «Датериум» было уделено удобству эксплуатации, эргономике и безопасности для персонала. Такая расстановка приоритетов была вызвана тем, что разработчики имели редкий опыт практической эксплуатации немногочисленных пока контейнерных решений других производителей и уникальный опыт разработки автономных систем высокой надежности (разработка велась совместно со специалистами ГК «Росстатом»). Есть буквально сотни «мелочей», которые могли бы вызвать серьезные проблемы и которые учитывались при проектировании. Перечислю только небольшую часть.

Для перевозки может использоваться и контейнеровоз, и обычный крытый фургон (кстати, перевозка в нем имеет свои преимущества – модуль прибывает на место установки, не привлекая ненужного внимания и не покрытый слоем дорожной грязи). Все выступающие элементы легкосъемные (а внешние блоки кондиционеров не требуют демонтажа при любом штатном способе перевозки). Перевод УПАД в транспортное положение и обратно занимает считанные часы и не требует специальных знаний (достаточно прилагаемой инструкции).

Подготовка площадки. Не везде есть ровная и абсолютно горизонтальная площадка. Зимой в мороз в такой ситуации развертывание модуля может быть отложено на месяцы. Выручат входящие в комплект регулируемые по высоте установочные опоры. Эти же опоры спасут в паводок или в сильный ливень от подтопления. Даже если со временем площадка просядет, восстановить горизонтальность не сложно. Для удобства входа в модуль под грузовыми воротами и дверью имеются нескользкие перфорированные ступеньки, а сверху - козырек, предохраняющий от попадания дождя и снега при открывании грузовых ворот.

После установки УПАМ на площадку и демонтажа транспортных креплений, нужно только присоединить к нему кабели электроснабжения и слаботочной сети - и он готов к приему оборудования. Не требуется установка внешних чилеров, подсоединение трасс снабжения хладагентом, долгое наполнение системы охлаждения гликолем – «Датериум» поставляется полностью готовым к работе, а время его развертывания самое малое среди всех аналогов.

И вот начинается самое интересное - инсталляция ИТ-оборудования. Вы никогда не пробовали занести в тесный контейнер по узким коридорам, например, «корзину» блэйд-серверов или дисковый массив, вес которого сравним разве что с его стоимостью? Теперь эта акробатика останется в прошлом - в «Датериум» стойки установлены на раму, перемещающуюся электроприводом в поперечном направлении (запатентованное решение). Путем перемещения рамы можно сделать ширину прохода для установки оборудования с любой из сторон более 1.2 м. Предусмотрен и ручной привод перемещения стоек на случай отказа сервосистемы. Правда последняя используется в горнодобывающей индустрии и ее срок службы – 30 лет, так что этот резерв вряд ли понадобится.

Высота потолка в проходах – 2 м. Кстати, по желанию заказчика раму вместо одной или нескольких стоек может быть установлено и нестандартное оборудование, такое, как сервер или дисковый массив верхнего уровня. Нагрузочная способность сервосистемы и конструкция рамы это позволяют

Но вот, инсталляция основного оборудования завершена, и грузовые ворота закрываются. Теперь доступ в машинный зал происходит через тамбур, в который ведет отдельная дверь. Тамбур защитит не только от попадания в машинный зал пыли и осадков, но и избытка наружного воздуха, являющегося в некоторых случаях причиной выпадения конденсата.

И еще несколько важных мелочей. «Датериум» оснащен фальшполом, под которым идут коммуникации (редко встречается в УПАМ). Слив конденсата из кондиционеров оснащен подогревом и не замерзнет зимой. Также вы можете быть уверены, что замок входной двери не замерзнет – он электромагнитный, с подогревом. Внешние блоки кондиционеров надежно защищены сверху от падающих сосулек козырьком из металлического листа, а с остальных сторон металлической сеткой (кстати, хорошая защита от птиц, которых привлекает теплоизоляция трубок внешних блоков кондиционеров). Если развертывание происходит зимой, мощная система теплого старта быстро прогреет помещение модуля до комфортной температуры.

Перечислять можно долго, но объем статьи ограничен. В заключение, повторю еще раз, что всем нам, строящим и эксплуатирующим ЦОД, стоит обратить самое пристальное внимание на новые подходы и продукты, завоевывающие свое место на рынке, одним из ярких (как мы надеемся) представителей которых является СИТРОНИКС «Датериум».

[1] Например, Sun Microsystems и IBM

[2] Конечно, доступность объекта в целом зависит также от конфигурации внешнего электроснабжения

[3] Опция

[4] Опция, размещается в отдельном контейнере

[5] К слову, этот процесс идет в реальности гораздо медленнее, чем казалось еще пару лет назад

[6] Кроме климатического исполнения «Тропики»

[7] Опция, поставляется отдельно