Построение современного ЦОД неразрывно связано с решением вопросов энергоснабжения и отвода излишков тепла. Развитие аппаратных средств приводит к постоянному росту плотности энергопотребления на единицу площади помещения ЦОД. Сегодня вполне обыденными стали 8-ядерные серверы в исполнении 1U, потребляющие более 500 Вт электроэнергии.
Использование блейд-серверов еще больше ужесточает требования к энергоснабжению и теплоотводу для помещений ЦОД. Стандартный шкаф с оборудованием может потреблять мощность около 10 кВт/часов. Небольшой, по мировым меркам, ЦОД, содержащий 10-15 шкафов, использует примерно столько же электроэнергии, сколько пятиэтажный офисный центр. В результате помещение ЦОД становится самым горячим в здании. И почти всегда все тепло, выделяемое оборудованием в помещении ЦОД, выбрасывается в окружающую среду.
Чаще всего инфраструктурное решение, обеспечивающее электропитание и кондиционирование ЦОД, разрабатывается вне основного проекта здания и выполняется другими подрядчиками. Это приводит к неприемлемо высокому расходу энергии и денежных средств. Комплексный подход к энергосбережению при строительстве ЦОД как части архитектурного сооружения позволяет снизить затраты на кондиционирование и энергоснабжение.
Распределение электроэнергии
По сравнению с офисными центрами и силовыми трехфазными установками ЦОД выдвигают принципиально иные требования к электропитанию. Основные отличия сводятся к тому, что энергоснабжение ЦОД должно быть непрерывным на всем протяжении эксплуатации с момента запуска. Энергоснабжение не может прекращаться даже при подключении нового оборудования и при проведении ремонта компонентов энергетических систем. Второе требование определяет качество подаваемой энергии, которая должна быть очищена от всех шумов, всплесков, бросков и других помех. В идеальном случае сигнал должен быть максимально приближен к идеальному виду трехфазного тока.
К силовым кабельным системам предъявляются также требования, обусловленные особенностями функционирования серверного и коммуникационного оборудования. Большинство устройств оборудовано мощными высокочастотными импульсными блоками питания, которые генерируют высокие токи холодного старта, которые могут в десятки раз превышать ток штатной работы. Соответственно, силовые кабели в ЦОД должны обладать минимальным сопротивлением. Из-за этого от главных распределительных щитов приходится прокладывать отдельные медные кабельные линии с сечением проводников, значительно превышающим расчетные значения для бытовых или офисных потребителей электроэнрегии. Импульсный характер нагрузки требует, чтобы толщина нулевого провода трехфазной системы превышала толщину фазовых проводников. В противном случае импульсное потребление электроэнергии приводит к перекосу фаз, что, в свою очередь, вызывает возникновение больших выравнивающих токов в нулевом проводнике.
Важным аспектом проектирования и строительства помещений ЦОД является заземление объекта. Требования к заземлению ЦОД в 10 раз жестче, чем требования к заземлению обыкновенных электроустановок. Для гарантированно бесперебойной работы информационных систем необходимо снизить сопротивление контура заземления ЦОД до 0,4 Ом, что уже само по себе является нетривиальной задачей.
Для внутренних помещений ЦОД характерны проблемы распределения электропитания между шкафами. Взаимное влияние оборудования, подключенного к общей электрической сети, может вызывать сбои в работе каналов связи, динамической памяти и других устройств и модулей. Поэтому необходимо обеспечивать качественное энергоснабжение каждого устройства, расположенного в ЦОД. В проектах бюджетных недорогих ЦОД этот вопрос, к сожалению, вообще не рассматривается, что впоследствии приводит к трудно диагностируемым сбоям оборудования. А ведь статистика свидетельствует, что около 60% неисправностей происходят именно из-за некачественного энергоснабжения.
В современных помещениях ЦОД с высокой плотностью размещения оборудования рекомендуется применять трехэтапную систему подготовки электропитания. В каждом шкафу необходимо предусмотреть панели розеток, оборудованные встроенными фильтрами гармоник и высокочастотных помех — это позволяет снизить взаимное влияние оборудования за пределами группы розеток.
В каждый шкаф в нижних отсеках следует установить одно- или трехфазный ИБП системы online требуемой мощности (обычно – около 10 кВт). Для обеспечения работы наиболее критичных к простою систем лучше предусмотреть два ИБП с возможностью безобрывного переключения между устройствами. К таким ИБП не предъявляются требования по продолжительности работы в автономном режиме. Их основная задача — обеспечить стабильные параметры электроэнергии на выходе, генерировать сигнал надлежащей формы и фазы. Например, короткое замыкание в одном из шкафов ЦОД немедленно приводит к срабатыванию автоматов в распределительном шкафу. На какое-то время напряжение в фазе, к которой подключен шкаф, давший сбой, резко падает, а после срабатывания автомата снова резко повышается. Это почти всегда приводит к “зависанию” другого оборудования, особенно если оно обладает конструктивными дефектами в блоках питания. Использование ИБП в шкафах в значительной мере подавляет “перетекание” информации по сетям питания, выравнивает перекосы фаз при неравномерной нагрузке внутри шкафа и, самое главное, обеспечивает работу оборудования при кратковременном сбое в общей системе электропитания ЦОД.
Для ЦОД, в которых расположены всего несколько шкафов, подобные системы энергоснабжения могут оказаться излишними. Однако компаниям, которые планируют дальнейшее расширение ЦОД, необходимо изначально проектировать инфраструктуру с учетом увеличения мощности размещенного оборудования.
В свою очередь, общее питание ЦОД осуществляется мощным централизованным online ИБП, который работает по параллельной схеме N+1. Такой источник должен гарантировать наличие электропитания даже во время проведения работ по его ремонту или обслуживанию. Поэтому хорошим правилом считается не просто наличие нескольких однотипных источников питания в одном шкафу, а использование нескольких шкафов с однотипными источниками питания, подключенных к общей сети и расположенных в разных помещениях вокруг ЦОД. При этом аварийный план должен предусматривать возможность работы от любого из уцелевших источников электропитания, а каждый источник — обеспечивать достаточную мощность и время автономного функционирования для всего оборудования, работоспособность которого необходимо поддерживать.
Системы централизованного питания ЦОД должны иметь минимум два ввода электропитания, организованных от разных трансформаторных подстанций, которые имеют вводы от разных вышестоящих подстанций. Также необходимо предусмотреть ввод от дизель-генераторной установки, которая в зависимости от требований к непрерывности электропитания может состоять из одного или двух генераторов. Генератор должен обеспечивать автозапуск за время, меньшее продолжительности работы ЦОД в автономном режиме от батарей системы ИБП. Высокое качество электропитания обеспечивают генераторы, выдающие электроэнергию высокой частоты с последующим преобразованием ее в частоту 50 Гц и напряжение 0,4 кВа.
 Табл. 1 |
Противопожарная безопасность
Все цепи энергопитания ЦОД должны быть обязательно подсоединены к системе пожарной сигнализации здания с целью обеспечить немедленное отключение электричества в случае возникновения пожара. В свою очередь системы пожарной сигнализации должны иметь несколько контуров датчиков для перепроверки сигнала “пожар” и выдавать сигнал на отключение электропитания только при одновременном срабатывании нескольких контуров. Кроме этого, перед входом в датацентр на видном месте возле двери должен быть расположен ручной выключатель электропитания с аварийной подсветкой, защищенный пломбой или стеклом, снабженный пояснительным рисунком и надписью на основных языках. С его помощью которого работники спецподразделений или служащие офиса, принимающие участие в тушении пожара, могут самостоятельно произвести отключение электропитания. Вся сигнальная проводка, обеспечивающая отключение систем электропитания, должна быть выполнена в пожарозащищенном виде.
Теплоотвод и кондиционирование
Эксплуатация современных аппаратных средств связана с большой тепловой нагрузкой. Соответственно, к климатическому обеспечению серверных помещений предъявляются повышенные требования. В частности, помещение необходимо оснастить основной и резервной системой кондиционирования для предотвращения проблем в случае возникновения сбоев в основном контуре.
Система вентиляции и кондиционирования должна работать круглосуточно, в режиме 24х7х365. При необходимости можно предусмотреть автономную схему. Работу климатических систем должен поддерживать резервный генератор. В случае его отсутствия следует предусмотреть возможность подключения к ресурсам резервного генератора здания.
Величину рабочей температуры и влажности нужно контролировать и поддерживать в следующих диапазонах:
• температура сухого термометра 20-25°C;
• относительная влажность 40-55%;
• максимальная температура конденсации 21 °C;
• максимальная скорость изменения 5 °C в час.
В зависимости от местных условий может потребоваться оборудование для создания дополнительной влажности или для осушки воздуха.
Температуру и влажность окружающего воздуха следует измерить после того, как оборудование будет введено в эксплуатацию. Измерения рекомендуется выполнять на высоте 1,5 м над уровнем пола через каждые 3-6 м вдоль центральной линии “холодных” проходов и во всех точках поступления воздуха в работающее оборудование. Измерения температуры лучше проводить в нескольких точках поступления воздуха в устройство, для которого вероятно возникновение проблем с охлаждением. Перепад давления по отношению к окружающим областям должен быть положительным.
Практически вся мощность, потребляемая компьютерным оборудованием, излучается в окружающую среду в виде тепла. Поэтому помещение ЦОД должно иметь устройство охлаждения, мощность которого превышает потребляемую. В помещении ЦОД температура воздуха на входе в устройство должна лежать в диапазоне 17-20 градусов.
Устройства кондиционирования должны быть построены таким образом, чтобы обеспечить максимально возможный КПД. Это означает, что по возможности они должны кондиционировать помещение не целиком, а забирать горячий воздух прямо на выходе из шкафа и направлять холодный очищенный поток непосредственно в переднюю дверь. Подобные системы обладают максимальным КПД и невысокой стоимостью владения, но зачастую стартовые затраты оказываются чрезмерно высокими для многих компаний. Однако только такие решения позволяют действительно контролировать температурные условия в каждом шкафу и экономить энергию.
На практике в большинстве случаев применяются более дешевые системы охлаждения. Они основаны на расстановке шкафов в помещении ЦОД с образованием холодных и горячих коридоров по схеме “холодный-горячий-холодный”. Здесь находят применение различные методы отвода воздуха из горячего коридора с последующим его охлаждением, очищением и перенаправлением в холодный коридор.
Самыми экономичным способом кондиционирования ЦОД, в котором применена схема с горячими и холодными коридорами, является размещение специальных кондиционеров в шкафном исполнении непосредственно в рядах между стойками оборудования. Подобные кондиционеры могут использовать фреоновые, водяные и другие хладагенты.
Другие системы кондиционирования обладают заведомо меньшим КПД, требуют дополнительной энергии на перекачку воздуха или охлаждают гораздо больший объем воздуха внутри всего помещения ЦОД. Их использование оказывается неэффективным.
Наиболее интересными с точки зрения обеспечения непрерывности работы ЦОД являются системы кондиционирования на холодной воде. В схему контура можно включить достаточно большой накопительный бак емкостью несколько тысяч литров, в котором будет накапливаться холодная вода. При переходе ЦОД на резервный источник питания резервуар позволит охлаждать помещение датацентра в течение нескольких часов при условии расхода электроэнергии только на водяной насос и воздушный вентилятор. Эта схема позволяет отказаться от необходимости поддерживать работу холодильника от аварийного источника электропитания.
Изменяем взгляд на систему энергоснабжения
Для перехода к экономически целесообразным режимам эксплуатации ЦОД необходимо изменить взгляды и подходы к проектированию систем электропитания и охлаждения. В классическом варианте электроэнергия подается в ЦОД из двух вводов сетей общего пользования. Дополнительно в ЦОД устанавливается дизель-генератор, который простаивает 99% времени, требует технического обслуживания, квалифицированного персонала и т.п. Фактически часть бюджета сознательно оказывается замороженной в оборудовании, которое будет использоваться только в аварийном случае.
 Табл. 2 Источник: нормативный документ СН 512-78 |
Заключение
Вопросы организации электропитания и кондиционирования ЦОД становятся все более сложными по мере роста плотности размещения оборудования и увеличения потребляемой устройствами мощности. Компаниям, которые планируют построение современных ЦОД, следует с максимальным вниманием отнестись к вопросу проектирования систем электропитания и кондиционирования. От того, насколько продуманными они окажутся, зависит, в конечном счете, не только стоимость владения ЦОД, но и надежность работы оборудования.
Александр Хиной, Ольга Шведова, независимые эксперты
С авторами материала можно связаться по адресу: it@allo.ua
