В последнее время, с ростом потребляемой мощности и тепловыделения серверных систем, а также с учетом постоянно растущей значимости информации, обрабатываемой этими системами, также возрастает и значимость инженерной инфраструктуры серверного помещения.
 Михаил Балкаров |
Существует много аспектов и скрытых нюансов, которые чрезвычайно важны, но которым обычно уделяют недостаточно времени или вовсе не обращают внимания. Тем не менее, для успешной реализации проекта по построению серверного помещения необходимо задействовать все классические элементы и процедуры проектной деятельности, но не формально заявляемые, а реально используемые.
Проектирование ЦОД, или серверного помещения, начинается в первую очередь с бизнес-анализа. На этапе проектирования четко определяются бизнес-задачи, из которых вытекает количество и типы серверов, требуемые перспективы расширения, допустимые расходы на обслуживание, а также стоимость простоя и, следовательно, требования к надежности инженерных систем. Что немаловажно, в итоге определяются и рамки бюджета — причем не произвольно, а с весьма убедительной аргументацией. В итоге, выбор конкретных технических решений значительно упрощается.
Следующая фаза — составление технического задания. На этой фазе существует несколько ответственных моментов, каждый из которых содержит в себе ряд типичных “подводных камней”.
Общестроительная часть
Типичное, и к сожалению, распространенное явление — выбор помещения под ЦОД по остаточному принципу. Такой ошибочный подход резко ограничивает и усложняет устройство остальных систем, а иногда приводит к невозможности реализации требований, предъявляемых бизнесом.
Важный момент — учет нагрузочной способности перекрытий. Зачастую могут потребоваться дополнительные меры по усилению перекрытий или равномерному распределению нагрузки.
Как один из возможных вариантов можно применять концепцию “комнаты в комнате”. Наиболее известное и технически продвинутое решение такого типа предлагает компания Lamperts. Аналогичную конструкцию можно изготовить с использованием стандартных строительных сэндвич-панелей, в том случае, если обеспечиваемые ими параметры избыточны для поставленных задач. Достоинство подобных сооружений — достижение требуемого уровня теплоизоляции, легкость обеспечения чистоты, охраны, пожаростойкости, гидроизоляции. При этом, вышеперечисленные условия достигаются без привязки к параметрам конкретного помещения.
Система электроснабжения
Первое критическое требование — наличие свободных мощностей. Это может являться основным аргументом при выборе места расположения ЦОД. Как правило, желательно наличие двух независимых магистральных вводов или, как минимум, двух отдельных трансформаторов. В этом случае, напримеру, при плановом обслуживании, замене сгоревшего трансформатора или перегоревшей плавкой вставки, пользователь не останется без магистрального электричества.
Далее, в зависимости от критичности решаемых задач, может потребоваться свой автономный источник питания, как правило, дизель-генератор (ДГУ). Не следует забывать о необходимости его регулярного обслуживания. Дизель-генератор подключается к магистрали питания через автомат выбора резерва (АВР). На сегодня типичным решением является автоматический запуск ДГУ при пропадании или ухудшении параметров входного питания.
 Спектрально-термический снимок помещения ЦОД, демонстрирующий температуру окружающего воздуха. Слева — традиционная схема охлаждения, справа — концепция InRow, подразумевющая полное разделение горячих и холодных воздушных коридоров |
При выборе ДГУ следует учесть, что помимо систем бесперебойного питания от него должны питаться и системы охлаждения, аварийного освещения и т.п. Также, в зависимости от типа применяемых источников бесперебойного питания, рекомендуется закладывать запас по мощности на запуск систем. Для современных решений этот коэффициент равен 1,3–1,4 , в старых схемах может требоваться запас до 3 раз относительно номинала источника.
Поскольку доля расходов на электроэнергию в эксплуатационных затратах центра обработки данных может доходить до 50%, важным параметром в мощных источниках бесперебойного питания является их КПД.
В качестве собственно источников бесперебойного питания желательно использовать те из них, которые обладают модульной конструкцией. Такая конструкция позволяет повысить гибкость системы электропитания и её доступность за счет существенного сокращения времени типичного ремонта в случае отказа. При подборе источников, имеет смысл учитывать их номинал в киловаттах, а не вольт-амперах, поскольку нагрузка, создаваемая современной компьютерной техникой, имеет коэффициент мощности близкий к единице.
Система охлаждения
Организация охлаждения — один из наиболее сложных вопросов любого проекта по построению ЦОД. Компьютерное оборудование выделяет ровно столько киловатт тепла, сколько потребляет электроэнергии. В итоге количество отводимой мощности с каждой стойки год от года неуклонно растет. Вентиляторы на крышах шкафов стали бесполезным украшением еще несколько лет назад, когда выделяемая мощность превысила полтора киловатта на стойку.
Классические схемы охлаждения с использованием подачи и отвода воздуха через фальшпол и фальшпотолок, перестают справляться с задачей в первую очередь из-за невозможности обеспечить гарантированное охлаждение, особенно в условиях изменяющейся нагрузки. Причина — в большой скорости воздуха в пространстве под фальшполом, что приводит к неравномерности его давления в разных точках пола. Это часто требует применения вентиляторов для принудительной подачи из-под фальшпола или для вытяжки горячего воздуха с задней поверхности стоек. Еще один недостаток классического решения — значительное перемешивание холодного и горячего воздуха, что приводит в итоге к неэффективной работе кондиционеров.
Оптимальными на сегодня являются решения с максимальной изоляцией холодных и горячих коридоров между стойками — завтра они могут стать единственно возможными. Желательно при этом, учитывая огромные объемы прокачиваемого воздуха, обеспечивать для него максимально короткий путь от серверной стойки до кондиционера. И это в большинстве случаев действительно является проблемой, ведь для отвода эквивалента всего 12 киловатт, требуется подача целого кубометра воздуха в секунду.
Еще одна сложность в охлаждении компьютерной нагрузки — сильные колебания тепловыделения. Оптимальным решением, обеспечивающим возможность работы от 0 до 150% от номинала при подаче на вход горячего воздуха, являются системы на охлажденной (“чиллерной”) воде. Такие системы, в отличие от классических фреоновых, надежно работают при высокой температуре подаваемого на вход кондиционера воздуха. Еще одним их достоинством является принципиальная возможность добавления как чиллеров (источников холода), так и кондиционеров в работающую систему. Такие системы могут комплектоваться так называемым фрикулингом — переключением в зимний период на охлаждение за счет низкой температуры наружного воздуха, без затрат электроэнергии. Это, в свою очередь, позволяет уменьшить эксплуатационные расходы.
С Михаилом Балкаровым, инженером компании APC, можно связаться по адресу Mihail.Balkarov@apcc.com
