Необходимость развертывания серверов высокой плотности в одной стойке представляет собой проблему для менеджеров центров обработки данных. В настоящее время производители разрабатывают серверы, для которых при установке в одной стойке потребуются системы охлаждения мощностью до 20 кВт. Так как большинство центров обработки данных спроектированы таким образом, что для охлаждения одной стойки требуется в среднем не более 2 кВт, то возникает потребность в новаторских стратегиях охлаждения. В настоящей статье описывается подход, включающий в себя десять шагов по повышению эффективности охлаждения, охлаждающей способности и удельной мощности существующих центров обработки данных.
Введение
Введение
По мере того, как в одном шкафу сейчас устанавливается все более компактное оборудование (см. рис. 1), увеличение необходимой мощности и количества рассеиваемой тепловой энергии приводит к возникновению в отдельных центрах обработки данных "горячих точек". В условиях “обычного” центра обработки данных, оборудованного системой охлаждающей вентиляции с фальшполом и устройствами кондиционирования воздуха в компьютерном зале, подающими охлаждающий воздух под полом, вероятно, будет невозможно обеспечить охлаждающую способность мощностью более 3 кВт для любой отдельной стойки, какими бы ни были количество и мощность имеющихся блоков КВКЗ (кондиционирования воздуха компьютерных залов) и высота пола. fnМаксимальная охлаждающая способность, обеспечиваемая для одной стойки, будет еще ниже для залов, не оборудованных фальшполом и утопленной системой распределения воздуха.1 В настоящее время начинают появляться решения охлаждения для вариантов установки в стойку, обеспечивающие уровни охлаждающей способности, значительно превышающие 10 кВт на стойку.
Рис. 1 Примеры уплотнения
Целью при проектировании систем охлаждения для центров обработки данных является обеспечение беспрепятственного пути от источника охлажденного воздуха до точек его подачи в сервер. Аналогичным образом, необходимо создать также беспрепятственный путь и для отвода воздуха в обратный воздуховод установки кондиционирования воздуха. Существует, однако, много факторов, которые могут затруднить достижение этой цели.
В этой статье описываются основные факторы, снижающие эффективность эксплуатации и возможную удельную мощность центра обработки данных, и возможные пути решения этих проблем. В ней также предлагается несколько решений, которые позволят центрам обработки данных справиться с возникшими потребностями, значительно превышающими проектную мощность, без осуществления серьезной реконструкции.
В десяти последующих разделах описываются шаги, которые можно предпринять для устранения основных причин неэффективности и недостаточной мощности системы охлаждения. Они представлены в определенном порядке, причем наиболее простой и экономичный способ приведен первым. Если целью является достижение центром обработки данных удельной мощности, превышающей 6 кВт на стойку, с сохранением площади, то, скорее всего, потребуется пропустить начальные шаги и перейти непосредственно к шагу 9 или 10, которые предусматривают более кардинальные действия.
1. Проведение диагностики
Аналогично тому, что регулярное техническое обслуживание полезно для автомобиля, центр обработки данных должен постоянно работать с максимальной эффективностью, чтобы обеспечить поддержку выполняемых им бизнес-процессов и предотвратить возникновение потенциальных проблем в будущем. Прежде чем приступить к дорогостоящей модернизации центра обработки данных, направленной на решение проблем с охлаждением, необходимо осуществить необходимые проверки, чтобы определить возможные проблемы, касающиеся инфраструктуры охлаждения. В ходе подобных проверок будет проведена диагностика состояния центра обработки данных, что позволит избежать сбоев в работе электронного оборудования, связанных с повышением температуры. Кроме того, проверки можно также использовать для оценки того, будет ли охлаждающая способность достаточной, чтобы удовлетворить будущие потребности. Необходимо установить текущее состояние и определить базу, чтобы гарантировать положительный результат корректирующих действий, которые за этим последуют.
Ниже приведены критерии, которые, по существу, должны учитываться в ходе таких проверок. •
Рис. 1 Примеры уплотнения
Целью при проектировании систем охлаждения для центров обработки данных является обеспечение беспрепятственного пути от источника охлажденного воздуха до точек его подачи в сервер. Аналогичным образом, необходимо создать также беспрепятственный путь и для отвода воздуха в обратный воздуховод установки кондиционирования воздуха. Существует, однако, много факторов, которые могут затруднить достижение этой цели.
В этой статье описываются основные факторы, снижающие эффективность эксплуатации и возможную удельную мощность центра обработки данных, и возможные пути решения этих проблем. В ней также предлагается несколько решений, которые позволят центрам обработки данных справиться с возникшими потребностями, значительно превышающими проектную мощность, без осуществления серьезной реконструкции.
В десяти последующих разделах описываются шаги, которые можно предпринять для устранения основных причин неэффективности и недостаточной мощности системы охлаждения. Они представлены в определенном порядке, причем наиболее простой и экономичный способ приведен первым. Если целью является достижение центром обработки данных удельной мощности, превышающей 6 кВт на стойку, с сохранением площади, то, скорее всего, потребуется пропустить начальные шаги и перейти непосредственно к шагу 9 или 10, которые предусматривают более кардинальные действия.
1. Проведение диагностики
Аналогично тому, что регулярное техническое обслуживание полезно для автомобиля, центр обработки данных должен постоянно работать с максимальной эффективностью, чтобы обеспечить поддержку выполняемых им бизнес-процессов и предотвратить возникновение потенциальных проблем в будущем. Прежде чем приступить к дорогостоящей модернизации центра обработки данных, направленной на решение проблем с охлаждением, необходимо осуществить необходимые проверки, чтобы определить возможные проблемы, касающиеся инфраструктуры охлаждения. В ходе подобных проверок будет проведена диагностика состояния центра обработки данных, что позволит избежать сбоев в работе электронного оборудования, связанных с повышением температуры. Кроме того, проверки можно также использовать для оценки того, будет ли охлаждающая способность достаточной, чтобы удовлетворить будущие потребности. Необходимо установить текущее состояние и определить базу, чтобы гарантировать положительный результат корректирующих действий, которые за этим последуют.
Ниже приведены критерии, которые, по существу, должны учитываться в ходе таких проверок. •
- Максимальная охлаждающая способность. Если в баке недостаточно горючего для работы двигателя, то никакие настройки не помогут изменить ситуацию к лучшему. Проверьте общую охлаждающую способность и убедитесь, что общая мощность IT-оборудования, установленного в центре обработки данных, не превосходит ее. Помните, что для нейтрализации 1 ватта потребляемой мощности требуется 1 ватт мощности, работающей на охлаждение. Недостаток существующей мощности потребует либо общей реконструкции, либо использования “автономных” решений для охлаждения систем высокой плотности, которые описываются далее в настоящей статье.
- Блоки КВКЗ (кондиционирования воздуха компьютерных залов), обеспечивающие соответствие измеренных и расчетных значений температуры (подаваемого и возвратного воздуха) и влажности. Проверьте установленные значения. Если необходимо, установите нужные значения. Если температура возвратного воздуха будет значительно ниже окружающей температуры в зале, это будет означать образование замкнутого контура в системе подачи воздуха, в результате чего охлажденный воздух не доходит до оборудования и возвращается непосредственно в установку КВКЗ. Проверьте также правильность работы всех вентиляторов и исправность системы предупреждения. Проверьте, чтобы все фильтры были чистыми.
- Проверьте состояние охлаждающей воды/контура компрессора. Проверьте состояние охладителей и/или внешних компрессоров, насосных систем и первичных охлаждающих контуров.
- Убедитесь, что все клапаны работают надлежащим образом. Если используются системы DX, проверьте, чтобы они были полностью заполнены. •
- Комнатная температура должна измеряться в стратегически важных точках в проходах между оборудованием центра обработки данных. Эти точки измерений обычно должны находиться по центру между рядами оборудования и примерно у каждой четвертой стойки в ряду.
- Температура внутри стоек. Точки измерения должны находиться по центру места воздухозаборника, перед каждым шкафом, в нижней, средней и верхней части каждой стойки. Эти значения температуры следует записывать и сравнивать с температурами подачи воздуха, рекомендуемыми производителями для IT-оборудования.
- Скорость воздуха, подаваемого через вентиляционные отверстия в полу, при использовании системы охлаждающей вентиляции с фальшполом. Поток подаваемого воздуха должен быть одинаковым для всех вентиляционных отверстий или решеток в полу.
- Чистота и/или наличие/отсутствие препятствий в зоне черного пола. Вся грязь и пыль, имеющаяся под черным полом фальшпола, будет задуваться через решетки в полу и попадать на IT-оборудование. Препятствия, расположенные под полом, например сетевые и силовые кабели, будут мешать потоку воздуха и негативно сказываться на подаче охлажденного воздуха на стойки.
- Циркуляция воздуха внутри стоек. Расстояния между стойками или большие скопления кабелей будут снижать эффективность охлаждения.
- Расположение проходов и напольной плитки. Эффективность использования черного пола в качестве системы охлаждающей вентиляции будет зависеть от того, насколько эффективно расположены вентиляционные отверстия в полу и блоки КВКЗ.
По данным института Uptime Institute2, недостатки в работе обнаружены его специалистами более чем в 50% центрах обработки данных, которые они посетили. Хотя в общем они классифицировались как “недостаточное охлаждение”, в некоторых случаях они стали следствием неправильного или недостаточного обслуживания.
Ниже перечислены примеры таких недостатков.
3. Установка панелей-заглушек в стойках и использование системы упорядочения кабелей в стойке
Наличие незанятого пространства внутри корпуса стойки приводит к тому, что горячий воздух, выходящий из оборудования попадает в “замкнутый контур” и снова подается во входное отверстие устройства. Такая неограниченная рециркуляция горячего воздуха вызывает нежелательный перегрев оборудования.
В руководстве по установке сервера HP 3 говорится следующее:
ВНИМАНИЕ. Для заполнения всех имеющихся в стойке отсеков с пустой передней панелью всегда используйте панели-заглушки. При таком подходе обеспечивается надлежащая циркуляция воздуха. Отказ от использования для стойки запирающих панелей может стать причиной неправильного охлаждения и повреждения в результате перегрева.
Этот совет часто игнорируется и становится основной причиной проблем, связанных с перегревом оборудования в стойках. Установка панелей-заглушек не позволяет охлажденному воздуху проходить мимо входных отверстий сервера и предотвращает попадания в них отработанного горячего воздуха. На рис. 2 показаны положительные результаты, которых можно достичь путем установки запирающих панелей.
Рис. 2 Влияние установки панелей-заглушек на температуру подаваемого в сервер воздуха4
2A. Без панелей-заглушек 2B. С панелями-заглушками
Дополнительную информацию можно получить, прочитав Информационную статью APC № 44 “Improving Rack Cooling Performance Using Blanking Panels” (Повышение эффективности охлаждения стойки за счет использования панелей-заглушек).
Циркуляция воздуха внутри стойки затрудняется также из-за неупорядоченного расположения кабелей. Развертывание серверов высокой плотности в стойках создает дополнительные проблемы правильного распределения кабельных соединений. На рис. 3 показано, как неупорядоченное расположение кабелей может затруднять отток отработанного воздуха из IT-оборудования
Рис. 3 Пример неупорядоченного подключения кабелей.
Лишние кабели следует отсоединить. Кабели передачи данных необходимо обрезать до нужной длины и при необходимости использовать коммутационные панели. Питание на оборудование должно подаваться от смонтированных в стойку ИБП, а кабели необходимо обрезать до нужной длины. С дополнительной информацией о вспомогательных принадлежностях для стоек, используемых для решения проблем с подсоединением кабелей, можно ознакомиться на web-сайте APC по адресу www.apcc.com
4. Удаление препятствий в черном полу и герметизация пола
В центрах обработки данных с фальшполом в качестве системы или воздуховода охлаждающей вентиляции используется черный пол, внутри которого охлажденный воздух поступает от блоков КВКЗ к перфорированным напольным плиткам или вентиляционным решеткам в полу, расположенным перед стойками. Кроме того, такой черный пол часто используется для других целей, например прокладки силовых, оптоволоконных, сетевых кабелей, а иногда и систем водопровода и/или пожаротушения.
На первоначальном этапе проектирования проектировщики должны были указать высоту пола, достаточную для подачи воздуха через перфорированные плитки или вентиляционные решетки в полу с необходимой скоростью. Последующее добавление стоек и серверов приведет к прокладке дополнительных силовых и сетевых кабелей. Часто после перемещения или замены серверов и стоек под полом остаются лишние кабели. Это особенно часто происходит в компаниях-провайдерах, размещающих у себя клиентские серверы и телекоммуникационное оборудование, при частой смене клиентов. Устройства, способствующие распределению воздуха, пример которых приведен на рис. 11, могут облегчить проблему ограниченной циркуляции воздуха. Прокладка кабелей по верху исключает возникновение такой проблемы. При прокладке кабелей под полом необходимо оставить достаточно
места для подачи воздуха через перфорированные плитки или вентиляционные решетки в полу в объеме (куб.см/мин), необходимом для охлаждения оборудования. Наилучшим способом будет прокладка кабельных лотков под полом на “верхнем уровне” так, чтобы “нижний уровень” оставался свободным и использовался как система охлаждающей вентиляции.
Недостающие напольные плитки следует установить и расположить так, чтобы между ними отсутствовали ненужные зазоры. Отверстия для кабелей в полу являются основной причиной нежелательной утечки воздуха и должны быть надлежащим образом загерметизированы вокруг кабелей. Плитки с неиспользуемыми отверстиями необходимо заменить целыми. Плитки, расположенные рядом с пустыми или отсутствующими стойками, также необходимо заменить целыми плитками.
5. Выделение "горячих" стоек
Когда стойки с высокой плотностью размещения оборудования установлены на полу в центре обработки данных рядом, большинство систем охлаждения перестают работать эффективно. Распределение таких стоек по всей площади пола снижает уровень этой проблемы. Это становится очевидным при рассмотрении приведенного ниже примера.
Расчетные характеристики центра обработки данных
С учетом ширины проходов, блоков КВКЗ и т.д., а также при условии, что стойки занимают четверть общей площади пола, средняя удельная мощность составит 2800 Вт. При высоте фальшпола, равной 762 мм, допуская наличие проложенных внутри черного пола кабелей (силовых, для передачи данных и т.д.), учитывая характеристики подачи воздуха блоком КВКЗ и т.д., максимальное возможная мощность охлаждения, видимо, не превысит 3 кВт на стойку, если не будут использованы дополнительные устройства с вентиляторами. На рис. 4 принято допущение, что 5 из 200 стоек являются стойками с высокой плотностью размещения оборудования и размещены вместе в один ряд.
Рис. 4 Центр обработки данных со всеми “горячими” стойками, расположенными рядом
Приняв допущение, что каждая из 5 “горячих” стоек имеет нагрузку 10 кВт, а каждая из оставшихся 195 стоек имеет нагрузку 2,6 кВт, получаем, что общая средняя нагрузка на стойку составит для каждого шкафа 2,8 кВт, что ниже теоретически допустимого предельного значения мощности охлаждения. Средняя нагрузка для ряда с высокой плотностью оборудования составит, однако, 10 кВт на шкаф, но такую мощность инфраструктура охлаждения обеспечить не сможет, если только не будут использованы “продувочные” или автономные решения (см. шаги 9 и 10 в настоящей статье).
Альтернативным решением будет распределить “горячие” стойки по всему залу, чтобы поддерживать средние значения мощности охлаждения, приведенные на рис. 5.
Рис. 5 Центр обработки данных с распределенными “горячими” стойками
Основной причиной, по которой распределение стоек с высокой плотностью оборудования будет эффективным, является то, что стойки с высоким значением мощности, расположенные отдельно друг от друга, смогут потреблять мощность охлаждения, которая не полностью используется соседними стойками. Этого эффекта невозможно достичь, когда соседние стойки уже полностью используют всю предназначенную для них мощность.
6. Реализация расположения с чередованием "горячих" и "холодных" проходов
За небольшим исключением, большинство серверов, смонтированных в стойку, спроектировано так, чтобы забирать воздух спереди и выводить его сзади. Когда все стойки ориентированы в ряду в одном направлении, горячий воздух первого ряда выводится в проход, где он смешивается с подаваемым или комнатным воздухом, и поступает в переднюю часть второго ряда. Такое расположение представлено на рис. 6 для помещения с фальшполом. В результате прохождения воздуха сквозь ряды IT-оборудования на каждый последующий ряд подается все более горячий всасываемый воздух. Если шкафы во всех рядах будут расположены так, что панели для входа воздуха серверов будут ориентированы в одном направлении, то возникновение неисправностей в работе оборудования станет неизбежным. Это относится и к помещениям с фальшполом, и к помещениям с обычным полом.
Рис. 6 - Расположение стоек без выделения "горячих" или "холодных" проходов
Наилучшим способом расположения рядов оборудования является чередование “горячих” и “холодных” проходов, как показано на рис. 7. В "холодном" проходе будут размещаться вентиляционные решетки в полу, и стойки будут расположены так, что передняя (входящая) часть серверов будет повернута к "холодному" проходу. Горячий воздух будет выводиться в "горячий" проход, в котором вентиляционные решетки в полу отсутствуют.
Такое расположение "горячих"/"холодных" проходов можно также использовать и для помещений с обычным полом. См. Информационную статью APC № 55 “Air Distribution Architectures for Mission Critical Facilities” (Архитектуры с распределением воздуха для объектов особой важности).
Рис. 7 Расположение стоек с чередованием "горячих" и "холодных" проходов
7. Переориентация блоков КВКЗ
Выпускные отверстия воздуховодов, идущих от блоков КВКЗ, должны быть сориентированы надлежащим образом, чтобы обеспечить оптимальную подачу холодного воздуха в вентиляционные решетки в полу.
Рис. 8 Типичная схема расположения блоков КВКЗ
На приведенном выше рис. 8 показана типичная схема зала, в котором блоки КВКЗ были равномерно расположены по периметру зала в расчете на расположение с чередованием "горячих" и "холодных" проходов. В этом примере блоки КВКЗ, установленные вдоль вертикальных сторон, расположены слишком близко к "холодным" проходам, в результате чего воздушный поток не будет попадать в вентиляционные отверстия в полу, имеющиеся в этих проходах. Чтобы обеспечить более оптимальный воздушный поток вдоль проходов, было бы лучше расположить эти блоки КВКЗ вдоль горизонтальных сторон.
Рис. 9 Предпочтительная схема расположения блоков КВКЗ
На плане этажа (рис. 9) положение блоков воздушного кондиционирования серверного зала (ВКСЗ) изменено с вертикального на горизонтальное, то есть они ориентированы в направлении «горячего коридора». На первый взгляд, для формирования воздушных потоков по направлению к вентиляционным отверстиям охлаждаемого оборудования их следовало бы располагать в пределах «холодного коридора». Однако анализ с использованием методов вычислительной аэродинамики показал, что в этом случае нагретый воздух «горячих коридоров» при возвращении в воздухозаборники блоков ВКСЗ пересекается с «холодным коридором», что приводит к смешиванию горячего и холодного потоков и, следовательно, к повышению температуры воздуха, поступающего в стойки с их лицевой стороны.
8. Использование вентиляционных отверстий в полу
Циркуляция воздуха внутри стойки и схема расположения стоек являются ключевыми факторами повышения эффективности охлаждения. Однако ненадлежащее расположение вентиляционных отверстий в полу может стать причиной смешения воздуха, поступающего от блоков КВКЗ, с отработанным горячим воздухом еще до того, как он достигнет работающего оборудования, и возникновения целого ряда проблем эксплуатации и затрат, описанных ранее. Ненадлежащее расположение отверстий для подачи или возврата воздуха встречается очень часто и может свести на нет почти все преимущества, обеспечиваемые благодаря расположению с чередованием "горячих" и "холодных" проходов.
Главным в отношении вентиляционных отверстий для подачи воздуха является их максимально близкое расположение к воздухозаборникам оборудования и сохранение холодного воздуха в "холодных" проходах. В случае распределения воздуха с помощью систем, расположенных под полом, это означает, что плитки, обеспечивающие вентиляцию, должны остаться только в "холодных" проходах. Распределение "сверху" может быть таким же эффективным, как и при использовании систем распределения с фальшполом, но и в этом случае особо важным является расположение вентиляционных отверстий для распределения воздуха над "холодными" проходами и направление воздуха, подаваемого из вентиляционных отверстий, непосредственно в нижнюю часть "холодного" прохода (а не в стороны за счет использования рассеивающего вентилятора). При использовании любой из систем распределения воздуха (либо по верху, либо под полом) все вентиляционные отверстия, расположенные в местах, где работающее оборудование отсутствует, должны быть закрыты, так как из них воздух возвращается в блок КВКЗ, имея пониженную температуру, что способствует излишнему поглощению влаги и ухудшению рабочих характеристик блока КВКЗ.
Вентиляционные отверстия в полу, расположенные слишком близко к блоку КВКЗ, будут способствовать созданию участков с пониженным давлением, в результате чего воздух из комнаты будет засасываться под пол, как показано на рис. 10. Простейший прибор по измерению скорости поможет расположить плитки с вентиляционными отверстиями так, чтобы обеспечить правильное статическое давление.
Рис. 10 Относительное движение воздуха в помещениях с высокоскоростной системой распределения под полом
Примечание. В некоторых центрах обработки данных может использоваться другая ориентация стоек. Показанный выше пример отличается от того, который рекомендован на рис. 9, но приведен здесь для иллюстрации схемы потоков воздуха, описанных выше.
Главным в отношении вентиляционных отверстий для возврата воздуха является их максимально близкое расположение к выпускным отверстиям оборудования и забор горячего воздуха из "горячих" проходов. В некоторых случаях для забора горячего воздуха используется верхняя система охлаждающей вентиляции с фальшпотолком, и возвратные вентиляционные отверстия могут быть легко сориентированы по "горячим" проходам. При наличии высокого открытого потолка с одним общим возвратным отверстием наилучшим способом расположения воздухозаборников блока КВКЗ вдоль "горячих" проходов будет их размещение в потолке по возможности максимально высоко и, если это возможно, с распределением по большей площади с использованием системы каналов. Даже грубо рассчитанная система вентиляции всего с несколькими не очень хорошо выровненными по "горячим" проходам возвратными вентиляционными отверстиями будет предпочтительнее одного общего вентиляционного отверстия, расположенного рядом со стеной зала.
В помещениях меньшего размера, не оборудованных фальшпотолком или системой воздуховодов, блоки КВКЗ, обеспечивающие восходящие или нисходящие потоки воздуха, часто располагаются по углам помещения или вдоль стен. В таких случаях выравнивание подачи холодного воздуха по "холодным" проходам, а горячего – по "горячим" может вызвать затруднения. В таких ситуациях эффективность работы снизится. Однако эффективность работы таких систем можно повысить за счет предлагаемых ниже мер.
Исследование неправильно размещенных возвратных решеток показывает основную и главную причину возникновения проблем: сотрудники чувствуют, что в одних проходах температура слишком высока, а в других - слишком низка, и думают, что это является нежелательным; после этого они пытаются исправить ситуацию и перемещают вентиляционные отверстия, подающие холодный воздух, в "горячие" проходы, а отверстия для возвратного горячего воздуха - в "холодные" проходы. То состояние, которого пытаются достичь в хорошо спроектированном центре обработки данных – а именно: разделение потоков горячего и холодного воздуха – воспринимается сотрудниками как неполадка, и они пытаются предпринять меры для смешения воздушных потоков, снижая при этом эффективность работы системы и увеличивая затраты на ее содержание. Помните, что температура в "горячих" проходах должна быть высокой.
9. Установка устройств, способствующих циркуляции воздуха
Когда общая средняя охлаждающая мощность является достаточной, но в результате использования стоек с высокой плотностью оборудования создаются "горячие" точки, тепловую нагрузку внутри стоек можно снизить за счет модификации с использованием устройств, оснащенных вентиляторами, что способствует усилению циркуляции воздуха и может повысить охлаждающую мощность до 3- 8 кВт на стойку. Такие устройства, например блок распределения воздуха (ADU) и блок откачки воздуха (ARU) компании APC, эффективно "забирают" воздух из окружающего пространства (рис. 11 и 12). Как в случае со всеми продувочными устройствами, необходимо очень аккуратно выбирать место установки такого устройства, чтобы предотвратить возникновение ситуаций, когда забор воздуха из окружающего пространства приводит к перегреву расположенных рядом стоек. Во избежание отключения в результате перегрева, вызванного сбоями в подаче электроэнергии, эти устройства должны быть подключены к шине ИБП для критически важных устройств. Тепловая перегрузка может возникнуть на отрезке времени, необходимом для запуска резервного дизельного двигателя и последующего включения блоков кондиционирования воздуха.
Ниже перечислены примеры таких недостатков.
- Загрязненные или забитые змеевики, препятствующие прохождению воздушного потока
- Недозаполненные системы DX
- Неправильно расположенные контрольные точки
- Неоткалиброванные или поврежденные датчики
- Неправильно подключенные трубопроводы подаваемого и обратного воздуха
- Неисправные клапаны
- Неисправные насосы
- Насосы, работающие тогда, когда это не требуется
- Отключение систем естественного охлаждения
3. Установка панелей-заглушек в стойках и использование системы упорядочения кабелей в стойке
Наличие незанятого пространства внутри корпуса стойки приводит к тому, что горячий воздух, выходящий из оборудования попадает в “замкнутый контур” и снова подается во входное отверстие устройства. Такая неограниченная рециркуляция горячего воздуха вызывает нежелательный перегрев оборудования.
В руководстве по установке сервера HP 3 говорится следующее:
ВНИМАНИЕ. Для заполнения всех имеющихся в стойке отсеков с пустой передней панелью всегда используйте панели-заглушки. При таком подходе обеспечивается надлежащая циркуляция воздуха. Отказ от использования для стойки запирающих панелей может стать причиной неправильного охлаждения и повреждения в результате перегрева.
Этот совет часто игнорируется и становится основной причиной проблем, связанных с перегревом оборудования в стойках. Установка панелей-заглушек не позволяет охлажденному воздуху проходить мимо входных отверстий сервера и предотвращает попадания в них отработанного горячего воздуха. На рис. 2 показаны положительные результаты, которых можно достичь путем установки запирающих панелей.
Рис. 2 Влияние установки панелей-заглушек на температуру подаваемого в сервер воздуха4
2A. Без панелей-заглушек 2B. С панелями-заглушками
Дополнительную информацию можно получить, прочитав Информационную статью APC № 44 “Improving Rack Cooling Performance Using Blanking Panels” (Повышение эффективности охлаждения стойки за счет использования панелей-заглушек).
Циркуляция воздуха внутри стойки затрудняется также из-за неупорядоченного расположения кабелей. Развертывание серверов высокой плотности в стойках создает дополнительные проблемы правильного распределения кабельных соединений. На рис. 3 показано, как неупорядоченное расположение кабелей может затруднять отток отработанного воздуха из IT-оборудования
Рис. 3 Пример неупорядоченного подключения кабелей.
Лишние кабели следует отсоединить. Кабели передачи данных необходимо обрезать до нужной длины и при необходимости использовать коммутационные панели. Питание на оборудование должно подаваться от смонтированных в стойку ИБП, а кабели необходимо обрезать до нужной длины. С дополнительной информацией о вспомогательных принадлежностях для стоек, используемых для решения проблем с подсоединением кабелей, можно ознакомиться на web-сайте APC по адресу www.apcc.com
4. Удаление препятствий в черном полу и герметизация пола
В центрах обработки данных с фальшполом в качестве системы или воздуховода охлаждающей вентиляции используется черный пол, внутри которого охлажденный воздух поступает от блоков КВКЗ к перфорированным напольным плиткам или вентиляционным решеткам в полу, расположенным перед стойками. Кроме того, такой черный пол часто используется для других целей, например прокладки силовых, оптоволоконных, сетевых кабелей, а иногда и систем водопровода и/или пожаротушения.
На первоначальном этапе проектирования проектировщики должны были указать высоту пола, достаточную для подачи воздуха через перфорированные плитки или вентиляционные решетки в полу с необходимой скоростью. Последующее добавление стоек и серверов приведет к прокладке дополнительных силовых и сетевых кабелей. Часто после перемещения или замены серверов и стоек под полом остаются лишние кабели. Это особенно часто происходит в компаниях-провайдерах, размещающих у себя клиентские серверы и телекоммуникационное оборудование, при частой смене клиентов. Устройства, способствующие распределению воздуха, пример которых приведен на рис. 11, могут облегчить проблему ограниченной циркуляции воздуха. Прокладка кабелей по верху исключает возникновение такой проблемы. При прокладке кабелей под полом необходимо оставить достаточно
места для подачи воздуха через перфорированные плитки или вентиляционные решетки в полу в объеме (куб.см/мин), необходимом для охлаждения оборудования. Наилучшим способом будет прокладка кабельных лотков под полом на “верхнем уровне” так, чтобы “нижний уровень” оставался свободным и использовался как система охлаждающей вентиляции.
Недостающие напольные плитки следует установить и расположить так, чтобы между ними отсутствовали ненужные зазоры. Отверстия для кабелей в полу являются основной причиной нежелательной утечки воздуха и должны быть надлежащим образом загерметизированы вокруг кабелей. Плитки с неиспользуемыми отверстиями необходимо заменить целыми. Плитки, расположенные рядом с пустыми или отсутствующими стойками, также необходимо заменить целыми плитками.
5. Выделение "горячих" стоек
Когда стойки с высокой плотностью размещения оборудования установлены на полу в центре обработки данных рядом, большинство систем охлаждения перестают работать эффективно. Распределение таких стоек по всей площади пола снижает уровень этой проблемы. Это становится очевидным при рассмотрении приведенного ниже примера.
Расчетные характеристики центра обработки данных
- Площадь фальшпола: 465 м²
- Высота фальшпола: 762 мм
- Нагрузка ИБП: 560 кВт
- Средняя площадь, занимаемая стойками: 116 м²
- Количество стоек: 200
- Средняя удельная мощность центра обработки данных: 1204 Вт / м²
- Средняя удельная мощность на стойку: 2800 Вт
С учетом ширины проходов, блоков КВКЗ и т.д., а также при условии, что стойки занимают четверть общей площади пола, средняя удельная мощность составит 2800 Вт. При высоте фальшпола, равной 762 мм, допуская наличие проложенных внутри черного пола кабелей (силовых, для передачи данных и т.д.), учитывая характеристики подачи воздуха блоком КВКЗ и т.д., максимальное возможная мощность охлаждения, видимо, не превысит 3 кВт на стойку, если не будут использованы дополнительные устройства с вентиляторами. На рис. 4 принято допущение, что 5 из 200 стоек являются стойками с высокой плотностью размещения оборудования и размещены вместе в один ряд.
Рис. 4 Центр обработки данных со всеми “горячими” стойками, расположенными рядом
Приняв допущение, что каждая из 5 “горячих” стоек имеет нагрузку 10 кВт, а каждая из оставшихся 195 стоек имеет нагрузку 2,6 кВт, получаем, что общая средняя нагрузка на стойку составит для каждого шкафа 2,8 кВт, что ниже теоретически допустимого предельного значения мощности охлаждения. Средняя нагрузка для ряда с высокой плотностью оборудования составит, однако, 10 кВт на шкаф, но такую мощность инфраструктура охлаждения обеспечить не сможет, если только не будут использованы “продувочные” или автономные решения (см. шаги 9 и 10 в настоящей статье).
Альтернативным решением будет распределить “горячие” стойки по всему залу, чтобы поддерживать средние значения мощности охлаждения, приведенные на рис. 5.
Рис. 5 Центр обработки данных с распределенными “горячими” стойками
Основной причиной, по которой распределение стоек с высокой плотностью оборудования будет эффективным, является то, что стойки с высоким значением мощности, расположенные отдельно друг от друга, смогут потреблять мощность охлаждения, которая не полностью используется соседними стойками. Этого эффекта невозможно достичь, когда соседние стойки уже полностью используют всю предназначенную для них мощность.
6. Реализация расположения с чередованием "горячих" и "холодных" проходов
За небольшим исключением, большинство серверов, смонтированных в стойку, спроектировано так, чтобы забирать воздух спереди и выводить его сзади. Когда все стойки ориентированы в ряду в одном направлении, горячий воздух первого ряда выводится в проход, где он смешивается с подаваемым или комнатным воздухом, и поступает в переднюю часть второго ряда. Такое расположение представлено на рис. 6 для помещения с фальшполом. В результате прохождения воздуха сквозь ряды IT-оборудования на каждый последующий ряд подается все более горячий всасываемый воздух. Если шкафы во всех рядах будут расположены так, что панели для входа воздуха серверов будут ориентированы в одном направлении, то возникновение неисправностей в работе оборудования станет неизбежным. Это относится и к помещениям с фальшполом, и к помещениям с обычным полом.
Рис. 6 - Расположение стоек без выделения "горячих" или "холодных" проходов
Наилучшим способом расположения рядов оборудования является чередование “горячих” и “холодных” проходов, как показано на рис. 7. В "холодном" проходе будут размещаться вентиляционные решетки в полу, и стойки будут расположены так, что передняя (входящая) часть серверов будет повернута к "холодному" проходу. Горячий воздух будет выводиться в "горячий" проход, в котором вентиляционные решетки в полу отсутствуют.
Такое расположение "горячих"/"холодных" проходов можно также использовать и для помещений с обычным полом. См. Информационную статью APC № 55 “Air Distribution Architectures for Mission Critical Facilities” (Архитектуры с распределением воздуха для объектов особой важности).
Рис. 7 Расположение стоек с чередованием "горячих" и "холодных" проходов
7. Переориентация блоков КВКЗ
Выпускные отверстия воздуховодов, идущих от блоков КВКЗ, должны быть сориентированы надлежащим образом, чтобы обеспечить оптимальную подачу холодного воздуха в вентиляционные решетки в полу.
Рис. 8 Типичная схема расположения блоков КВКЗ
На приведенном выше рис. 8 показана типичная схема зала, в котором блоки КВКЗ были равномерно расположены по периметру зала в расчете на расположение с чередованием "горячих" и "холодных" проходов. В этом примере блоки КВКЗ, установленные вдоль вертикальных сторон, расположены слишком близко к "холодным" проходам, в результате чего воздушный поток не будет попадать в вентиляционные отверстия в полу, имеющиеся в этих проходах. Чтобы обеспечить более оптимальный воздушный поток вдоль проходов, было бы лучше расположить эти блоки КВКЗ вдоль горизонтальных сторон.
Рис. 9 Предпочтительная схема расположения блоков КВКЗ
На плане этажа (рис. 9) положение блоков воздушного кондиционирования серверного зала (ВКСЗ) изменено с вертикального на горизонтальное, то есть они ориентированы в направлении «горячего коридора». На первый взгляд, для формирования воздушных потоков по направлению к вентиляционным отверстиям охлаждаемого оборудования их следовало бы располагать в пределах «холодного коридора». Однако анализ с использованием методов вычислительной аэродинамики показал, что в этом случае нагретый воздух «горячих коридоров» при возвращении в воздухозаборники блоков ВКСЗ пересекается с «холодным коридором», что приводит к смешиванию горячего и холодного потоков и, следовательно, к повышению температуры воздуха, поступающего в стойки с их лицевой стороны.
8. Использование вентиляционных отверстий в полу
Циркуляция воздуха внутри стойки и схема расположения стоек являются ключевыми факторами повышения эффективности охлаждения. Однако ненадлежащее расположение вентиляционных отверстий в полу может стать причиной смешения воздуха, поступающего от блоков КВКЗ, с отработанным горячим воздухом еще до того, как он достигнет работающего оборудования, и возникновения целого ряда проблем эксплуатации и затрат, описанных ранее. Ненадлежащее расположение отверстий для подачи или возврата воздуха встречается очень часто и может свести на нет почти все преимущества, обеспечиваемые благодаря расположению с чередованием "горячих" и "холодных" проходов.
Главным в отношении вентиляционных отверстий для подачи воздуха является их максимально близкое расположение к воздухозаборникам оборудования и сохранение холодного воздуха в "холодных" проходах. В случае распределения воздуха с помощью систем, расположенных под полом, это означает, что плитки, обеспечивающие вентиляцию, должны остаться только в "холодных" проходах. Распределение "сверху" может быть таким же эффективным, как и при использовании систем распределения с фальшполом, но и в этом случае особо важным является расположение вентиляционных отверстий для распределения воздуха над "холодными" проходами и направление воздуха, подаваемого из вентиляционных отверстий, непосредственно в нижнюю часть "холодного" прохода (а не в стороны за счет использования рассеивающего вентилятора). При использовании любой из систем распределения воздуха (либо по верху, либо под полом) все вентиляционные отверстия, расположенные в местах, где работающее оборудование отсутствует, должны быть закрыты, так как из них воздух возвращается в блок КВКЗ, имея пониженную температуру, что способствует излишнему поглощению влаги и ухудшению рабочих характеристик блока КВКЗ.
Вентиляционные отверстия в полу, расположенные слишком близко к блоку КВКЗ, будут способствовать созданию участков с пониженным давлением, в результате чего воздух из комнаты будет засасываться под пол, как показано на рис. 10. Простейший прибор по измерению скорости поможет расположить плитки с вентиляционными отверстиями так, чтобы обеспечить правильное статическое давление.
Рис. 10 Относительное движение воздуха в помещениях с высокоскоростной системой распределения под полом
Примечание. В некоторых центрах обработки данных может использоваться другая ориентация стоек. Показанный выше пример отличается от того, который рекомендован на рис. 9, но приведен здесь для иллюстрации схемы потоков воздуха, описанных выше.
Главным в отношении вентиляционных отверстий для возврата воздуха является их максимально близкое расположение к выпускным отверстиям оборудования и забор горячего воздуха из "горячих" проходов. В некоторых случаях для забора горячего воздуха используется верхняя система охлаждающей вентиляции с фальшпотолком, и возвратные вентиляционные отверстия могут быть легко сориентированы по "горячим" проходам. При наличии высокого открытого потолка с одним общим возвратным отверстием наилучшим способом расположения воздухозаборников блока КВКЗ вдоль "горячих" проходов будет их размещение в потолке по возможности максимально высоко и, если это возможно, с распределением по большей площади с использованием системы каналов. Даже грубо рассчитанная система вентиляции всего с несколькими не очень хорошо выровненными по "горячим" проходам возвратными вентиляционными отверстиями будет предпочтительнее одного общего вентиляционного отверстия, расположенного рядом со стеной зала.
В помещениях меньшего размера, не оборудованных фальшпотолком или системой воздуховодов, блоки КВКЗ, обеспечивающие восходящие или нисходящие потоки воздуха, часто располагаются по углам помещения или вдоль стен. В таких случаях выравнивание подачи холодного воздуха по "холодным" проходам, а горячего – по "горячим" может вызвать затруднения. В таких ситуациях эффективность работы снизится. Однако эффективность работы таких систем можно повысить за счет предлагаемых ниже мер.
- Блоки, обеспечивающие восходящий поток, следует разместить в конце "горячего" прохода и установить воздуховоды для подачи холодного воздуха в точки, расположенные над "холодными" проходами и максимально удаленные от блока КВКЗ.
- Блоки, обеспечивающие нисходящий поток, следует разместить в конце "холодного" прохода и сориентировать их так, чтобы они подавали воздух в нижнюю часть "холодного" прохода, а также установить либо систему возвратной вентиляции с фальшпотолком, либо подвесные возвратные воздуховоды с возвратными вентиляционными отверстиями, расположенными над "горячими" проходами.
Исследование неправильно размещенных возвратных решеток показывает основную и главную причину возникновения проблем: сотрудники чувствуют, что в одних проходах температура слишком высока, а в других - слишком низка, и думают, что это является нежелательным; после этого они пытаются исправить ситуацию и перемещают вентиляционные отверстия, подающие холодный воздух, в "горячие" проходы, а отверстия для возвратного горячего воздуха - в "холодные" проходы. То состояние, которого пытаются достичь в хорошо спроектированном центре обработки данных – а именно: разделение потоков горячего и холодного воздуха – воспринимается сотрудниками как неполадка, и они пытаются предпринять меры для смешения воздушных потоков, снижая при этом эффективность работы системы и увеличивая затраты на ее содержание. Помните, что температура в "горячих" проходах должна быть высокой.
9. Установка устройств, способствующих циркуляции воздуха
Когда общая средняя охлаждающая мощность является достаточной, но в результате использования стоек с высокой плотностью оборудования создаются "горячие" точки, тепловую нагрузку внутри стоек можно снизить за счет модификации с использованием устройств, оснащенных вентиляторами, что способствует усилению циркуляции воздуха и может повысить охлаждающую мощность до 3- 8 кВт на стойку. Такие устройства, например блок распределения воздуха (ADU) и блок откачки воздуха (ARU) компании APC, эффективно "забирают" воздух из окружающего пространства (рис. 11 и 12). Как в случае со всеми продувочными устройствами, необходимо очень аккуратно выбирать место установки такого устройства, чтобы предотвратить возникновение ситуаций, когда забор воздуха из окружающего пространства приводит к перегреву расположенных рядом стоек. Во избежание отключения в результате перегрева, вызванного сбоями в подаче электроэнергии, эти устройства должны быть подключены к шине ИБП для критически важных устройств. Тепловая перегрузка может возникнуть на отрезке времени, необходимом для запуска резервного дизельного двигателя и последующего включения блоков кондиционирования воздуха.
