Михаил Балкаров, системный инженер APC by Schneider Electric, делится своим опытом в построении центров обработки данных, дает советы и рекомендации, как наиболее оптимально организовать электропитание и охлаждение ЦОД
PC WEEK/UE: Прошел год с момента слияния АРС и Schneider Electric. Как вы, с позиции инженера, оцениваете влияние технологий Schneider Electric на АРС?
В 2002 году компания АРС была первой, которая выступила с концепцией единого комплексного решения инженерной инфраструктуры ЦОД от единого производителя. Причем, это решение содержало практически все, что относится к физической инфраструктуре комнаты – стойки, охлаждение, источники бесперебойного питания, распределение питания, мониторинг. Образно говоря, это подобие конструктора, предварительно сконфигурированного под потребности заказчика, который остается лишь установить и включить.
Слияние со Schneider Electric позволило добавить то, что находится за пределами датацентра – преобразование высоковольтного напряжения в низковольтное, то есть, трансформаторные подстанции, силовые щиты. Это та область, в которой Schneider Electric традиционно сильна. В Украине уже есть несколько таких совместно реализованных проектов.
В крупных ЦОД, еще больше усиливается роль совместных решений, где «силовая часть», а также системы управления зданием Schneider Electric, интегрируются с инженерной инфраструктурой APC. Как заметил один из заказчиков: «Да, вы платите высокую стоимость, но это плата за вполне понятные вещи: за скорость инсталляции, за необходимую отказоустойчивость и за отсутствие головной боли в случае будущих модернизаций ЦОД».
PC WEEK/UE: Над чем сейчас трудятся отделы разработок АРС by Schneider Electric?
Одна из новых разработок произвела на меня огромное впечатление: это выпуск модельного ряда стоек с деревянной облицовкой для установки в офисных помещениях. Иногда бывает необходимость установки серверного и телекомуникационного оборудования в офисе, так как специально выделенного серверного помещения нет. В таких случаях традиционные стойки не слишком подходят. В шкафах NetShelter CX есть вентилятор, который позволяет отвести тепло от оборудования, а также специальная шумоизолирующая деревянная облицовка. Поэтому эта тумбочка с оборудованием вполне может стоять в офисе и не мешать работе сотрудников.
Кроме того, мы начали поставки систем бесперебойного питания Symmetra PX нового поколения, которые позволяют масштабировать мощность от 25 КВт до 500 КВт и достигают невероятного уровня энергоэффективности – до 96% в режиме онлайн! Прирост КПД на 5% для мощности ЦОД 500 КВт – это очень солидная экономия операционных затрат. При стоимости 75 коп за КВт/час (которая зафиксирована для большинства предприятий), выигрыш 5% КПД означает экономию в 164250 грн. в год.
Общая тенденция такова, что из года в год все сложнее и дороже получить дополнительный подвод электропитания к зданию. Кроме того, стоимость электричества неуклонно растет. К сожалению, многие компании в силу объективных причин не планируют долгосрочного развития бизнеса, как правило, есть план на годдва, за это время проект должен окупиться и начать приносить прибыль. Поэтому стоимость расходов владения на этапе реализации проекта, как правило, не принимается во внимание. Но когда начинается эксплуатация проекта, выясняется, что копейки на электричество за 12 года перевешивают гривны, которые были сэкономлены на начальном этапе.
Кстати, есть еще одна отличительная черта системы APC Symmetra PX 250/500 — средство управления/мониторинга в ней выполнены в виде большого сенсорного экрана. Напомню, что ранее в ИБП присутствовал только рубильниккнопка, потом появился сетевой интерфейс управления. Однако теперь в этой системе есть touchscreen как у iPhone, что позволяет удобнее получать оперативную информацию и управлять ИБП.
PC WEEK/UE: Какие технологические тренды вы можете сегодня отметить?
По моему личному мнению, подавляющее большинство так называемых «зеленых» технологий существуют скорее по причине государственных субсидий, нежели готовности рынка к их применению. Несомненно, каждый человек и компания желают заботиться о сохранении окружающей среды. Но в любом проекте на первый план выступает показатель срока окупаемости инвестиций. И если «зеленые» технологии действительно помогают снижать операционные затраты, их будут с готовностью внедрять.
Возьмем для примера тот же freecooling (фрикулинг). Эта технология может использоваться не для всех инсталляций и производителей. Нужно смотреть, насколько он удорожает решение и как скоро оно окупится. В свое время, когда электричество было дешевле, freecooling для чиллерной системы на 100200 КВт окупался лет за пять. Сейчас же электричество подорожало и применение freecooling окупается уже за годдва, что весьма выгодно.
Можно остановиться на вещах, которые сейчас модны– естественное охлаждение, Киотокуллинг. Ведь постепенно растут допуски по температуре воздуха на входе в сервер: с 18°С они выросли до 27. Так, сейчас Американская Ассоциация кондиционирования рекомендует для датацентров и серверных подавать воздух температурой 27°С. Если эту тенденцию продолжить, то в скором времени на вход серверов можно будет подавать воздух температурой до 37°С. Это означает, что кондиционирование, по сути, может стать ненужным – температура воздуха равна уличной.
Однако охлаждение уличным воздухом имеет несколько тонкостей, которые нужно упомянуть. Например, если мы берем воздух с улицы и непосредственно подаем на оборудование, у нас возникают нешуточные проблемы с влажностью. То есть, зимой воздух слишком сухой и, нагревая его с 10°С до +15°С, мы получаем влажность около 10%, что уже становится недопустимым (слишком сухой воздух увеличивает риск электростатических разрядов). Попытки увлажнить воздух бессмысленны, так как увлажнитель потребляет намного больше энергии, чем кондиционер – воду испарять тяжело. Поэтому, если мы хотим охлаждать внутренние помещения наружным воздухом, нам нужен какойто промежуточный теплообменник либо классический фрикуллинг чиллерного типа, технология которого уже давно отработана. Это жидкостный контур, где жидкость охлаждается на улице, по трубам заводится внутрь и дальше охлаждает воздух. Таким образом, внутренний воздух рециркулирует и никаких проблем с влажностью не появляется.
Киотокуллинг – это попытка сделать теплообменник «воздухвоздух», то есть, воздух внутри охлаждается воздухом снаружи. Проблема такого решения заключается в следующем. Для того, чтобы теплообменник «воздухвоздух» был достаточно эффективен, он должен быть большим по размеру. Иными словами, размер теплообменника должен быть примерно равен размеру самой серверной комнаты. Понятно, мало кто из заказчиков согласится поделить серверную пополам, чтобы получить бесплатное охлаждение. К тому же, требуются воздуховоды для притока и оттока воздуха.
PC WEEK/UE: Охлаждение с улицы – это, наверное, возможно в нашем климатическом поясе. Но ведь есть страны с жарким климатом, наверное, они покупают другие решения?
В сухих жарких странах применяется то, что у нас мало применимо, а именно «мокрые градирни», использующие процесс испарения жидкости в воздухе. Плюс этого процесса – относительная простота оборудования. К минусам относят большой расход воды и жесткие ограничения по относительной влажности воздуха на улице.
PC WEEK/UE: Можете назвать самые распространенные заблуждения заказчиков в том, что касается оценки технологий?
Одно из них я уже описал – это «зеленые технологии». Совсем не обязательно, что «зеленые технологии» окажутся дешевле – просто надо очень внимательно считать и анализировать.
Второе – это реализация охлаждения путем простой подачи воздуха с улицы. Подобная система охлаждения может существовать лишь в качестве аварийной. Если сервер при плохой влажности пробудет несколько суток или даже неделю – не страшно, но если целый сезон, то, скорее всего, он в итоге «прикажет долго жить».
PC WEEK/UE: Какие еще факторы следует учесть заказчикам при проектировании инфраструктуры ЦОД?
Можно упомянуть распространенное мнение о возможности охлаждения оборудования мощностью больше 10 КВт посредством использования фальшпола и дополнительного воздуховода. В принципе, это возможно, проблема заключается в том, что в корректно спроектированной системе такого типа расходы электроэнергии на вентиляторы становятся больше, чем расходы на работу кондиционеров. Прокачивать воздух на большую дистанцию довольно дорого и это «убивает» идею фальшпольных охлаждений для больших мощностей просто на корню.
Еще одно классическое заблуждение – водобоязнь, то есть боязнь наличия воды в серверной. Самый классический момент – «а вот в ТО это запрещается». На это я обычно отвечаю, «а не в главе ли 5, где говорится о водном охлаждении высоковольтных выпрямителей?» На этом большинство противников воды в ЦОД успокаиваются...
Из многолетней практики, мне известны случаи выхода оборудования из строя по причине попадания в него воды, но они были связаны вовсе не с тем, что вылилось несколько тонн жидкости. Пролилось всего несколько капель, но по причине бестолкового проектирования соответствующих систем – дырки, открытые контакты и неотслеженный путь воды – это привело к аварии. Если мы понимаем, куда потечет вода, и не размещаем на ее пути открытых контактов, то серверные и со слоем воды могут работать сутками. Утечка воды из грамотно спроектированных систем – вещь куда более редкая. В отличие от обычного водопровода, эта система целиком под контролем службы эксплуатации, и если персонал не учинит какуюто уж совсем вопиющую глупость, ничего аварийного не произойдет.
Кстати, хочу похвалить Украину за приверженность к новым прогрессивным технологиям. Российские партнеры, инженеры и заказчики более консервативны, чем украинские. Именно в Украине впервые были реализованы наши решения с фальшполом и верхней разводкой труб. Между тем, даже в Европе таких инсталляций насчитывается немного.
Вместе с ростом мощности и сложности ЦОДов, очень серьезным пунктом эксплуатационных затрат становится зарплата квалифицированных инженеров, дефицит которых наблюдается и в Украине, и в России. А ведь любая внештатная ситуация в серверной может стать критической при отсутствии нужной и своевременной реакции на нее. Кстати, АРС может предложить в качестве отдельного сервиса удаленный мониторинг состояния своего оборудования и серверной в целом.
PC WEEK/UE: Что APC предлагает в области ПО? И куда в целом расширяется АРС?
Мы выходим на уровень управляющего программного обеспечениядля нашего штатного средства мониторинга InfraStruXure Central. Это программные инструменты InfraStruXure Capacity Manager и InfraStruXure Change Manager. Первый выполняет мониторинг всех устройств инфраструктуры, показывает состояние в каждой из стоек, выводит графический процент загрузки и дает подсказки, в какую стойку и куда именно установить оборудование в существующем ЦОД с учетом свободной мощности электропитания и охлаждения на уровне каждого шкафа. Это решение полезно для ЦОД высокой плотности с числом стоек больше 20.
APC Change Manager – это, по сути, простая система ведения и отслеживания заказов. В эту программу заносятся приказы для оператора по размещению серверов, и оператор, используя штрихкоды, может этот заказ выполнить и подтвердить.
Таким образом, мы не претендуем на всеобъемлющую систему типа «управления складом», но в своей области и в секторе операторской активности в больших ЦОД это ПО – вполне полезный инструмент. Еще очень важна возможность экспорта информации в какиелибо внешние системы.
Вот и ответ на вопрос, куда расширяется АРС: это прикладное ПО для работы с инженерной инфраструктурой.
