Лоскутной” подход, царивший в мировой ИТ-индустрии на протяжении многих лет, подразумевал, что для одной конкретной проблемы находилось одно отдельно взятое решение, которое никак не учитывало общей специфики и дальнейшего развития системы.

Во времена создания первых ламповых компьютеров (таких как ЭВМ “Киев”, 1956 г.) не существовало четко определенных требований к инфраструктуре помещения, поэтому создателям машин приходилось во многом импровизировать непосредственно в процессе построения

Примечательно, что этот подход проник в такую отрасль, как средства для построения серверных помещений. До недавнего времени в этом вопросе не существовало единых стандартов и принципов, поэтому некоторые проблемы и специфические задачи решались вне комплексного подхода. Компания АРС проявила инициативу и предложила унифицированные подходы и продукты для решения этих задач. Эти инициативы можно считать важным шагом в эволюции построения серверных помещений.

Типичные сопутствующие проблемы построения вычислительных центров

Академик В.М. Глушков, один из основателей мировой ИТ-отрасли, в начале 50-х годов 20 века работал над созданием ЭВМ “Киев” — первой в Европе вычислительной машины с адресным языком программирования. Подобно всем типичным компьютерам того времени, — дело происходило за 10 лет до начала массового внедрения полупроводников, — “Киев” строился на вакуумных лампах и занимал целое помещение.

Типовой проект инфраструктуры класса “А” предназначен для небольших серверных помещений, суммарной мощностью до 10 кВА

Собственно, помещение для этих целей было выбрано без учета требований, выдвигаемых  уникальной спецификой построения больших машин, да и сама эта специфика тогда ещё не была выявлена до конца, поэтому со многими нюансами и затруднениями учёные впервые столкнулись уже непосредственно в ходе построения. Так, когда большая часть работ по монтажу машины “Киев” была завершена и начались первые испытания, стало очевидно, что существующая силовая проводка не способна обеспечить питанием несколько тысяч ламп, а воздух в комнате за 10 минут работы машины, потребляющей суммарную мощность 25 кВА, нагревался выше 40°С, поскольку геометрия помещения не позволяла отводить тепло, выделяемое таким количеством ламп. Это был первый в мировой истории ИТ задокументированный прецедент столкновения с проблемами энергоснабжения, теплоотвода и пространственного размещения инфраструктуры — тремя основными проблемами, которые с тех пор преследуют мировую ИТ-индустрию и во многом сдерживают её развитие. Эти проблемы поставили под серьёзную угрозу срыва создание ЭВМ “Киев”, и, для того чтобы успешно окончить работу, Виктору Михайловичу пришлось импровизировать на ходу и демонтировать потолок в помещении для обеспечения необходимой вентиляции.

В разные времена эти проблемы решались разными методами. В 60-х гг., когда вычислительная техника перешла из разряда единичных экземпляров к массовым, начали формироваться первые аргументированные требования к геометрии помещения и силовой проводке. В 70-е и 80-е годы, когда на той же площади помещения размещалась уже не одна машина, а целый вычислительный комплекс, состоящий из множества отдельных компьютеров, были выработаны единые стандарты габаритов корпусов компьютеров — появились стандартные стойки для аппаратуры, высота которых измерялась “юнитами”. Тогда же родилась ещё одна сопутствующая проблема — паутина соединительных кабелей различного предназначения. На рубеже веков, когда тепловыделение процессоров, подстёгиваемое непрекращающимся ростом тактовой частоты, достигло десятков, а иногда и сотен ватт, на первый план опять вышла проблема отвода тепла.

В инфраструктуре классов “В” и “С” учтена вся специфика, которую накладывают крупные вычислительные центры масштаба корпорации

До определённого времени с нагревом серверных процессоров вполне эффективно справлялось воздушное охлаждение на базе кулеров, но такой подход “по цепочке” повлёк за собой следующую проблему: шум, суммарно создаваемый кулерами, был настолько высоким, что это делало невозможным долгое пребывание персонала в помещении, занимаемом вычислительным центром. Так появился термин “гермозона”, смысл которого сводился не только к административному ограничению доступа персонала к критически важной аппаратуре, но и к ограждению самого персонала от шума, создаваемого вычислительной техникой. Плотность интеграции аппаратуры на квадратный метр гермозоны неумолимо росла, и, когда стало очевидно, что активное воздушное охлаждение и естественная конвекция воздуха в помещении уже не способны справиться с охлаждением, в гермозонах начали устанавливать огромные промышленные кондиционеры. Поначалу это воспринималось как абсурд, но впоследствии такая мера стала вынужденной необходимостью.

Таким образом, типичная отечественная серверная гермозона общего назначения, какие массово создавались в конце 90-х с использованием монтажной инфраструктуры и под влиянием общих представлений того времени, имела вид нескольких открытых стоек рамного типа, к передней панели которых болтами крепилась аппаратура (заднюю часть серверов, свисающую со стойки, подвязывали подручными средствами, что можно встретить и до сих пор); в помещении был установлен промышленный кондиционер с воздушным рукавом, ведущим, как правило, за окно; ворох проводов, подписанных стикерами, лежал прямо на полу или свисал с подвесного потолка. При этом сама гермозона располагалась обычно в середине рабочего помещения и была ограждена от рабочих мест сотрудников стеклопакетом.

Компания APC первой в индустрии предприняла попытку комплексно стандартизировать и формализовать общие подходы и принципы построения серверной гермозоны с тем, чтобы предложить инженерам центров обработки данных (ЦОД) стандартные унифицированные строительные модули, в которых заранее были бы продуманы пути решения всех трёх сопутствующих проблем. Сегодня у администраторов и инженеров современных вычислительных центров, в отличие от “ИТ-первопроходца” Глушкова, есть под рукой мощный строительный инструментарий, который позволяет полностью исключить подобные проблемы.

Методы и средства решения по версии APC

В типовом проекте инфраструктуры класса “С” учтена вся специфика (например, установка дизель-генераторов), которую накладывают крупные вычислительные центры масштаба корпорации

Комплексный подход АРС к созданию серверного помещения начинается с планирования. В специальное проектное ПО Build Out Tool в качестве исходных данных заносятся площадь и периметр отведённого под строительство гермозоны помещения, предполагаемые параметры будущих серверов и их количество. Результатом расчётов является план помещения, на котором указано рекомендуемое с точки зрения эргономики и соблюдения необходимых технических требований взаимное расположение отдельных серверных стоек, пути подвода питания и воздушных потоков.

В зависимости от масштабов проектируемого центра обработки данных, компания-производитель предлагает типовые проекты решений, объединяющие в себе набор строительных модулей и принципы их объединения, — типы А, В и С. Типовые проекты строятся из готовых стандартных компонентов, выбираемых из списка доступных продуктов. Используя готовые компоненты, заказчик имеет возможность построить индивидуальное решение, наиболее точно соответствующее особенностям ИТ-среды конкретного предприятия. Каждый из этих типов (А, В и С) предназначен для построения ЦОД разного масштаба — от одной серверной стойки в предприятиях малого бизнеса до крупного центра данных масштаба корпорации. Все эти проекты объединяет использование унифицированного строительного “кирпича” — стоечного шкафа NetShelter VX с хорошо продуманными средствами охлаждения, распределения электропитания, организации кабелей и обеспечения безопасности. Компания полностью отказалась от использования рамных стоек открытого типа, поскольку только шкаф может обеспечить надёжное механическое закрепление серверных корпусов по всей глубине, упорядоченное разведение силовых и прочих кабелей и раздельное управление потоками горячего и холодного воздуха.

Малые и средние гермозоны

Типовой проект InfraStruXure типа “А” представляет собой шаблон для построения серверных помещений, содержащих от 1 до 10 серверных стоек с суммарным энергопотреблением до 10 кВт. В шкафах NetShelter устанавливаются и сами серверы, и централизованный источник бесперебойного питания класса Symmetra, который также является частью единой инфраструктуры. Питание от ИБП к серверам подаётся с помощью блока распределения питания (PDU), благодаря чему исключается необходимость протягивать к стойке множество переносных удлинителей. PDU монтируется непосредственно в шкаф и располагается вертикально вдоль одной из стенок, не занимая дополнительных юнитов. Управление воздушными потоками осуществляется, в зависимости от занимаемой площади, с помощью блока откачки воздуха (ARU) либо специально предназначенного кондиционера Network Air. Соединительные кабели, как силовые, так и информационные, перебрасываются между разделёнными рядами шкафов по специальным реечным направляющим, расположенным над шкафами (таким образом, кабели не путаются под ногами, легко находятся и опознаются). Внутри шкафа все кабели аккуратно распределяются с помощью специальных желобов и фиксаторов, размещённых с тыльной стороны шкафа.

Активная часть инфраструктуры предназначена для непрерывного мониторинга необходимых параметров в пределах серверного помещения и принятия соответствующих решений. В состав единой инфраструктурной экосистемы входит универсальный датчик мониторинга окружающей среды. Он устанавливается в стойку, проводит постоянный мониторинг влажности и температуры в пределах гермозоны и в случае возникновения условий, грозящих отказом аппаратуры, автоматически рассылает уведомления администраторам или инженерам по электронной почте. Другой активный модуль инфраструктуры — карта сетевого управления ИБП. Это устройство позволяет проводить диагностику и прогнозировать состояние источников бесперебойного питания непосредственно по сети. Карте выделяется собственный ІР-адрес, и она управляется через web-интерфейс, что позволяет осуществлять мониторинг ИБП без использования ресурсов серверов или промежуточных устройств.

Крупные серверные помещения и ЦОД

Типовые проекты InfraStruXure типа “В” и “С” в целом наследуют общие принципы организации инфраструктуры серверного помещения, однако построение масштабных кластерных систем или ЦОД диктует ряд дополнительных требований. Проекты типов “В” и “С” подразумевают монтаж фальшпола или подиума, под которым, согласно общей схеме, происходит подача холодного воздуха от кондиционера к стойкам. Воздух втягивается в шкаф из-под фальшпола с помощью специального блока вентиляторов (Rack Air Distribution Unit), который предотвращает смешивание холодного кондиционированного воздуха с тёплым воздухом помещения. Система кондиционирования, в отличие от типа “А”, должна обязательно включать как кондиционер, так и блоки ARU. В качестве кондиционера используется гораздо более производительный NetworkAIR FM, занимающий объём целой стойки, а блоки откачки воздуха устанавливаются с тыловой стороны шкафов и по специальным трубкам вытягивают горячий воздух от серверов вверх, за пределы серверного помещения. Существенно переработана и силовая подсистема. Поскольку аппаратура в типовых проектах “В” и “С” может потреблять суммарно несколько десятков (или даже сотен) киловатт, то в инфраструктуру были добавлены усиленные блоки распределения питания и промежуточные распределительные щиты. Инфраструктура типа “С” отдельно описывает включение в общую энергосистему дизель-генераторов, выделение стоек ИБП в отдельное помещение и объединение их автоматическим включателем резерва.

Примечательно также, что все перечисленные модули для построения инфраструктуры компания производит самостоятельно, таким образом, полностью исключаются возможные проблемы с несовместимостью компонентов. Одно из существенных преимуществ InfraStruXure — постоянная поддержка со стороны инженеров компании, которая начинается на этапе предварительного проектирования и продолжается на протяжении всего монтажа, а также проектировочная и монтажная гибкость, заложенная во все компоненты и позволяющая создавать уникальные решения, которые наиболее точно и в полной мере соответствуют потребностям и задачам каждого предприятия.