Банковский сектор является той вертикалью, где предъявляются самые жесткие требования к надежности и степени готовности ИТ-инфраструктуры. В то же время банки являются достаточно консервативными заказчиками, которые никогда не доверяют “на слово” новым разработкам и решениям на их основе. Поэтому применительно к банковской сфере практически невозможно выработать некий универсальный типовой проект, который удовлетворял бы запросам любого банка.
 Юрий Тарасинский, ведущий специалист департамента системной интеграции компании RIM2000: “В каждом шкафу установлена связка APC RackMount Console и KVM-коммутатор, которые позволяют производить физическое администрирование серверов. Консоль управления занимает всего 1 юнит пространства в шкафу” |
Тем не менее, относительно ИТ-хозяйства существует определенный набор требований, выраженный языком бизнеса, отталкиваясь от которого, системные интеграторы проводят инжиниринг и внедрение проектов. Конечный успех этого внедрения зависит от прозрачного понимания интегратором поставленной задачи и адекватности выбранного решения потребностям бизнеса. В банковском секторе внедрение ИТ-проекта — это всегда уравнение с множеством неизвестных, решить которое можно только совместными усилиями банка-заказчика, формулирующего задачу, интегратора, воплощающего задачу в реальность, и вендора, предоставляющего строительные модули для проекта. Одним из успешных примеров подобного многостороннего сотрудничества можно считать проект по обустройству центра обработки данных, реализованной компанией RIM2000 в “ПриватБанке” с использованием компонентов APC InfraStruXure. Данное комплексное решение стало одним из самых крупных проектов на базе APC InfraStruXure типа “B” в Украине.
Как правило, в списке обязательных требований к инфраструктуре крупного центра обработки данных на первых местах стоят такие параметры, как надежное обеспечение бесперебойного электропитания и охлаждения серверного оборудования, запас по масштабируемости и мощности, наличие простой и удобной системы мониторинга и администрирования, максимально возможная совместимость с различными типами серверного оборудования, а также удобство размещения многочисленных силовых и информационных кабелей. Такие же требования выдвинул к своему центру обработки данных заказчик “ПриватБанк”. Для успешного решения задачи была создана совместная рабочая группа из специалистов всех трех сторон — заказчика, интегратора и производителя инженерной инфраструктуры. В результате анализа требований бизнеса, аудита ИТ-хозяйства, состояния и физических параметров помещения, отводимого под ЦОД, был предложен проект на базе APC InfraStruXure типа B. Этот проект, реализация которого завершилась летом 2006 года, уникален для украинского ИТ-рынка благодаря особым качествам систем гарантированного питания, кондиционирования, мониторинга физической среды и запасов по масштабируемости.
Электропитание
Модульная, масштабируемая система бесперебойного электропитания с резервированием APC Symmetra PX мощностью 60 кВт обеспечивает надежное трехфазное питание для серверного оборудования. Благодаря применению в этой модели ИБП технологии двойного онлайн-преобразования, напряжение питания, подаваемое на серверное оборудование с выхода ИБП, всегда имеет форму правильной синусоиды с минимальным количеством гармоник, вне зависимости от формы и величины напряжения сигнала во входной электросети. Модульность, заложенная в конструкции ИБП Symmetra, позволяет достичь высочайшего коэффициента готовности ИБП порядка 99,6% (расчетное время простоя из-за неисправностей или необходимости техобслуживания и профилактики составляет всего лишь несколько часов в год). Схема резервирования силовых модулей по формуле N+1, совместно с дублированием управляющего модуля, обеспечивают убедительный запас по надежности — выход из строя одного из силовых модулей либо модуля управления никак не отразятся на работоспособности системы в целом. При этом замена вышедшего из строя модуля осуществляется в “горячем режиме”, и в случае если склад запчастей был сформирован заранее, занимает считанные минуты.
Кондиционирование
Система прецизионного кондиционирования APC NetWork AirIR способна отводить от оборудования 73 кВт тепловой мощности и постоянно поддерживает в помещении центра обработки данных оптимальные для функционирования серверного оборудования условия — 23°С при относительной влажности в 30%. В качестве хладагента был выбран 40%-ный раствор пропиленгликоля, что гарантирует работоспособность системы кондиционирования при отрицательной наружной температуре зимой вплоть до -29°С. Питание на критически важный контур системы кондиционирования подается от источника бесперебойного питания APC SmartVT мощностью в 12 кВт. Такое конструктивное решение позволяет предотвратить быстрое нарастание температуры в серверной в случае полного пропадания напряжения во внешней питающей электросети.
Масштабируемость
 Фрагмент помещения ЦОД в “ПриватБанке”. Сверху видны специальные направляющие желоба для прокладки кабеля между рядами шкафов |
Шкафы
В качестве основы для физического размещения серверного оборудования в центре обработки данных были выбраны 19-дюймовые монтажные серверные шкафы APC NetShelter VX высотой 42 юнита. Эти шкафы, благодаря ряду технических характеристик, таких как особая геометрия конструкции, прочность, обеспечивающая поддержку до 907 кг статической нагрузки, глубина в 1070 мм, позволяют устанавливать внутри них серверное оборудование практически любой сложности и массогабаритных показателей. Передние и задние двери отличаются плотной перфорацией, благодаря чему обеспечивается естественный отвод тепла при плотности наполнения вплоть до 3–4 кВт на шкаф. Специально предусмотренные внутри шкафа кабельные каналы и стяжки позволяют упорядочить размещение многочисленных силовых и информационных кабелей. Электропитание от ИБП до каждого из шкафов подается с выделенного автомата системы распределения питания персональным силовым кабелем. При этом все основные кабельные магистрали проброшены сверху рядов с использованием специальных кабельных желобов, а внутри шкафа питание “раздается” персонально при помощи модуля распределения нагрузки APC Rack Metered PDU. Это устройство представляет собой интеллектуальный блок из двадцати 10-амперных и четырех 16-амперных розеток с возможностью мониторинга общего тока, потребляемого подключенной к PDU нагрузкой, что позволяет отслеживать возможные перегрузки при подключении новых устройств. Максимальный ток нагрузки на каждый PDU составляет 16А, для увеличения надежности в каждом из шкафов установлено 2 таких блока распределения питания, запитанных от разных автоматов. Кроме того, в каждом шкафу установлена связка APC RackMount Console из монитора, клавиатуры и мыши, а также KVM-коммутатор, которые позволяют производить физическое администрирование серверов, смонтированных в каждом отдельном шкафу. Используемые для этих целей один 15'' ЖК-монитор и интегрированные в ту же консоль клавиатура и тачпад, в сложенном состоянии занимают всего 1 юнит пространства в шкафу.
Мониторинг среды
Аппаратно-программная система мониторинга и администрирования состоит из APC ISX manager — полностью настроенного UNIX-сервера с комплектом специального ПО, лицензированного на 100 узлов, нескольких сетевых коммутаторов АРС Ethernet Switch для организации внутренней, недоступной из внешнего мира локальной подсети управления центром обработки данных, и систем контроля за окружающей средой APC Environment Units вместе с датчиками температуры, влажности, вибрации, задымленности, затопления и открывания дверей. Составные части APC InfraStruXure: ИБП, кондиционер, PDU, датчики и т.п., являются частью этой внутренней локальной подсети, все “нити” которой сходятся к узлу ISX Manager. Такой подход позволяет организовать безопасный удаленный доступ к ISX manager из локальной сети предприятия с возможностью централизованного мониторинга и администрирования всего центра обработки данных целиком. При этом достигается уровень управляемости, ранее считавшийся невозможным. Системный администратор при помощи одной программы с интуитивно понятным интерфейсом может контролировать практически все параметры инфраструктуры в центре обработки данных. Администратор получает возможность настраивать алгоритмы реакции системы на то или иное зарегистрированное датчиками событие, к примеру, дым или затопление в серверной, открывание дверей определенного шкафа или изменения значений температуры/влажности, превышающие допустимый уровень, пропадание напряжения во внешней сети электропитания, общее состояние ИБП и степень заряда его батарей, сообщения о вышедших из строя блоках или блоках, требующих плановой профилактики, и т.п. Реакция на зарегистрированное событие может проявляться в различной форме — звуковой и световой сигнал тревоги, корректное завершение работы в определенной последовательности, блокировка входных дверей в центр обработки данных и т.п. Мониторинг всех этих и многих других возможных событий, равно как и реакция на них, максимально автоматизированы, а это позволяет свести к минимуму влияние человеческого фактора, а также ресурсы и усилия, необходимые для эффективного обслуживания центра обработки данных, что в целом позволяет существенно повысить эффективность ЦОД и скорость возврата инвестиций.
