УкрСиббанк присутствует на финансовом рынке Украины уже свыше 20 лет и входит в десятку крупнейших банков страны Украины. За годы работы банк завоевал хорошую репутацию среди отечественных экспертов и международных. Так, четвертый год подряд ведущее бизнес издание «Global Finance» называет УкрСиббанк лучшим банком в Украине.

С 2006 г. основным акционером банка является международная группа BNP Paribas, занимающая первое место среди иностранных банков, представленных в Украине по размеру активов, чистым доходам и рыночной капитализации. Летом 2011 года в состав акционеров также вошел Европейский банк реконструкции и развития.

Интеграция в группу BNP Paribas открыла УкрСиббанку новые возможности: использование прогрессивного мирового опыта, переход на новые стандарты менеджмента. Сегодня УкрСиббанк обслуживает более 2 млн розничных клиентов, в том числе 125 тысяч предприятий среднего и малого бизнеса и около 4 тыс. крупных компаний. Региональная сеть банка насчитывает 650 отделений по всей территории Украины, а банкоматная сеть – более 1700 АТМ – является третьей по величине в стране.

С чего все начиналось

Для обслуживания сотен тысяч клиентов УкрСиббанк построил собственный мощный центр обработки данных (ЦОД). Однако для его стабильной и бесперебойной работы необходимо было создать надежную инженерную инфраструктуру. Кроме того, банк испытывал потребность во внедрении средств администрирования и диспетчеризации инфраструктуры ЦОД.

Для обеспечения надежного функционирования оборудования ЦОД планировалось внедрить следующие решения:

• комплекс охлаждения инфраструктуры ЦОД;
• системы гарантированного электропитания ЦОД;
• комплект шкафов для размещения пассивного и активного сетевого оборудования и серверов;
• системы контроля и мониторинга работы системы гарантированного электропитания и параметров окружающей среды ЦОД;
• структурированная кабельная система.

При поиске системного интегратора, который бы мог реализовать поставленные выше задачи, УкрСиббанк остановил свой выбор на компании Инком. Инженерная инфраструктура ЦОД, предлагаемая интегратором, является комплексным решением, которое интегрируется с центральной системой управления ЦОД, ИТ-инфраструктурой и службами эксплуатации здания, в котором находится инженерный комплекс.

Квалификация специалистов компании гарантирует качественное внедрение всех основных подсистем инженерной инфраструктуры Дополнительным доводом в пользу выбора Инком стал тот факт, что на счету интегратора более 60 успешно реализованных проектов построения инженерной инфраструктуры датацентров.

Технические особенности

Для реализации поставленной заказчиком задачи специалисты Инком спроектировали инженерную инфраструктуру на базе архитектуры АРС InfraStruXure (ISX). Архитектура ISX представляет собой модульную архитектуру, составленную из готовых, гибко управляемых компонентов и образующую органичный и надежный фундамент для построения ЦОД. InfraStruXure обеспечивает полную интеграцию подсистем электропитания, охлаждения, управления и обслуживания с целью получения комплексного и сбалансированного решения. Это, в свою очередь, приводит к высокому уровню надежности и предсказуемости стандартизованных решений, которые полностью адаптированы для специфических условий заказчика.

В состав архитектуры ISX входит единственное в отрасли, полностью интегрированное решение для мониторинга физческой инфраструктуры. С ее помощью ИТ-служба может контролировать состояние элементов инфраструктуры и качество ее работы, а при необходимости — удаленно принимать меры для обеспечения высокого уровня доступности..

Среди основных особенностей централизованного мониторинга физической инфраструктуры ЦОД стоит отметить следующие:

• одновременный мониторинг большого количества устройств. Информация от них представляется в удобной для восприятия форме;
• возможность удаленного получения информации о состоянии, режиме работы или неполадках устройств не по запросу, а в момент возникновения событий., что дает возможность быстрого реагирования на возникающие ситуации;
• централизованный протокол событий о всех компонентах инфраструктуры ЦОД, благодаря которому упрощается анализ их работы в целом;
• возможность интеграции с существующими системами диспетчеризации здания, например, через протокол MODBUS.

В данном проекте специалисты интегратора также решили задачу организации мониторинга параметров и угроз окружающей среды. При помощи датчиков температуры и относительной влажности воздуха в серверном помещении контролируются жизненно важные параметры воздуха, а ленточные датчики протечки, которые позволяют на самой ранней стадии получать сигналы о возможном затоплении по всей площади серверных помещений.

Шаг за шагом — к поставленным целям

При построении инженерной инфраструктуры ЦОД сотрудники Инком учли пожелание заказчика о поэтапном наращивании ресурсов всей инженерной инфраструктуры ЦОД одновременно с увеличением мощности серверного оборудования. В связи с этим все системы были спроектированы таким образом, чтобы дальнейшее масштабирование ЦОД можно было бы проводить в «горячем» режиме, без остановки бизнес-процессов банка.

На первом этапе реализации проекта в серверных помещениях сотрудники интегратора установили два источника бесперебойного питания (ИБП) Symmetra PX, которые покрыли текущие потребности банка, а также требуемое количество водяных прецизионных кондиционеров InRow RC от производителя APC by Schneider Electric. Все кондиционеры подключили к двум автономным блокам распределения хладагента, что обеспечило необходимый резерв для дальнейшего развития системы и требуемый уровень резервирования.

Для поддержания необходимого микроклимата во всем объеме серверных помещений была организована групповая работа кондиционеров. С учетом того, что серверные помещения оборудованы защитными экранами, в решениях предусмотрены и заранее заложены все необходимые коммуникации с учетом перспективы.  Серверное оборудование разместили в монтажных шкафах, организованных по схеме «горячий – холодный» коридор.

Второй этап развития предусматривал дальнейшее увеличение мощности серверного оборудования на 40%. С этой целью в серверном помещении установили еще один ИБП АРС Symmetra PX с резервированием на уровне N+1.

Дополнительно установили серверные шкафы и кондиционеры — также в «горячем режиме» без остановки бизнес-процессов заказчика. Система построена с возможностью дальнейшей установки дополнительных шкафов, что и было реализовано на последующем этапе. С целью модернизации подсистемы СКС в серверном помещении установили дополнительный коммутационный шкаф для формирования обновленного ядра СКС, что позволило адаптировать данную подсистему под будущие задачи заказчика.

На третьем этапе в инженерную инфраструктуру ЦОД на заранее подготовленные места дополнительно инсталлировали специализированные шкафы с серверным оборудованием и системами хранения данных. Этими работами завершено ранее запланированное Заказчиком построение основной инженерной инфраструктуры ЦОД.

Четвертым этапом стало создание централизованной системы мониторинга для контроля параметров функционирования инженерной инфраструктуры критических ИТ помещений банка, включая центры обработки данных. Централизованная система мониторинга инженерной инфраструктуры охватывает критичные для бизнеса Заказчика объекты, размещенные на четырех площадках, по две в Киеве и Харькове.

На базе площадок в Киеве созданы два центра мониторинга: основной и резервный. При этом обеспечено полное сохранение функционала и возможностей, что повышает уровень катастрофоустойчивости системы мониторинга инженерной инфраструктуры банка.

Структурно система состоит из локальных подсистем мониторинга, которые соединяются через локальную сеть Ethernet с центральными серверами получения и обработки данных. Аппаратное решение построено на основе двух центральных серверов мониторинга ISX Central Enterprise компании АРС by Schneider Electric (по одному для основной и резервной площадок в Киеве).

«Изюминкой» четвертого этапа стала замена ранее установленного в ЦОД ISX Manager (на момент проекта снятого с производства) на ISX Central (в рамках специальной Trade-up программы АРС by Schneider Electric), что позволило Заказчику существенно сэкономить средства на внедрение современного многофункционального решения мониторинга.

Контроль параметров окружающей среды в критических помещениях объектах организовали с использованием устройств мониторинга среднего уровня NetBotz 450 и NetBotz 550 производства АРС by Schneider Electric.

Таким образом, заказчик может контролировать следующие параметры в серверных и коммутационных помещениях:
• температурный режим внутри помещения (в том числе, на уровне стоек);
• влажность воздуха внутри помещения (в том числе, на уровне стоек);
• наличие воды на полу (затопление);

При инсталляции нового решения в него были гибко и без потери функционала, интегрированы все объекты мониторинга, ранее подключенные к замененному устройству ISX Manager. Этими объектами являются как ИБП, так и прецизионные кондиционеры, внутристоечные блоки распределения питания с измерением потребления на уровне стойки, а также элементы системы мониторинга параметров окружающей среды, реализованные на базе АРС Environment Manager.

Использование решений мониторинга от АРС by Schneider Electric также позволяет контролировать состояние оборудования других производителей, использующегося в инженерной инфраструктуре Заказчика.

Функциональные требования, реализованные в системе, осуществляют централизованный сбор информации со всех объектов и контрольных точек мониторинга, а также вывод сообщений на мониторы операторов службы круглосуточного мониторинга в об авариях. Соответствующие уведомления появляются и в случаях превышения установленных параметров температуры, влажности, при появлении воды в местах расположения датчиков утечки, а также при превышении установленных пороговых значений других контролируемых параметров. Предусмотрено автоматическое оповещение ответственных лиц об аварийных ситуациях по электронной почте.

Построенная система мониторинга имеет возможность дальнейшего наращивания при помощи системы гибкого лицензирования подключаемых дополнительных точек мониторинга, и отвечает как текущим требованиям Заказчика, так и на перспективу.

Александр Нестеренко, заместитель начальника Департамента сопровождения инфраструктуры УкрCиббанка BNP Paribas Group, отметил: «Корректная и безотказная работа инженерной инфраструктуры ЦОД является гарантией эффективной работы ИТ систем современного банка. Именно поэтому мы обратились к специалистам компании Инком, которые имеют многолетний опыт и высокий уровень квалификации. Хочется отметить, что все работы были выполнены в установленные сроки, а результат полностью соответствует нашим ожиданиям. Благодаря сотрудничеству с компанией Инком мы получили надежную масштабируемую платформу, которая позволит ИТ подразделениям банка обеспечить растущие потребности бизнеса в будущем». 

Итоги проекта

В результате реализации проекта специалисты Инком построили надежную, отказоустойчивую, безопасную, легко управляемую инженерную инфраструктуру, которая гарантирует бесперебойную и корректную работу центра обработки данных банка.

В рамках проекта интегратор внедрил следующий комплекс решений:

• модульная масштабируемая физическая инфраструктура на базе архитектуры АРС InfraStruXure;
• система внешнего электропитания инфраструктуры ЦОД;
• система бесперебойного питания на базе трех ИБП Symmetra PX;
• система прецизионного кондиционирования на базе группы кондиционеров InRow RC;
• система централизованного мониторинга инженерной и IT-инфраструктуры критических объектов на базе оборудования АРС ISX Central и NetBotz;
• структурированная кабельная система.

«Компания Инком реализовала комплексное решение, которое обеспечило эффективную и безотказную работу ИТ-системы Укрсиббанка BNP Paribas Group. Одним из основных преимуществ реализованного проекта для заказчика является простота в использовании и управление системой практически без дополнительного обучения. Внедренная система полностью соответствует современным требованиям безопасности и удовлетворяет потребности заказчика в беспрерывности ведения бизнес-процессов», — резюмировал Александр Тарасенко, директор Департамента инженерных проектов компании Инком.