Непростое решение о начале строительства ЦОД руководству «Кредобанка» пришлось принимать в самом начале кризиса, когда для большинства банков вопрос стоял о выживании, не говоря уже об инвестициях в ИТ. Наличие мощного инвестора в лице польской РКО ВР Group (ее активы составляют примерно треть от совокупного объема всех отечественных банков) помогло претворить смелые планы в жизнь — уже несколько месяцев объект находится в эксплуатации. Эдуард Савушкин, вице-президент компании «Инком», чей львовский филиал выступил интегратором проекта, считает его уникальным для Украины. В то время как большинство ЦОД в нашей стране вынужденно подгоняют под готовые требования заказчика, в случае с «Кредобанком» внедрение начиналось, как это и положено, с консалтинга и предпроектного аудита.

Одной из предпосылок построения ЦОД в «Кредобанке» стала необходимость более качественного управления ресурсами и консолидации вычислительных мощностей. Содержать в каждом из нескольких десятков отделений выделенный сервер с набором всех сопутствующих лицензий на ПО оказывалось неоправданно дорого. Внедрение новых финансовых продуктов в соответствии с динамично меняющейся рыночной конъюнктурой и переход на европейские стандарты качества обслуживания клиентов требовал от банка наличия современной ИТ-инфраструктуры.

Как известно, у каждой медали есть две стороны. Затишье в бизнесе, вызванное разразившимся финансовым кризисом, в «Кредобанке» использовали для кардинального переформатирования накопившегося с момента основания банка в 1990 году ИТ-хозяйства. Местом строительства ЦОД выбрали индустриальное здание во Львове площадью 100 кв. м, которое в настоящий момент находится в собственности банка. Кстати, по словам председателя правления «Кредобанка» Ивана Феськива, на территории Львова охотно размещают свои ЦОД даже киевские банки — средоточие в этом приграничном регионе специализирующихся на разработке ПО компаний и квалифицированных ИТ-специалистов.

Проект построения ЦОД в «Кредобанке» стартовал в 2009 году. Предварительно специалисты «Инкома» в ходе проведенного аудита разработали концепцию внедрения, на этапе проектирования собрали все необходимые статистические данные о работе систем заказчика и тенденциях роста объемов данных и вычислений и в итоге выполнили расчет необходимых подсистем. Представители сформированной совместной рабочей группы из сотрудников ИТ-департамента банка и компаний Cisco Systems, IBM и «Инком» провели моделирование и тестирование систем, чтобы убедиться в их полной пригодности для оптимального решения стоящих перед бизнесом перспективных задач.

«Нам несколько раз приходилось менять решение, последние полгода работали вовсе без выходных», — признается Игорь Гентош, начальник управления системной интеграции «Кредобанка», и тем не менее, не скрывает своего удовлетворения от реализации проекта. Гордиться и в самом деле есть чем: за 4,5 месяца удалось построить ЦОД, соответствующий всем требованиям НБУ и стандарту TIA 942 с уровнем надежности TIER III (регламентирует максимально допустимое время простоя — 1,6 ч/год). Объект рассчитан на размещение 1 600 юнитов с техническим оборудованием.

Электроснабжение

В здание от трансформаторной подстанции заведены 2 электрических ввода с AVR (Automatic Voltage Regulation) и максимальной нагрузкой 1 МВт — они обеспечивают электроснабжение не только ЦОД, но и расположенных по соседству потребителей.

Гарантированное электроснабжение

У банка есть собственная ДГУ Gesan мощностью 860 кВА — этого достаточно для обеспечения бесперебойного электроснабжения основных потребителей в течение 4 часов. В щитовой за пределами серверного помещения ЦОД расположены два ИБП EATON Powerware мощностью 275 кВА (по признанию заказчика, аналог АРС оказался слишком дорогим). Кстати, во время посещения ЦОД произошло внеплановое отключение энергии, и журналисты стали свидетелями аварийного запуска дизель-генератора. Организаторы клятвенно заверяют, что подобные перебои происходят достаточно часто и намеренно никто не собирался устраивать «живую» демонстрацию запуска системы резервного питания. Находясь в Украине, несложно поверить в такие истории.

Телекоммуникации

Объект подключен к двум независимым оптическим каналам связи, идущих из различных канализаций. Нужно заметить, что все помещения «Кредобанка» во Львове соединены друг с другом оптическими линиями, общая протяженность которых достигает 60 км. В распоряжении каждого отделения банка есть канал с пропускной способностью 2 Мбит/с — он позволяет решать задачи централизации, начатой в середине 2010 года.

Помещение для ЦОД

Согласно требованиям НБУ все оборудование ЦОД находится в экранированном помещении. Высота фальш-пола составляет 40 см, внутри находятся шланги с хладагентом жидкостной системы охлаждения. В соответствии с требованиями НБУ по ТЗИ в ЦОД построена система автоматического пожаротушения и прописан детальный план мероприятий при пожаре для персонала заказчика. В серверном помещении используется условно безопасный для человека газ R125, в помещении с ДГУ — порошок. Внутри ЦОД осуществляется мониторинг физических параметров внешней среды и состояния оборудования APC InfraStruXure: влажности, качества электроснабжения, температурных режимов.

Шкафы

Плотность энергопотребления составляет 6 кВА на стойку при расчетном значении 8 кВА, максимальная мощность оборудования в серверной может достигать 240 кВА. В ЦОД применяются шкафы АРС, Panduit и IBM. Последние легко узнать по характерному пьедесталу для смещения центра тяжести и улучшения устойчивости конструкции при неполном заполнении оборудованием. В настоящий момент в помещении находится 18 шкафов, в перспективе их число вырастет до 38. В банке не исключают возможности передачи части инфраструктурных мощностей ЦОД в аренду третьим организациям.

Система охлаждения

Для отвода тепла от стоек внедрена технология холодных и горячих коридоров с внутренним охлаждением APC InRow и установлены два чиллера Emerson Network Power Liebert HPС с четырьмя компрессорами в каждом. Поддержка технологии Free Cooling дает возможность нагнетать холодный воздух с улицы в зимнее время года и тем самым экономить электроэнергию и ресурс агрегатов. Холодильные машины работают попеременно с суточным интервалом, при этом одна из них находится в резерве. Они запитаны напрямую от ДГУ, тогда как насосная группа — от ИБП. Емкости бака с охлаждающей жидкостью достаточно для поддержания в серверном помещении надлежащей температуры в течение 15-20 мин даже при полностью обесточенных чиллерах, далее градиент роста температуры может достигать 1°С/мин, что соответствует нештатной аварийной ситуации.

Сетевая инфраструктура

В ЦОД построена СКС с применением решений Panduit. Все информационные кабели находятся в лотках, расположенных в верхней части здания. Особого внимания заслуживает ядро сети, в основе которого лежит масштабируемая модульная платформа Cisco Nexus 7000, разработанная специально для нужд ЦОД. Она вмещает 512 портов 10 GbE, поддерживает будущие технологии 40/100 GbE и обеспечивает емкость коммутации до 15 Тбит/с на одном шасси. Это первая в отрасли платформа с унифицированной коммутационной матрицей, избавляющая от необходимости строить две отдельные сети — IP и FC. По словам Александра Масло, технического руководителя представительства Cisco в Украине, речь идет о первом внедрении Nexus 7000 в масштабах СНГ.

Серверы и СХД

В основе аппаратного комплекса лежит работающий под управлением ОС IBM AIX 48-процессорный сервер IBM Power System 770 и СХД IBM System Storage DS5300. Он представляет собой отказоустойчивое решение с полным дублированием сервисов и оборудования на удаленных друг от друга на несколько километров площадках (в ка­честве резерва пока используется Power System 570, в текущем году его планируют заменить на 770-ю модель). Объем оперативной памяти Power System 770 составляет 512 ГБ, из которых заказчик пока активировал 256 ГБ. Это первый и на данный момент крупнейший в Украине проект с использованием серверов IBM на базе процессоров Power 7 — в «Инкоме» их считают лучшими в отрасли с точки зрения скорости возврата инвестиций (ROI). Часть сервер­ной инфраструктуры составляют лезвия IBM BladeCenter E-серии на одно- и двухпроцессорных платформах Intel Xeon с объемом памяти до 8 ГБ и широко распространенные 2U-серверы HP ProLiant DL380 под управлением ОС Red Hat Enterprise Linux.

ПО

Безусловно, поставленные в рамках проекта серверные системы способны обрабатывать и анализировать огромные объемы данных в режиме реального времени. На них возложена задача обслуживания центральной СУБД Oracle на 1200 пользователей, терминалов (используется ПО Citrix Systems) и файлового доступа. В качестве автоматизированной банковской системы (АБС) в «Кредобанке» используется Б2 харьковской компании CS. Программно-аппаратный комплекс реализован с применением технологий Oracle Data Guard и Power VM, для управлением базами данных АБС применяется Oracle Grid Control. Система резервного копирования построена на ПО IBM Tivoli Storage Manager.

Безопасность

В помещения ЦОД внедрена система управления доступом. Отдельно стоит сказать про платформу Nexus 7000 — она первая в продуктовой линейке Cisco поддерживает объявленную в конце 2007 года архитектуру Trusted Security, которая интегрирует функции идентификации и учета роли пользователя в ЦОД. Она обеспечивает доверенную сегментацию трафика без сложных моделей адресации и неуправляемых списков контроля доступа (ACL), в результате чего появ­ляется возможность переноса в рамках ЦОД виртуальных машин без ущерба для целостности данных (с использованием технологии шифрования AES-128 на каждом порту Nexus 7000).

Резервирование компонентов

По системам кондиционирова­ния — N+1, энергообеспечения и телекоммуникаций — 2N.

Сервисная поддержка

Важным этапом в достижении поставленных целей стало обучение ИТ-персонала банка для самостоятельной поддержки вычислительных подсистем ЦОД, в частности, RISC-серверов IBM. Вместе с тем, г-н Гентош не исключает подписания сервисного договора с компанией «Инком» на обслуживание наиболее критичных для обеспечения непрерывности бизнеса узлов. Сервисные договора по кондиционерам уже заключены.

Киев — Львов — Киев

Самый польский украинский банк

По данным АУБ (ассоциации украинских банков) состоянием на 1 января 2011 года ПАО «Кредобанк» с центральным офисом во Львове занимает 35-е место по размеру капитала (766 млн грн) и объемам активов (4,45 млрд грн). В соответствии с классификацией НБУ он относится ко II группе — «Крупные банки». Региональная сеть «Кредобанка» включает около 140 филиалов и отделений и 370 собственных банкоматов практически по всей Украине. Клиентская база насчитывает более 32 тыс. юридических лиц и предпринимателей и около 320 тыс. физических лиц. Стратегическим акционером «Кредобанка» (99,6% акций) является крупнейший польский банк РКО ВР SA.