Несмотря на растущую популярность ЦОД, каждый проект, связанный с их строительством, остается уникальным для нашей страны. Во­первых, уникальны требования каждой информационной системы, во-­вторых, свою специфику вносит место строительства. Все это требует от инженеров нестандартных решений и подходов. Объект, о котором пойдет речь, принадлежит «Проминвестбанку» и находится в самом центре Киева. Здание, построенное «Промстройбанком» в далекие 70­-е, изначально проектировалось как компьютерный центр, где размещалась одна из немногих тогда ЭВМ «Урал». Именно на площадях бывшего машинного зала и был построен новый ЦОД.

Информация о банке

Основанный в 1992 году «Проминвестбанк» входит в тысячу крупнейших финансовых учреждений мира. В 2010 году по результатам рейтинга ТОП­100 «Лидеры бизнеса Украины — 10 лет развития» — совместного проекта ООО «Украинская инвестиционная газета» и агентства «Кредит­Рейтинг» — «Проминвестбанк» вошел в число наиболее важных для развития страны финансовых учреждений.

Среди других банков Украины «Проминвестбанк» входит в число лидеров по чистым активам, объему средств клиентов, уставному капиталу и кредитному портфелю юридических лиц. Банком эмитировано свыше 3 млн платежных карт, которые обслуживает собственный процессинговый центр и одна из крупнейших в Украине сеть из 1600 банкоматов. «Проминвестбанк» входит в тройку лидеров в сфере международных платежных карт среди банков Украины. 

Основной акционер с 2009 года — Государственная корпорация «Банк развития и внешнеэкономической деятельности» («Внешэкономбанк», Россия) — 94% акций. Достаточный уровень капитализации — 5,3 млрд грн. — дает возможность обеспечить кредитование реального сектора экономики государства в соответствии с потребностями рынка, а также укрепить уверенность вкладчиков и акционеров в стабильности и надежности «Проминвестбанка».

Предпосылки реализации проекта

До смены состава акционеров в начале 2009 года «Проминвестбанк» оставался одним из самых закрытых и консервативных финансовых учреждений. Цельная стратегия развития ИТ­инфраструктуры на тот момент отсутствовала. У некоторых департаментов были отдельные инициативы, но о таком глобальном проекте, как строительство ЦОД речь не шла.

Со сменой акционеров и увеличением уставного капитала пришли более жесткие требования к расширению спектра банковских продуктов, уменьшению времени вывода их на рынок, увеличению числа клиентов. Эти требования нашли отражение в целом ряде проектов на уровне приложений.

Все это предопределило необходимость скорейшего создания единого современного ЦОД, который составил ядро ИТ­инфраструктуры банка.

От слов к делу

Банк начал с анализа доступных коммерческих площадок. Проанализировав предложения по аренде и сравнив их со стоимостью строительства, руководство пришло к выводу, что в долгосрочной перспективе экономически выгоднее строить собственный ЦОД. 

Окончательное решение в пользу строительства собственного ЦОД «Проминвестбанк» принял в первом квартале 2010 года. Специалисты проанализировали многочисленные принадлежащие банку здания в Киеве и области, и сошлись во мнении, что компьютерный центр на ул. Малоподвальной лучше всего соответствует предъявляемым к объектам ЦОД специфическим требованиям.

Далее начался долгий период выбора интегратора. В конкурсе принимали участие более 10­ти украинских и зарубежных компаний. К анализу коммерческих предложений была приглашена зарубежная консалтинговая компания. В результате победил «Инком» — интегратор с самым большим портфелем завершенных проектов по строительству ЦОД. Кроме достаточно качественно проработанного решения на стадии коммерческого предложения, свою роль сыграл успешный опыт реализации похожего проекта в сжатые сроки во львовском «Кредобанке» (см. PCWeek/UE №3 от 24 февраля). Также немаловажным критерием стало минимальное количество подрядчиков, которые компания планировала привлекать на стадии строительства. 

Проработка технического задания происходила совместно со специалистами АРС by Schneider Electric, после чего сотрудники компании «Инком» осуществили практическую привязку к конкретному объекту и добавили общестроительные элементы.

Далее последовали строительный аудит и энергоаудит здания. В них принимали участие научно­исследовательский институт строительных конструкций (НИИСК), Best Power и Schneider Electric. По результатам удалось сформировать требования к строительным работам, модернизации щитовой и действующей инженерной инфраструктуры серверных помещений, дизель­генераторной установке. Кроме того, Schneider Electric сделала расчет установки для компенсации реактивной составляющей мощности, что позволило выделить дополнительную «энергоквоту» для будущего ЦОД.

В связи со сжатыми сроками, коэффициент эффективности использования энергии на стадии проектирования не рассчитывался, однако, использование оборудования APC и применение лучших практик в области конструирования ЦОД позволяли говорить о том, что в результате будут получены адекватные показатели.

Перед началом реализации проекта Василий Гойжевский, руководитель проектного офиса дирекции по ИТ и операционной деятельности «Проминвестбанка», лично сделал презентацию членам правления и его председателю Виктору Башкирову. Она содержала сведения об экономическом эффекте для банка, предпосылках построения ЦОД, детальное описание проведенных подготовительных работ, полученные результаты. В итоге, удалось найти полное понимание и одобрение со стороны высшего руководства.

В качестве подрядчика по строительной части пригласили компанию «Солид». В соответствии с требованиями проекта и рекомендациями НИИСК, была проведена реконструкция существующих помещений и подготовлены новые. 

Ни дня больше

С этого момента начинается отчет срока, в течение которого «Инком» провел работы по монтажу защитного экрана, фальшпола, системы электропитания, климатических систем, систем видеонаблюдения и контроля доступа, системы автоматического газового пожаротушения, пожарной и охранной сигнализации. «После завершения всех строительных работ на создание ЦОД ушло ровно 92 дня. Временные рамки четко зафиксированы в договоре, в случае нарушения подрядчику грозили жесткие штрафные санкции, — рассказывает Василий Гойжевский, — «Инком» выдержал все сроки».

Серверная инфраструктура

Первое, что бросается в глаза в вычислительном центре, — два внушительных по размерам сервера RISC­архитектуры IBM p595. Для них выделена отдельная зона и сделан закрытый коридор.

По соседству уже расположены первые 8 стоек. При ближайшем рассмотрении в них удается обнаружить блейд­серверы Cisco UCS, построенные на архитектуре Intel x86. По словам заказчика, это первое внедрение в Украине. На верхнем уровне в банке компанию Cisco Systems выбрали в качестве стратегического партнера в части систем виртуализации серверов, сетевой инфраструктуры и телекоммуникационных решений. Преимуществом UCS для «Проминвестбанка» оказался их гораздо более поздний выход на рынок, что позволило вендору выпустить наиболее инновационный продукт. Важную роль в выборе сыграла высокая энергоэффективность системы.

Приложения

В банке отказываются называть разработчиков конкретных корпоративных приложений, но и без того ясно — в ЦОД их великое множество. Прежде всего, это операционный день банка, хранилище данных, некоторые модули ЕRР (в будущем их число возрастет), СЭД, MS AD, Exchange. В качестве АБС «Проминвестбанк» использует Oracle FLEXCUBE, как раз для ее нужд и понадобились мощные RISC­серверы.

Бесперебойное электропитание

Для корректного завершения транзакций в СУБД на серверах с Oracle FLEXCUBE необходимо 40 мин, а значит, ровно столько времени должна работать система охлаждения, вычислительная и коммуникационная инфраструктура ЦОД. В этом, пожалуй, состоит главная уникальность проекта «Проминвестбанка». По крайней мере, время автономной работы от ИБП действительно очень длительное. В целях экономии от ИБП питается только компьютерное оборудование, внутрирядные блоки и насосы системы кондиционирования.

Понадобилось установить трехфазный ИБП APC Symmetra PX мощностью 160 кВт с полностью модульной конструкцией и внутренним резервированием N+1. Можно сказать, что эта система играет роль ядра архитектуры APC InfraStruXure в ЦОД «Проминвестбанка». 

Существующий в здании дизель­генератор пришлось заменить ввиду недостаточной мощности. Ему на смену пришел французский агрегат SDMO.

Пришлось реконструировать электрощитовую здания. В качестве устройств АВР были использованы аппараты производства ASCO.

Распределение гарантированного питания в машинном зале

Для запитывания всего активного оборудования ЦОД, внутрирядных кондиционеров и насосных групп чиллерной системы использованы задублированные интеллектуальные устройства распределения питания. Они обеспечивают уровень резервирования 2N для всего подключенного оборудования, по каждому автомату ведется полноценный мониторинг параметров питания и уровня потребления, а добавление и замена автоматов возможны в «горячем» режиме. Чтобы запитать два RISC­сервера IBM, в проекте (впервые в Европе!) нашли применение новейшие трехфазные модули распределения питания, рассчитанные на ток до 63А каждый.

Еще одной особенностью реализации стала система полуавтоматического байпаса, позволяющая полностью исключить существующий ИБП из системы питания. 

Система охлаждения

Без преувеличения, по масштабам поражает самое смелое воображение. Еще большее впечатление производит уровень технического совершенства системы охлаждения ЦОД. Компрессоры со сверхнизкошумными выносными конденсерами в сочетании с шумопоглощающими шторками позволили соблюсти все нормативы и разместить ЦОД по соседству с жилыми домами и государственными учреждениями в самом сердце города. В это трудно поверить, побывав в машинном зале и увидев собственными глазами габаритные размеры находящегося в нем оборудования.
В проекте реализована двухконтурная система охлаждения. Первый контур — фреоновый поставляет холод от внешних чиллеров к внутренним, реализующим второй контур — водяной. Так как второй контур целиком расположен внутри здания, в качестве хладагента была выбрана вода. Для обеспечения беспрерывного охлаждения, объем хладагента второго контура составил 15 тонн. Это позволило отказаться от подачи питания на чиллера в случае сбоев в электросети. От ИБП запитаны только насосы второго контура.

Для поддержания обязательных климатических условий в вычислительном зале инсталлированы модульные внутрирядные решения АРС на базе InRow RC c системой распределения охлажденной воды посредством CDU (Cooling Distribution Unit). Кондиционеры осуществляют прецизионное охлаждение двух серверов IBM p595, каждый из которых способен выделять более 30 кВт тепла, и нескольких рядов стоек с остальным оборудованием ЦОД. Важной частью климатической системы являются бесшовные трубы и аккумулирующие баки с хладагентом, обеспечивающие резерв жидкости, достаточный на 40 мин работы при полностью отключенной чиллерной части системы охлаждения на максимальной проектной мощности! Все компоненты систем в каждой точке помещения резервируются по схеме N+1.

Безопасность и контроль состояния среды

За обеспечение физической и ИТ­безопасности в любом банке отвечают отдельные внутренние департаменты, и «Проминвестбанк» не исключение. По вполне понятным причинам они запрещают предавать публичной огласке информацию, имеющую прямое отношение к их деятельности и техническим средствам, находящимся в ведении спецслужб. Известно только, что за мониторинг факторов окружающей среды и видеомониторинг в ЦОД отвечают средства из состава APC NetBotz. В остальном остается констатировать факт соответствия построенного объекта выдвигаемым службами безопасности банка требованиям.

Поддержка

Очередной особенностью проекта стало то, что исторически в банке отсутствовала служба, которая могла бы целиком взять на себя функции по обслуживанию построенного ЦОД. По завершении проекта «Проминвестбанк» составил перечень необходимой ему эксплуатационной документации, выдвинул требования к поддержке, и провел очередной тендер. Его снова выиграл «Инком», который теперь предоставляет услуги аутсорсинга поддержки инженерных систем ЦОД. Выделенный сотрудник в команде интегратора имеет удаленный доступ к системе мониторинга ЦОД, отслеживает критичные ситуации и реагирует на них. В случае необходимости в присутствии круглосуточного дежурного электрика или охранника он может попасть в ЦОД и решить проблему на месте.

Кроме того, «Проминвестбанк» приобрел сервисы по обслуживанию оборудования APC by Schneider Electric, в том числе, предусматривающие фиксированное время восстановления. Все профилактические и ремонтные работы выполняют собственные сервисные инженеры вендора, находящиеся в Украине.

ЦОД в «Проминвестбанке» находится в эксплуатации уже около полугода. Представители заказчика не называют каких­либо цифр, указывающих на полученный экономический эффект, однако объектом очень довольны. На вопрос об оценке проделанной «Инкомом» работы г­н Гойжевский отвечает, не скрывая эмоций: «Невероятно хорошо. Если честно, я не верил, что это возможно, но убедился на собственном примере. Очень приятно, когда можно больше не думать, в какую серверную мы поставим оборудование. Теперь у нас есть ЦОД — просто замечательно!».

Амбициозные планы

Одной из главных задач построения собственного ЦОД стала централизация ИТ­инфраструктуры банка. Необходимая для нее «инфраструктурная корзина» создана, и теперь специалистам банкам предстоит наполнять ее корпоративными приложениями и сервисами. В «Проминвестбанке» запущены проекты по виртуализации и созданию приватного облака для ПО филиалов. В первой половине этого года банк рассчитывает заполнить еще один ряд на 4 стойки.

Для централизованного мониторинга и управления корпоративной инженерной инфраструктурой в целом, объединяющей компоненты бесперебойного питания, распределения электропитания, кондиционирования, мониторинга факторов окружающей среды, ИТ­служба использует программно­аппаратное решение APC Infrastructure Central. В настоящий момент идет подключение к нему разнородного оборудования, расположенного в других серверных комнатах «Проминвестбанка». Ведь все должно находиться в единой системе управления.

В текущем году ИТ­служба вынашивает смелые планы «растолкать» проект постройки второго ЦОД, который в перспективе должен стать основным для банка. Уже построенный объект в силу географического расположения в центре столицы и ограниченности по площади, скорее всего, впоследствии получит статус резервного.

КОММЕНТАРИЙ ВЕНДОРА

«Судить буду строго...»

ВЛАДИМИР ПРИЙМАК, руководитель отдела по работе с корпоративными клиентами APC by Schneider Electric

PCWeek/UE: Как вы можете аргументировать выбор банка в пользу ИБП Symmetra?

Оборудование подобного класса обеспечивает внутреннюю отказоустойчивость — не нужно строить громоздкую параллельную систему, которая занимает гораздо больше места. Сейчас в условиях существующего помещения всё размещено достаточно компактно. Кроме того, Symmetra допускает возможность замены модулей в горячем режиме, и в отличие от любых параллельных систем позволяет очень быстро восстановить проектный уровень резервирования системы. 

Выбранное «Проминвестбанком» решение обеспечивает внутреннюю отказоустойчивость и необходимый для банка масштаб мощности.

PCWeek/UE: В проекте задействован ИБП Symmetra 160 кВт, который уже не допускает масштабирования по мощности. В то же время в линейке АРС есть Symmetra 250 кВт и даже 500 кВт.

Здание, в котором «Проминвестбанк» построил ЦОД, имеет серьезные ограничения по энергоподводу. Как следствие, мощностные показатели ЦОД и источников бесперебойного питания очень тесно пересекаются. Поэтому дальнейшее масштабирование ИБП Symmetra по мощности теряет всякий смысл, модель PX 160 кВт работает с полной отдачей.

PCWeek/UE: Вы присутствовали на испытаниях построенной системы бесперебойного электропитания?

Да, приемо­передаточная комиссия была очень большой и строгой, протоколы всех испытаний у заказчика есть. Испытания подразумевали отключение источника, холодный старт, отключение в горячем режиме силовых модулей, батарей и даже статического переключателя обходного режима.

МНЕНИЯ СПЕЦИАЛИСТОВ

Кто платит, тот и заказывает музыку?

АЛЕКСЕЙ НАГОРНЫЙ, менеджер проектов дирекции по ИТ и операционной деятельности «Проминвестбанка»

PCWeek/UE: Алексей, как менеджер проекта, какой совет вы могли бы дать вашим коллегам, решившимся начать проект постройки собственного ЦОД?

А.Н.: Основной совет, который я бы дал — строить отношения в совместной команде проекта не по принципу «кто платит, тот и заказывает музыку», а в качестве равных партнеров. Возможно, это и наиболее тяжелый путь, но результат гарантированно удовлетворит вас, как заказчика, так и, судя по нашему примеру, исполнителя.

PCWeek/UE: Тесное сотрудничество с командой интегратора оказало влияние на рост интеллектуального уровня занятых в проекте ИТ­специалистов банка?

А.Н.: Когда проект только начинался, никто из сотрудников банка не верил в заявленные сроки, отсутствовало четкое понимание того, кто и как будет обслуживать объект, что для этого нужно. На этом этапе очень много решений приходилось принимать самостоятельно, основываясь на опыте, полученном на прошлом месте работы. Но, постепенно, по ходу выполнения проекта, рос и уровень зрелости команды. Выкристаллизовывались требования к документации, качеству поддержки, приходило понимание важности проекта.

Испытание на прочность

ВАСИЛИЙ ГОЙЖЕВСКИЙ, руководитель проектного офиса дирекции по ИТ и операционной деятельности «Проминвестбанка»

PCWeek/UE: Василий, как вы считаете, почему в итоге банк отдал предпочтение «Инкому» и APC by Schneider Electric?

Василий Гойжевский: «Проминвестбанк» всегда выбирает решения и партнеров best of breed. Мы не идем на компромиссы, когда дело касается долгосрочных проектов. По сути, мы выбрали самого надежного производителя систем бесперебойного электропитания с мощной консалтинговой составляющей и самого опытного партнера­интегратора у нас в стране.

Кроме того, сейчас у нас организована очень грамотная поддержка. И это немаловажно, поскольку мало построить ЦОД — надо еще с ним работать. Наша команда выдвигала очень серьезные требования к поддержке, которым в полной мере соответствуют АРС и «Инком».

PCWeek/UE: Наверное, 92 дня реализации проекта выдались жаркими?

В.Г.: Да, в буквальном смысле каждый из них. Уложиться в столь сжатые сроки — это очень большое испытание для нашей команды. Менеджер этого проекта Алексей Нагорный по три раза на день подходил ко мне для решения различных «горящих» вопросов, а сколько раз он звонил в «Инком» менеджеру проекта с их стороны, я могу только догадываться.

Все­таки здание старое, и постоянно возникали какие­то трудности: трубы, которые нужно куда­то переносить или демонтировать, электрика, которую нужно убирать, требования от производителей оборудования и т.д. Потом наше руководство посмотрело на ход выполнения работ, и выяснилось, что здесь еще надо перекрасить, переделать, а здесь неудобная ступенька. Так и работали (смеется).

Несколько раз было так, что не очень важные вещи выходили из поля зрения, и о них вспоминали слишком поздно, но спасибо «Инкому» — они всегда нам шли навстречу. Говорили: «Да, хорошо, мы это сделаем», и делали без всяких «давайте пересмотрим бюджет» или «мы вам за счет этого затянем сроки». 

PCWeek/UE: Вы привлекали к проекту представителей вендоров?

В.Г.: Да, для нас это стандартная практика, когда большой проект затрагивает серьезные инфраструктурные вещи. Наряду с партнером мы привлекаем и производителей оборудования или ПО, как минимум, для качественного аудита. Повторюсь, банк не идет на компромиссы в качестве, именно поэтому в рамках проекта построения ЦОД наша ИТ­служба тесно сотрудничала как с «Инкомом», так и с АРС. Для аудита строительных работ банк наряду с «Инкомом» привлекал стороннюю инжиниринговую компанию. 

Но единой точкой входа оставался генеральный подрядчик в лице интегратора, компании «Инком». В результате, мы получили минимальное количество субконтракторов, управлением которых занимался один менеджер проектов от «Инкома». Поэтому не было неразберихи, когда одни должны уже уйти, а другие еще не закончили. Таким образом, нам удалось уложиться в намеченные сроки.