Смена собственника в 2005 году (по состоянию на 1 января 2011 года 96,18% акций украинской дочки принадлежат Raiffeisen Bank International AG) открыла перед финансовым учреждением широкие перспективы по развитию и совершенствованию портфеля банковских услуг. Претворение в жизнь инициатив австрийской холдинговой группы потребовало реализации целого ряда амбициозных ИТ-проектов, одним из которых стала модернизация инженерной инфраструктуры ЦОД.

 В статье пойдет речь о модернизации главной площадки, расположенной на территории столичного офиса. У банка есть и несколько резервных площадок ЦОД, их тоже готовили для размещения большего количества оборудования, но эту тему оставим за рамками материала. Сфокусируемся на главном и самом интересном. 

Риски «ближайшего большого банка»

 Выбранный в свое время слоган — не преувеличение, Райффайзен Банк Аваль действительно большой. И дело здесь не только и не столько в финансовых показателях (по состоянию на 30 июня 2011 года активы — 55,1 млрд грн., собственный капитал — 6,4 млрд грн.), сколько в масштабе территориально распределенной инфраструктуры. На момент подготовки материала общенациональная сеть банка насчитывает 922 отделения, разбросанных по крупным и мелким городам и даже селам. Для управления всем этим хозяйством создана структура с разделением на бизнес-вертикали и вертикали поддержки (ИТ и операционная деятельность, контроллинг, безопасность и др.) на уровне центрального офиса и 25 региональных дирекций.

 До начала реализации проекта в ЦОД в 2008 году использовались два модульных отказоустойчивых ИБП APC Symmetra PX 160 и один Symmetra PX 80, резервированных по схеме N+1 (сотрудничество банка с этим вендором ведет свой отсчет с 2006 года). Однако одновременно с ними были установлены три моноблочных ИБП Powerware 80. В случае выхода из строя какого-либо компонента устройство приходилось полностью выводить из эксплуатации, а, значит, на время ремонта или профилактических работ система резервного питания отсутствовала. При переключении на байпас для минимизации рисков приходилось переходить на ДГУ SDMO 630 кВА.

 Блоки распределения питания (PDU — Power Distribution Unit) от разных вендоров не были заведены в центральную систему мониторинга, соответственно, обслуживающий персонал не знал, перегружен шкаф или нет. Установка нового оборудования могла привести к выходу из строя одного PDU, нагрузка перераспределялась на второй — в результате, могло произойти отключение всего оборудования в шкафу.

 В рамках инженерной инфраструктуры использовались шкафы APC, HP, «Инком» и других производителей. С точки зрения обеспечения совместимости в этом нет ничего плохого — оборудование в стоечном исполнении становится в любой шкаф и подключается к PDU. Однако в существующих шкафах нельзя было разместить ZeroU PDU для увеличения эффективного пространства. Кроме того, отсутствовали специальные усовершенствования, необходимые для определенных серий сетевого оборудования.

 Во время аварий и восстановительных работ с автоматами, PDU и другими элементами системы гарантированного электропитания телекоммуникационное оборудование с одним блоком питания отключалось. Не удавалось избежать плановых отключений и при проведении профилактических работ — оборудование приходилось переключать на другой ИБП. В итоге горизонт планирования неизбежно увеличивался, персоналу приходилось работать по ночам.

  Системы кондиционирования не были защищены через ИБП, а подключались от двух вводов напрямую от городской электросети. При отсутствии напряжения на обоих вводах система кондиционирования работала от дизель-генератора. В случае исчезновения питания на одном из вводов происходило переключение на второй, но из-за кратковременного скачка не удавалось избежать перезагрузки кондиционеров. В этот самый момент температура в помещении ЦОД начинала расти со всеми вытекающими отсюда последствиями. Поскольку инциденты подобного рода в наших сетях происходят с завидным постоянством, температура нередко повышалась до критического уровня и риски отключения оборудования в ЦОД значительно возрастали.

Внешние блоки системы с воздушным охлаждением размещены на крыше здания, в котором находится помещение ЦОД

 Одновременно в банке появлялись новые проекты, количество оборудования увеличивалось, плотность тепловыделения и энергопотребление неизбежно росли. Банально не хватало мощностей. Инфраструктура перестала отвечать предъявляемым к ней требованиям и нуждалась в кардинальной модернизации.

 Первые шаги

 На рубеже 2009–2010 годов ИБП Powerware, которым на тот момент уже было больше 6 лет, вывели из эксплуатации. ИБП APC Symmetra PX 80 удалось заменить с зачетом остаточной балансовой стоимости на два Symmetra PX 160 (в конфигурации на 128 кВт). В результате получили выигрыш в мощности, а на смену потенциально небезопасной системе с резервированием N+1 пришла система с резервированием 2(N+1).

 Поскольку в здании ЦОД изначально отсутствовал полностью разделенный двойной подвод питания, специалисты банка провели работы по дублированию энерговводов. К каждому ИБП подключили шкафы распределения питания уровня помещений с функцией мониторинга. В каждый ИТ-шкаф установили по два внутришкафных устройства распределения питания, подключенных к различным системам бесперебойного питания. Тем самым удалось полностью дублировать подводы электропитания, начиная от вводов и заканчивая конечными потребителями, — в первую очередь, серверами. 

Одновременно закупили шкафы АРС (старые модели других производителей утилизировали): 600х1070 мм для стандартного оборудования, 750х1070 мм для коммуникационного и 600х1200 мм для высокоплотного. В них установили по два новых APC ZeroU Rack PDU с модулями слежения за потреблением нагрузки. Таким образом, удалось провести полную стандартизацию шкафов и средств Cable Management.

 Часть коммуникационного оборудования в ЦОД располагала только одним блоком питания, поэтому для резервирования питания внедрили новое решение от АРС — Rack ATS (Automatic Transfer Switch). При выходе из строя любого из вводов оно автоматически переключает нагрузку на другой без остановки работы оборудования. Без этого решения не получалось обеспечить полное резервирование по электропитанию.

 Не прошло и полгода…

 …как после реализации части проекта по инфраструктуре ЦОД руководство банка поставило новую непростую зада чу. В середине 2011 года планировалось появление большого количества проектов, бизнес-инициатив, при этом требовалось обеспечить возможность их внедрения и позаботиться о наивысшем уровне отказоустойчивости (о каких именно задачах и проектах шла речь, в ИТ-службе сообщить отказались, сославшись на конфиденциальность информации).

 После изучения представленной проектным офисом информации стало ясно, что реализация требуемой бизнесом функциональности предполагает значительное наращивание серверных ресурсов. Но имеющаяся в распоряжении банка инфраструктура не была приспособлена для внедрения проектов — прежде всего, на основной площадке не хватало доступных мощностей. Из недостающих 150 кВт предполагали 90–100 кВт использовать на нужды ИТ-оборудования (в основном серверов) и только 50 — на системы охлаждения, питание и проч.

 Разработка общего плана модернизации происходила вместе с представителями APC by Schneider Electric. Один большой проект удалось разделить на четыре этапа, детальная проработка каждого из них также проходила с участием консультантов АРС и специалистов компаний-подрядчиков, которым предстояло внедрять решения. Комплексный подход предполагал обновление главного распределительного щита (ГРЩ) и помещения ЦОД для установки дополнительного оборудования, инсталляцию новых систем кондиционирования и распределения электропитания.

 Представители ИТ-службы банка составили техническое задание, которое учитывало выдвигаемые к инфраструктуре требования. В его подготовке опятьтаки принимали участие сотрудники АРС by Schneider Eletric. На каждом из четырех этапов проводились отдельные тендеры и определялись победители. По словам Евгения Жукова, заместителя начальника управления серверных систем и хранения данных АО «Райффайзен Банк Аваль», между собой соревновались компании из числа партнеров APC, а выигрывали те, кому удалось предложить наиболее привлекательные ценовые условия.

Эквивалнетная длина фреонотрассы оказалась одной из самых протяженных в Украине и достигла 51м.

 По этапам в светлое будущее 

Первый этап (2-я половина 2010 года)

Сначала перераспределили питание в ГРЩ, что позволило использовать дополнительно 150 кВт мощности. Пришлось обновить и кабельные системы между ГРЩ и ИБП, чтобы они могли выдерживать дополнительную нагрузку, дизель SDMO 630 кВА заменили на модель мощностью 800 кВА. Но чтобы задействовать поступившие в распоряжение 150 кВт в полном объеме, еще предстояло обновить инфраструктурное оборудование. Поэтому мощность росла постепенно.

 Второй этап (1-й квартал 2011 года) 

В январе стартовала модернизация двух из четырех имеющихся на объекте ИБП Symmetra PX 160. В них добавили модули, нарастили мощность до максимально возможной величины (144 кВт) с внутренней избыточностью уровня N+1 и затем на эти ИБП переключили часть оборудования. Оставшиеся два источника временно вывели из эксплуатации и после переноса в новое помещение задействовали для организации бесперебойного питания системы прецизионного кондиционирования. На их место в феврале приобрели еще две модели Symmetra PX 250/500 в конфигурации на 225 кВт с возможностью дальнейшего наращивания мощности и времени автономной работы. Установленные интеллектуальные шкафы распределения питания уровня помещений APC Half-Rack PDU позволили распараллелить подвод питания от ИБП к шкафам с оборудованием. 

Третий этап (1-2-й кварталы 2011 года) 

Параллельно с переходом на Symmetra PX 250/500 начался проект по интеграции систем кондиционирования. Справедливости ради нужно отметить, что заказчик изучал возможности не одних только решений APC. В частности, рассматривался вариант использования системы чилер-фанкойл с внутренними блоками APC и внешними (чилерами) Emerson. Но проведенная экспертиза доказала его несостоятельность по причине низкой эффективности. На нужды ИТ-оборудования в этом случае оставалось меньше запланированной в расчетах мощности в 100 кВт.

 Специалисты банка занялись разработкой других вариантов решений и в итоге пришли к выводу о необходимости использования системы с воздушным охлаждением. Но внешние блоки получалось разместить только на крыше здания, поэтому расчетная эквивалентная длина трассы превышала максимально возможную для кондиционеров большинства производителей. Исключение составляли внутрирядные кондиционеры APC — они могли работать в широком диапазоне температур (от -35 до +40 градусов) и позволяли реализовать проект без увеличения рисков и потери части номинальной производительности.

 В марте реорганизацию систем охлаждения удалось успешно завершить. Четыре существующих кондиционера APC InRow RP дополнили пять новых InRow RD. Эквивалентная длина фреонотрассы оказалась одной из самых протяженных в Украине и достигла 51 м! 

Четвертый этап (1–3-й кварталы 2011 года)

 Завершающий этап начался с установки систем кондиционирования, шкафов, PDU. Эти работы велись с января и закончились в мае. После запуска системы кондиционирования стали доступны в полном объеме все заложенные в проект мощности. 

Поскольку внедряемое ИТ-оборудование отличалось высокой плотностью энергопотребления и, соответственно, тепловыделения, возникла необходимость изменить схему распределения электропитания по шкафам. В новой секции ЦОД использовались трехфазные ZeroU PDU с функцией удаленного и локального мониторинга. Они позволили увеличить нагрузку на шкаф до 11 кВт и обеспечить таким образом более сбалансированный и щадящий режим работы ИБП.

 На систему бесперебойного питания переключили все кондиционеры в помещении ЦОД головного здания банка. В результате удалось избежать сложностей с запуском систем кондиционирования после отключения питания, минимизировать риски выхода из строя их компонентов и, как следствие, не допускать перегрева ИТ-оборудования.

 Перестановку «мебели» никто не заметил

 В настоящий момент проект модернизации инженерной инфраструктуры ЦОД полностью завершен. Бизнес строго в оговоренные сроки получил в свое распоряжение все необходимые ресурсы для установки оборудования и реализации намеченных инициатив. Более того, революционных изменений в инфраструктуре сотрудники банка попросту не заметили и не почувствовали. 

Теперь перебои с питанием больше не вызывают опасений у ИТ-департамента. Поскольку два независимых подвода доступны всему оборудованию, начиная от вводов и заканчивая кабелями, ИБП, щитами, автоматами, PDU, в случае выхода из строя любого звена все остальное продолжает работать. Не приводит к полной остановке и отказ одного из компонентов ИБП: пока инженер меняет модуль в «горячем» режиме, система продолжает работать с резервированием по схеме 2N. И даже в случае выхода из строя многих модулей разных типов она сохраняет работоспособность. Больше нет необходимости выводить оборудование из эксплуатации (режим байпасс или ему подобный) на время ремонта или сервисного обслуживания. 

Помимо инфраструктуры изменения затронули и административно-организационную часть. Сейчас оборудование устанавливает в стойки и подключает питание инженер по инфраструктуре, а не администраторы серверов и сетей. В Райффайзен Банке Аваль уже несколько лет кряду для отслеживания и анализа событий, происходящих в инженерной инфраструктуре, используется программно-аппаратный комплекс APC ISX Central. Теперь в единую систему мониторинга подключены ИБП, дизель, PDU, АВР. И если, например, при установке в шкаф дополнительного оборудования вдруг пропадет резервирование или возникнут сложности с охлаждением в стойке, специалист это сразу увидит и выберет для него другой шкаф. ЦОД находится на пороговом значении потребления электроэнергии, и обеспечивать максимальную энергоэффективность каждого потребителя крайне важно (текущий коэффициент PUE равен 1,5). Заодно сводятся к минимуму ошибки, связанные с человеческим фактором. 

Невероятно, но для обслуживания внушительного по своим масштабам ЦОД, в котором насчитывается свыше тысячи серверов, банку достаточно двух инженеров! Таким образом решение от одного вендора в сочетании с выверенным подходом к проектированию экономит время, деньги и нервы.

           Комментарий ЗАКАЗЧИКА

Евгений Жуков,заместитель начальника управления поддержки дата-центра и телекоммуникаций АО«Райффазен Банк Аваль»

Семь раз отмерь — один раз отрежь

Получив опыт работы в разных компаниях на разных должностях, я понял, что финансовые показатели напрямую зависят от качества предоставляемых ИТ-услуг. А их качество, в свою очередь, напрямую зависит от ИТ-инфраструктуры. Основным моментом, влияющим на надежность и эффективность решения, является вдумчивое проектирование всего комплекса, начиная от ИТ-инфраструктуры и заканчивая катастрофоустойчивыми комплексами и организационными мерами. Большинство известных мне сложностей в других организациях возникало как следствие неправильного проектирования или необдуманной экономии средств при реализации отличных проектов. Без партнеров, специалистов и архитекторов АРС by Schneider Electric, которые привлекались на всех этапах развития этого проекта, достижение намеченных целей оказалось бы невозможным.

Правильный выбор

Я присоединился к команде Райффайзен Банк Аваль четыре года назад. Закончил НТУУ «КПИ», издательско-полиграфический факультет. Начиная с третьего курса работал системным администратором, обслуживал небольшие организации. Потом устроился работать системным администратором-дизайнером в Парламентское издательство при Верховной Раде Украины. Следующим этапом стала должность системного администратора, а позже помощника технического директора в компании «Стиль-С» (информационно-рекламное агентство, входящее в ГК «Интер». — Прим. ред.). В Райффайзен Банке Аваль я начинал с позиции главного специалиста отдела серверных систем, постепенно дорос до заместителя начальника отдела, позже стал начальником отдела, а теперь занимаю должность заместителя начальника управления поддержки дата-центров и телекоммуникаций. Кстати, когда я устраивался в на работу в банк, параллельно проходил собеседование в «Квазар-Микро» (сейчас «СИТРОНИКС ИТ». — Прим. ред.). Я успешно прошел собеседование в обеих компаниях и долго думал, куда лучше пойти. Но в итоге сделал правильный выбор.