ЦОД КБ «ПриватБанк» является крупнейшим в банковском секторе Украины. Один из наиболее опытных в нашей стране системных интеграторов RIM 2000 начал проект по его созданию в 2005 году, причем расширение инфраструктуры и наращивание мощностей продолжается до сих пор. В настоящий момент суммарная мощность ЦОД составляет 140 кВт/час, а в планах банка ее увеличение почти вдвое.

Одна из главных особенностей центра обработки данных — это плотность вычислительных мощностей. Запланированный максимум плотности достигает значения 25 кВт на один монтажный шкаф. Для обеспечения гарантированного энергоснабжения и эффективного теплоотвода с малой площади RIM 2000 реализовал уникальное решение на базе архитектуры APC InfraStruXure тип B.

Весь комплекс оборудования, включая вычислительные мощности, сетевое оборудование и инженерную архитектуру не имеет единой точки отказа, что обеспечивает высочайший уровень надежности ЦОД.

Проблема роста

Быстрый рост числа клиентов банка в последние годы, расширение спектра услуг и сервисов потребовали полной реорганизации информационной инфраструктуры. Растущие потребности бизнеса привели к необходимости создания мощного и, главное, масштабируемого ЦОД. Электронные формы обслуживания клиентов выдвинули жесткие требования к непрерывности работы информационных ресурсов.

Нетривиальная задача

Банк выделил помещение и поставил перед департаментом информационных технологий задачу создать современный ЦОД. Вычислительная производительность серверов и емкость подсистемы хранения данных должны быть достаточными для обеспечения работы существующих банковских систем, а также иметь резерв развития для запуска новых услуг в течение ближайших 2-3 лет. Кроме того, ЦОД должен обеспечивать бесперебойную круглосуточную работу всех систем в режиме 24х7х365.

Требования в цифрах

На момент начала проекта, в 2005 году, серверное помещение не позволяло выполнить поставленные банком задачи развития. Так как закупка оборудования проводилась в течение многих лет от случая к случаю, в серверной физически не оставалось места для размещения нового оборудования. При этом суммарная мощность энергопотребления достигла значения 40 кВт, и провести дополнительное энергопитание не представлялось возможным. Кроме того, серверное помещение не соответствовало инженерным требованиям, следовательно, не позволяло обеспечить требуемый уровень надежности комплекса.

Исходя из поставленной задачи, ИТ-департамент пришел к выводу о необходимости реализации решения промышленного уровня. На основании расчетов специалистов, запланированная мощность ЦОД составила 50 кВт с возможностью наращивания до 80 кВт по мере запуска новых банковских услуг. Размещение ЦОД такой мощности в выделенном помещении предъявляло особые требования к эффективности использования пространства. Задача обеспечения круглосуточной работы всех систем потребовала создания инженерной инфраструктуры, гарантирующей бесперебойное энергоснабжение комплекса и эффективное охлаждение оборудования. Кроме того, обслуживание всех систем должно обеспечивать гарантированное время восстановления работоспособности оборудования в течение не более чем 6 часов. Дополнительно ко всем подсистемам ЦОД выдвигалось требование наличия систем централизованного мониторинга и управления.

Оптимальное решение

Наиболее оптимальным «ПриватБанк» признал решение, предложенное RIM 2000. Причем наряду со стоимостью и характеристиками предложенного оборудования, ИТ-департамент банка особое внимание уделил возможностям подрядчика не только выполнить работы по внедрению, но и обеспечить дальнейшее сопровождение, обслуживание и развитие полученного комплекса.

Выбранное решение для построения ЦОД включало в себя несколько подсистем. Для создания инженерной инфраструктуры за основу взято оборудование APC by Schneider Electric. Модульная архитектура APC InfraStruXure тип B позволяла достичь необходимой плотности размещения оборудования в условиях ограниченного помещения и удовлетворить остальные требования, предъявленные к ЦОД.

Системный интегратор RIM 2000 предложил строить вычислительный комплекс на базе продуктов и решений компании HP. В 2005 году систему необходимой производительности можно было построить при использовании оборудования нескольких вендоров. Однако только HP предлагала в Украине уровень сервисной поддержки, позволяющий выполнить требование к гарантированному времени восстановления работоспособности оборудования.

Одним из немаловажных факторов была необходимость достижения максимальной плотности сетевых подключений. Это условие системный интегратор выполнил при помощи оборудования AMP Netconnect.

Для обеспечения централизованного мониторинга и управления комплексом RIM 2000 предложил внедрить сервис-ориентированную архитектуру управления ИТ-ресурсами на базе программного обеспечения HP Service Desk.

Изменения задачи

Темпы развития банка внесли существенные коррективы в поставленную изначально задачу. Запланированного резерва мощности вычислительных систем хватило всего на полгода. Так как резерв наращивания мощности в выделенном помещении был исчерпан, банк предоставил под ЦОД дополнительное помещение и сформулировал новые требования. Таким образом, работы по созданию ЦОД можно логически разбить на три этапа.

Первый этап охватывает работы по вводу в эксплуатацию основных узлов, обеспечивающих полную функциональность инфраструктуры. RIM 2000 завершил его в феврале 2006 года. По мере заполнения ЦОД серверным и коммуникационным оборудованием начался второй этап внедрения. Подрядчик увеличил мощность энергообеспечения и произвел модернизацию системы охлаждения с учетом новых требований. Этот этап завершился в 2007 году. В настоящий момент внедрение системы находится уже на третьем этапе. Расширение ЦОД предполагает размещение в дополнительном помещении оборудования общей мощностью 160 кВт. Требования к надежности комплекса остаются на самом высоком уровне.

Инженерная инфраструктура

В инженерной инфраструктуре ЦОД «ПриватБанка» было использовано решение APC InfraStruXure тип B. Основными его преимуществами являются эффективное охлаждение, обеспечение бесперебойного питания и централизованное управление всем инженерным комплексом.

Охлаждение

Исходя из высокой плотности оборудования, RIM 2000 построил систему зонального кондиционирования. Все оборудование разместили в монтажных шкафах APC NetShelter SX, а сами шкафы построили в 2 ряда для создания «горячих» и «холодного» коридоров. Система охлаждения использует прецизионные кондиционеры APC Network AIR IR и InRow RC/RP и промышленные чиллеры Clivet. Первоначально применяли чиллеры мощностью 85 кВт, однако расширение ЦОД потребовало их замены более производительными охладителями. На сегодня ЦОД «ПриватБанка» использует чиллеры нового поколения полезной мощностью 280 кВт. Все системы и все элементы оборудования — резервуары, контуры, насосы — полностью зарезервированы. Даже в случае полного отключения электропитания, хладагента в резервуарах хватит для эффективного охлаждения системы в течение 1 часа.

Бесперебойное питание

С целью обеспечения подачи электроэнергии «ПриватБанк» не только заключил с горэнерго соответствующий договор, но и за свой счет оборудовал подстанцию двумя новыми трансформаторами высокой мощности. На случай перебоев в подаче энергии комплекс предусматривает переход на независимое электропитание. При сбое автоматически в течение 11 секунд включается дизельный генератор, полностью удовлетворяющий потребности ЦОД. Изначально система использовала ДГУ английской фирмы Wilson мощностью 275 кВт, однако ее мощности стало уже недостаточно. С вводом в эксплуатацию всего комплекса оборудования в дополнительном помещении, общее энергопотребление ЦОД дойдет до уровня 440 кВт. Для обеспечения необходимого электропитания был установлен новый генератор Wilson мощностью 700 кВт. Старый же после ремонта будет установлен в одном из офисов банка.

Для создания системы гарантированного электропитания использованы модульные источники бесперебойного питания APC Symmetra PX. Первоначально они были рассчитаны на 60 кВт. По мере наполнения ЦОД оборудованием использовались дополнительные модули ИБП, и в настоящий момент их суммарная мощность составляет 140 кВт. Расчетное время работы всей системы на ИБП составляет 19 минут. Даже в случае обрыва линии горэнерго и одновременного отказа дизельного генератора, времени работы комплекса на Symmetra PX хватит для корректного завершения работы всех серверов.

Подготовка, контроль и управление

С целью обеспечения необходимых условий работы ЦОД, сотрудники RIM 2000 провели предварительную подготовку помещения. Стены выкрасили влагостойкой краской. На потолок нанесли специальное покрытие, сводящее к минимуму возможность образования пыли. Пол покрыли антистатическим линолеумом, под которым провели заземление оборудования. Для контроля параметров окружающей среды внедрена система мониторинга, которая отслеживает не только температуру и влажность, но и задымление, затопление, вибрацию, а также открывание дверей монтажных шкафов.

Система централизованного управления оборудованием и принятия решений на базе аппаратно-программного комплекса APC ISX Manager является одним из главных преимуществ решения InfraStruXure. Консоль системы предоставляет доступ к мониторингу и управлению всеми узлами и компонентами инфраструктуры. Это повышает эффективность управления и уменьшает объем работы обслуживающего персонала. В дополнение к стандартной возможности контроля параметров с консоли оператора, ISX Manager предполагает функцию передачи сообщений о критических событиях на мобильные телефоны. В ЦОД «ПриватБанка» данная функция используется для оповещения как сотрудников банка, так и специалистов RIM 2000, обеспечивающих обслуживание ЦОД. Это гарантирует реагирование службы поддержки в максимально короткие сроки.

Все системы и компоненты зарезервированы по схемам N+1, 2N и даже 2N+1. Таким образом, инженерная инфраструктура ЦОД не имеет единой точки отказа. Как следствие, коэффициент надежности комплекса равен 99,9999%, что соответствует среднему расчетному времени простоя не более 2-4 часов в год. Унификация всех компонентов обеспечивает совместимость оборудования и возможность масштабирования ЦОД, ограниченную лишь лимитом площади помещения. При этом модульные компоненты предусматривают возможность «горячей» замены, обслуживания без остановки системы и без переключения в обходной режим. Полученная система предусматривает восстановление работоспособности в случае поломки с максимально допустимым временем реакции — не более 6-ти часов.

Серверы и подсистема хранения данных

Критические процессы

Все задачи ЦОД можно разделить на 2 категории. Первая предполагает обслуживание критических для банка процессов с очень большими и быстро растущими объемами данных. Для задач этого типа «ПриватБанк» принял решение использовать многопроцессорные высокоуровневые системы. Причем стандартная архитектура серверов не позволяла решать ряд банковских задач, что обусловило выбор для критических банковских процессов сервера HP Integrity Superdome на базе процессоров Itanium. Этот сервер позволяет наращивать вычислительные мощности до 64 процессоров Dual-Core Intel Itanium и использовать до 2 TБ оперативной памяти. С целью достижения максимальной эффективности работы решения требовалось использование соответствующей дисковой системы хранения данных того же класса High-End. Предпочтение было отдано HP StorageWorks XP12000 Disk Array, позволяющей подключать до 1152 жестких дисков общим объемом более 300 TБ.

Основными преимуществами данного решения являются отказоустойчивость, высокая производительность, управляемость и масштабируемость. Оно полностью удовлетворило требования по обеспечению критических для банка процессов, причем с максимальной экономией пространства ЦОД. Но решающим преимуществом для банка оказалось предоставление для данного оборудования поддержки по стандарту Business Critical Support. Причем HP обеспечила наличие склада запасных частей и принадлежностей (ЗИП) непосредственно в Днепропетровске. А RIM 2000, в свою очередь, выделил 3-х специалистов, которые прошли обучение в HP для поддержки такого оборудования, и сейчас их основной работой является обслуживание действующего решения.

Некритические процессы

Задачи второй категории предполагают обслуживание менее критических процессов с меньшим объемом обрабатываемых данных. Для решения таких задач задействованы как серверы начального уровня HP Integrity rx6600 server, позволяющие использовать до 4 процессоров Dual-Core Intel Itanium, так и Blade-серверы. Причем именно Blade-решения стали основой серверной инфраструктуры ЦОД. В настоящий момент они представлены моделями HP Integrity BL860c (до 2-х процессоров Itanium), HP ProLiant BL685c (до 4-х Dual-Core AMD Opteron 2000 series), HP ProLiant BL680c (до 4-х Quad-Core Intel Xeon 7300 Series) и HP ProLiant BL460c (до 2-х Quad-Core Intel Xeon 5300 Series). Для работы с этими серверами используются дисковые системы хранения данных enterprise-класса HP StorageWorks 6100 Enterprise Virtual Arrays, позволяющие подключать до 112 дисков каждая.

Решение на базе серверов Blade-класса обладает рядом существенных преимуществ. Высокая производительность серверов и дисковых систем позволяет решать сложные и объемные задачи. Дублирование всех основных модулей гарантирует отсутствие единой точки отказа и, как следствие, отказоустойчивость решения в целом. Но самым главным преимуществом является компактность решения. За счет размещения всего оборудования в одном шкафу значительно экономится пространство в помещении и до 30% снижается энергопотребление.

Для создания сетей хранения данных (Storage Area Network) выбраны коммутаторы HP B-series SAN Switches 8Gbit. Реализованная архитектура SAN полностью зарезервирована и не имеет единой точки отказа, что обеспечивает высокую надежность решения в целом.

Структурированная кабельная система (СКС)

В первом помещении ЦОД RIM 2000 построил сеть категории 6 на витой паре. Однако уже при планировании сети в новом помещении банк повысил требования до категории 6А. Это повлекло за собой отказ от медных проводов и переход на оптоволоконо. После завершения работ по созданию оптоволоконной СКС во втором помещении ЦОД подрядчик заменил в первом зале все кабели витой пары оптическими линиями.

При планировании волоконно-оптической магистрали между коммуникационными центрами требовалось максимально сэкономить место в шкафах, обеспечив заданную емкость каналов. Оптических коммутационных панелей высокой плотности сейчас представлено довольно много, но на момент принятия решения единственным доступным и удобным оказалось оборудование AMP Netconnect.

При подготовке решения учитывалось взаимное размещение компонентов инженерной инфраструктуры, серверов и СХД. Полученное решение, по мнению специалистов RIM 2000, является оптимальным, соответствует пожеланиям заказчика и обладает необходимым резервом развития.

Максимальная плотность компоновки в одном из шкафов достигла 1056 кабелей. Все работы по организации кабеленесущей системы, прокладке жгутов, установке коммутационных панелей, сварке волокна и тестированию оптических линий выполнены силами департамента сетевых технологий и телекоммуникаций RIM 2000. Рефлектограммы всех 1344 оптических линий подтвердили качество 2784 точек сварки и монтажа.

Автоматизация управления ИТ-инфраструктуры

Одновременно с реорганизацией ЦОД банк принял решение о внедрении средств автоматизации управления. Переход от технико-технологической модели управления ИТ-ресурсами к сервис-ориентированной архитектуре на базе процессов, описанных в библиотеке лучших мировых практик организации ИТ (ITIL) был начат одновременно с установкой оборудования HP.

Для автоматизации процессов управления был выбран продукт HP OpenView Service Desk 4.5. Он работает в составе классической трехзвенной архитектуры: СУБД + сервер приложений + клиент. С целью упрощения развертывания и внедрения в программном комплексе предусмотрены как Windows—клиент, так и Web-клиент, а также комплект утилит SD-event, SD-Import, SD-Agent для интеграции с внешними приложениями.

В настоящий момент организован полный мониторинг состояния ИТ-инфраструктуры, а также создана единая точка контакта пользователей с поставщиками ИТ-услуг (Help Desk), автоматизирован процесс регистрации и выполнения заявок пользователей. Сейчас осуществляется переход на процессную модель работы (incident & problem management).

Внедрение такого решения призвано обеспечить эффективный контроль ИТ-ресурсов, гарантировать максимально быстрое реагирование на возникающие задачи и проблемы. Кроме того, решение позволяет автоматизировать регистрацию заявок пользователей, обеспечить контроль их выполнения, а также повысить эффективность использования рабочего времени ИТ-специалистов.

Первые результаты

Первым результатом внедрения ЦОД можно считать его выход в середине 2006 года на запланированное значение мощности 80 кВт/час. Учитывая использование более экономичного оборудования, ЦОД обеспечил практически трехкратное увеличение вычислительных ресурсов банка. К началу 2009 года суммарная мощность оборудования ЦОД составила 140 кВт, и в ближайшее время достигнет отметки 160 кВт.

Настоящим испытанием для инженерной структуры ЦОД стали последствия взрыва бытового газа в Днепропетровске, произошедшего в непосредственной близости от головного офиса «ПриватБанка». Вследствие повреждения городской энергосети, в течение 3-х дней отсутствовала подача электричества на подстанцию, обслуживающую ЦОД. В момент отключения подачи энергии автоматика корректно отработала нештатную ситуацию: питание оборудования было переведено на источники бесперебойного питания APC Symmetra PX, а через 11 секунд запустился дизельный генератор. Все 3 дня дизель-генераторная установка обеспечивала ЦОД необходимой энергией, возникала необходимость лишь регулярно пополнять запасы топлива. Все системы работали в обычном режиме, сервисы банка оставались доступными в полном объеме.

К сожалению, нет данных об оценке возможных убытков в случае простоя ЦОД банка в течение этих 3-х дней. Вполне возможно, что эта сумма превысила бы стоимость инвестиций в реорганизацию ЦОД. Но резервная система используется и в ординарных ситуациях. Дизельную установку банк часто запускает при нестабильности напряжения в городской сети. Генератор включают на срок от 1 до 2-х дней. По словам сотрудников банка, потребление топлива при нагрузке в 75% составляет 60 л/час. Таким образом, себестоимость электроэнергии от ДГУ лишь ненамного превышает цену горэнерго.

По достоинству оценили сотрудники ИТ-департамента и возможности APC ISX Manager, особенно функцию оповещения. По их словам, сервисные случаи возникают в среднем раз в неделю. И хотя в основном они касаются незначительных моментов, специалисты RIM 2000 сами приезжают в течение 2-3 часов. Также полезной оказалась функция мониторинга открывания дверей шкафов. Первоначально доступ в ЦОД имели сотрудники только одного подразделения «ПриватБанка», и эту функцию считали избыточной. Однако с изменением структуры персонала контроль доступа в шкафы стал востребованным.

Итоги

По словам сотрудников ИТ-департамента, внедрение новых услуг в банке не прекращается и в настоящее время. Соответственно, второго помещения ЦОД, по их мнению, хватит не более чем на 2-3 года, причем с учетом кризиса. Дмитрий Муравьев, руководитель департамента компьютерных систем надеется, что с окончанием строительства нового офиса «ПриватБанка», для расширения ЦОД появится еще одно дополнительное помещение.

Очевидно, умение ИТ-службы оперативно реагировать на быстро меняющиеся рыночные условия позволило «ПриватБанку» сохранить лидирующие позиции. Доступность всех сервисов составляет тот фундамент, на котором базируется доверие и лояльность клиентов. Последнее особенно важно в условиях финансовой нестабильности и массового оттока капитала из банковского сектора.

Киев — Днепропетровск — Киев

Оборудование и программное обеспечение HP для ЦОД

ЦОД «ПриватБанка» далеко не единственный в Украине, однако самый крупный комплекс в финансовом секторе. О результатах внедрения на текущий момент мы беседуем с Виктором Лисуновым, техническим консультантом Hewlett-Packard.

PCWeek/UE: Прокомментируйте, пожалуйста, выбор конфигурации вычислительного оборудования в ЦОД «ПриватБанка».

В.Л. Конфигурация серверного оборудования и оборудования для хранения данных абсолютно оправданна. Мы не адаптировали требования банка под нашу продукцию, а предлагали оборудование, исходя из потребностей и задач банка. При этом учитывали используемые банком программные продукты, собственные разработки, принимали во внимание текущие объемы данных и расчетов, планы по расширению и росту. HP предлагает весь спектр оборудования. Есть системы общего назначения — от начального уровня до больших высокопроизводительных систем. Например, к системам общего назначения промышленного стандарта относятся серверы Integrity на процессорах Itanium. Есть специализированные системы, например, NonStop. Это позволяет предлагать заказчику решения, максимально учитывающие его требования. В «ПриватБанке» используются системы хранения данных HP всех уровней. Есть небольшие дисковые массивы MSA, широко используются системы уровня предприятия EVA, а также применяются решения с высочайшим уровнем доступности XP. Дисковые массивы разного уровня выбираются для разных задач в зависимости от требований к производительности и уровню доступности служб. По той же причине в «ПриватБанке» можно найти серверы Integrity самых разных уровней. Серверы начального уровня используются, например, как Java-машины, системы среднего уровня — для обеспечения работы баз данных, а расширяемые модульные системы класса Superdome используются для решения объемных задач. Более того, в «ПриватБанке» реализованы некоторые принципиальные особенности современных ЦОД. К примеру, большая часть оборудования объединена в двухуровневую сеть хранения данных с применением концентраторов-директоров. Такая реализация позволяет управлять большими объемами данных с обеспечением высокой производительности, надежности и полного контроля. СХД в «ПриватБанке» — это не только коммутаторы, соединенные между собой. Для управления СХД установлено и внедрено специализированное ПО Data Center Fabric Manager Enterprise. 

PCWeek/UE: Компоненты каких решений еще предстоит внедрить в ЦОД «ПриватБанка»?

В.Л. Кроме наращивания аппаратных мощностей и объемов, необходимо внедрение программных решений. Например, для управления хранением данных необходимо ПО для резервного копирования и дедупликации, ПО для быстрого копирования и восстановления данных. Также потребуется ПО для управления на уровне служб, таких как продукты OpenView. Внедрение решений по автоматизации управления на уровне служб особенно важно в нынешней экономической ситуации, когда перед ИТ-департаментом предприятий стоит задача делать то же или большее количество работы без увеличения штатов. 

PCWeek/UE:. Как Вы оцениваете потенциал компании RIM 2000, уровень подготовки их специалистов?

В.Л. Ключевым фактором успеха проекта в «ПриватБанке» было тесное взаимодействие с партнером, который лучше всего знает потребности заказчика и способен обеспечить качественную поддержку первого уровня. Специально для предоставления качественной поддержки первого уровня специалисты RIM 2000 прошли курсы обучения обслуживанию соответствующих линеек оборудования HP. 

PCWeek/UE: Можно ли сравнивать мощность ЦОД в «ПриватБанке» с мощностями крупнейших мировых банков?

В.Л. Разумеется в мире есть очень большие банки. Но для нас важно не сравнение размеров, а то, что при построении центра обработки данных в «ПриватБанке» руководствуется теми же принципами, что и крупнейшие банки мира. Это единственно верный способ получить действительно эффективно работающую систему. На самом деле выбор небольшой — или сделать ЦОД правильно, или потратить деньги, но не построить ЦОД вообще.

Комментарий заказчика: "Переход количества в качество"

С одной стороны ЦОД — это элемент информационной инфраструктуры предприятия, с другой — ресурс развития бизнеса. О том, как все начиналось и развивается дальше, PCWeek/UE беседует с Вадимом Черевко, заместителем руководителя направления по разработке информационных технологий головного офиса «ПриватБанка»

PCWeek/UE: Какие, по вашему мнению, бизнес-задачи и процессы послужили предпосылкой для построения ЦОД?

В.Ч. Бизнес-задачи не являются предпосылкой как таковой. Бизнес-задачи потребовали увеличения количества ИТ-ресурса, а организация ЦОД — это переход количества в качество. Около 5 лет назад мы поняли, что выросли из «детских штанишек» локальных дисковых массивов с Rack-серверами. Мы осознали необходимость перехода к серьезным решениям. Начали с решений среднего класса, потом «доросли» до класса High-End. 

PCWeek/UE: По каким критериям для реализации проекта была выбрана компания RIM 2000?

В.Ч. Во-первых, RIM 2000 — самый сильный и крупный системный интегратор в Днепропетровске. А головной офис «ПриватБанка» находится именно в здесь. Во-вторых, по совокупности всех услуг, которые «РИМ 2000» нам предоставляет, я не представляю, кто мог бы их заменить. С другими интеграторами у нас до сих пор есть партнерские отношения, но все ключевые проекты, которые выходят за рамки компетенции сотрудников банка, возлагаются на RIM 2000.

PCWeek/UE: Какова стратегия дальнейшего развития ИТ и развития ЦОД в «ПриватБанке»?

В.Ч. У нас нет документа под названием «Стратегия развития ИТ». Все настолько быстро меняется, что формализованная стратегия не только бесполезна, но и вредна. Излишняя бюрократия сковывает развитие, а наш банк находится на этапе бурного роста, когда необходимо быстро реагировать, необходимо быть первыми. ИТ — это инструмент, и стратегия ИТ не может подменять собой стратегию развития бизнеса. Наша стратегия — максимально быстрое реагирование на требования бизнес-подразделений. Как только становится понятно, что для банка появилась возможность заработка, необходимо тотчас же обеспечить соответствующую поддержку и предоставить ресурсы.