Совместный проект «S&T Софт-Троник», Sun Microsystems и Oracle
В современном банковском бизнесе качество обслуживания клиентов относится к числу основных факторов, определяющих требования к организации ИТ-инфраструктуры. Всё чаще банки инвестируют средства в географически распределённые системы, архитектура которых предполагает отсутствие единой точки отказа. Создание отказоустойчивого кластера, отвечающего требованиям крупного банка к производительности и надёжности, — сложнейшая задача, требующая от исполнителя и заказчика глубокой экспертизы в проектировании и эксплуатации сложных систем.
 |
История внедрения
В 2000 году компания «S&T Софт-Троник» совместно с компанией Sun Microsystems выиграли тендер Всемирного банка на создание в «Укрэксимбанке» кластерной платформы для обслуживания автоматизированной системы управления. Результатом проекта стал разработанный компанией «S&T Софт-Троник» геокластер, объединивший узлы, расположенные в зданиях банка на расстоянии 9-км друг от друга. О технологической сложности проекта свидетельствует звание «Лучший проект года», которое ему присвоили компании Oracle и Sun Microsystems.
На протяжении нескольких лет происходило последовательное расширение системы. В 2007 году кластер достиг пика производительности, в связи с чем возникла необходимость его модернизации с учётом задач, сформулированных долгосрочной стратегией развития банка. Разработка проекта нового кластера была возложена на компании «S&T Софт-Троник» и Sun Microsystems, уже имевшие опыт проектирования и ввода в эксплуатацию предыдущего решения.
Методика
В ходе реализации проекта основной исполнитель проекта — компания «S&T Софт-Троник» совместно со специалистами банка разработала методику, в которой были сформулированы технические требования заказчика. На их основе был проведён статистический анализ работы системы за последний год, проанализирована интенсивность загрузки устройств ввода-вывода, систем хранения данных, динамика роста количества операций в секунду. Основываясь на результатах проведённого исследования, «S&T Софт-Троник» и Sun Microsystems предложили заказчику архитектуру кластера и конфигурацию его компонентов: серверов, систем хранения, сетевых коммутаторов и других устройств, вошедших в его состав.
В целом применённая «S&T Софт-Троник» методика обеспечила согласование технологий построения, предложенных четырьмя производителями: серверов и дисковых массивов (Sun Microsystems), сети передачи данных (Brocade), вычислительной сети (Cisco), высокодоступных систем обработки и защиты информации (Oracle RAC, Oracle Data Guard).
Архитектура системы
Предыдущий кластер был построен на основе оборудования Sun Microsystems. Он успешно справился со всеми поставленными задачами, а его функционирование не вызывало нареканий со стороны ИТслужбы банка. В связи с этим при выборе поставщика оборудования для нового кластера преимущество было отдано Sun Microsystems. Кроме того, решение сохранить программно-аппаратную платформу кластера существенно упростило задачу миграции. Благодаря совместимости системного и прикладного программного обеспечения на платформе SPARC, возможные технические риски в процессе переноса системы на новый аппаратный комплекс были исключены.
Архитектура нового кластера использует подходы, которые успешно применялись в предыдущем решении, и в то же время содержит целый ряд дополнительных компонентов, повышающих его производительность и надёжность. В предыдущей конфигурации кластер состоял из двух серверов, разнесённых на 9-км и соединённых оптическим каналом связи. В результате модернизации существующая схема решения была сохранена, а действующие серверы заменены современными Sun Fire v490, оснащёнными четырьмя процессорами UltraSPARC IV+ с частотой 1,8 ГГц и 32 МБ кэш-памяти. Кроме того, был организован дополнительный независимый оптический канал связи. С его помощью обеспечена полная отказоустойчивость вычислительной сети и сети передачи данных, связывающей две территориально распределённые площадки банка.
Кластеризация в новом решении выполнена при помощи средств операционной системы Solaris 10. Возможности кластеризации на уровне СУБД обеспечивает Oracle 9 Real Application Cluster.
Помимо модернизации двух основных серверов кластера, в систему был добавлен третий сервер идентичной конфигурации. В настоящее время он находится в режиме stand-by и используется для обеспечения защиты данных системы автоматизации банка (САБ) посредством технологий Oracle Data Guard. К тому моменту, когда нагрузка на основные узлы кластера достигнет максимума, третий сервер будет включён в состав Real Application Cluster и примет на себя часть нагрузки с первых двух узлов.
В ходе модернизации внедрена новая система хранения данных, состоящая из двух дисковых массивов, ленточной библиотеки, объединённых сетью хранения данных (SAN) с дублированными компонентами и каналами связи. Система хранения построена на базе продуктов компании Storage Tek, вошедшей в 2006 году в состав Sun Microsystems.
На основе предполагаемого роста объёма хранимых данных было принято решение использовать дисковые массивы StorageTek 6140, содержащие по 16 дисков ёмкостью 146 ГБ каждый. Для географического резервирования на каждой площадке установлен один массив, который подключён к двум контроллерам, оснащённым 2 ГБ памяти и четырьмя процессорами UltraSPARC 1,8 ГГц, работающими в режиме резервирования «1+1». Такая схема подключения характеризуется отсутствием единой точки отказа и обеспечивает полную отказоустойчивость.
Долгосрочное хранение данных обеспечивает ленточная библиотека Sun StorEdge L500, установленная на одной из площадок. Она использует 4 устройства LTO в режиме резервирования. Максимальная ёмкость библиотеки составляет 79 ТБ. Резервное копирование производится средствами SAN, без привлечения ресурсов серверов кластера. Данные дисковых массивов передаются по FC-каналам через коммутатор SAN непосредственно в библиотеку. Таким образом достигается экономия ресурсов основной вычислительной сети.
Резервное копирование производится в ночное время, когда нагрузка на базу данных минимальна. Система позволяет производить резервное копирование также в режиме реального времени, однако заказчик эту функциональность пока не использует.
Результаты проекта
В результате реализации проекта был построен географически распределённый кластер. Его архитектура характеризуется отсутствием единой точки отказа на каждой площадке. Благодаря географическому резервированию, система является катастрофоустойчивой, что подразумевает полное сохранение работоспособности в случае выхода из строя всего оборудования, находящегося на одной из площадок. При сбое в системе происходит автоматическое восстановление.
По словам Сергея Цокола, члена правления «Укрэксимбанка», одним из главных итогов внедрения стал рост производительности банковской системы, который позволил существенно повысить скорость выполнения транзакций. Это сократило время реакции системы на клиентские запросы. Также ускорились многие технологические процессы, такие как обработка платежей и «закрытие» рабочего дня. Устранение задержек, связанных с перегрузкой системы во время составления квартальных отчётов, позволило банку отказаться от работы в две смены в этот период.
Внедрённое решение обеспечит вычислительные потребности банка на ближайшие пять лет. Дальнейшее его масштабирование будет осуществляться добавлением новых узлов в кластер и расширением дисковых массивов. Архитектура решения позволяет поэтапно расширять функциональность и производительность кластера, что предоставляет заказчику возможность оптимально распределять затраты на развитие ИТ-инфраструктуры в соответствии с ростом потребностей бизнеса.
| КОММЕНТАРИЙ ИНТЕГРАТОРА | |
Об особенностях модернизации системы редакции PCWeek/UE рассказывает Александр-Щонхор, начальник управления информационно-технического обеспечения «S&T Софт-Троник»:
Для снижения технологических рисков и собственно обеспечения успешности миграции системы были строго соблюдены следующие ключевые фазы и операции проекта: 1. Перераспределение каналов передачи данных. В ходе проекта была создана новая оптоволоконная магистраль, которая обеспечивала дублирование и физическую разнесённость каналов, а также достижение максимально возможного уровня катастрофоустойчивости кластера САБ. Эта критическая точка была пройдена без задержек благодаря тщательному предварительному тестированию магистралей. После переключения каналы заработали в тех режимах, которые для них проектировались. 2. Построение и тестирование платформы САБ: кластер Sun Microsystems и система хранения данных под управлением Veritas Cluster. Строгое соблюдение методик проектирования, построения и тестирования компании-производителя Sun Microsystems обеспечили безотказную реализацию данных компонентов. 3. Построение и тестирование кластерной платформы Oracle для прикладной задачи САБ. Здесь же был реализован компонент Oracle Data Guard: Stand By Server & Backup. Благодаря высокому уровню профессионализма нашего технологического партнёра — фирмы «ОС Консалтинг», которая сопровождает САБ заказчика, были получены необходимые данные, позволяющие оптимально настроить платформу в новых требованиях прикладной задачи. 4. Финальная операция: миграция данных и опытная эксплуатация модернизированной системы САБ. Здесь необходимо отметить исключительно высокий уровень профессионализма подразделения заказчика, выполняющего сопровождение эксплуатируемой САБ. Так, основные исполнители проекта взяли на себя реализацию лишь критических функций, обеспечивающих доступность сервисов системы, а всю работу по проверке данных и тестированию прикладных сервисов выполнял собственно заказчик. Это позволило, в конечном итоге, в планируемые сроки принять обоснованное решение о готовности САБ и о возможности проведения одномоментного переключения процессов и операций жизнедеятельности компании-заказчика на модернизированную САБ. Результат проекта подтверждает опыт «лучшей практики»: строгое использование сертифицированных знаний, строгое соблюдение технологий реализации и строгость практики с элементами know-how всех участников проекта явились единственным, объединённым условием, позволившим столь успешно реализовать поставленные проектом задачи». |
| КОММЕНТАРИЙ ПРОИЗВОДИТЕЛЯ | |
Об особенностях системы рассказывает Ольга Румелиоти, глава представительства, региональный менеджер Sun Microsystems в Армении, Беларуси, Грузии, Молдове и Украине:
«Приоритетным направлением инвестирования для Sun Microsystems всегда являлись технологии, обеспечивающие максимальную стабильность бизнеса заказчика в постоянно меняющихся условиях современного рынка. Благодаря такому целенаправленному развитию, оборудование Sun Microsystems обладает рядом уникальных технологических особенностей, позволяющих добиваться наивысших в индустрии показателей защиты инвестиций заказчика. Ярким примером является проект в ОАО «Укрэксимбанк» по модернизации платформы САБ. Ещё несколько лет назад решение стоящих тогда перед банком задач было возможно только на оборудовании класса enterprise. Сегодня нагрузка значительно возросла, но с ней эффективно справляются серверы среднего уровня. При этом используемое в проекте оборудование обладает достаточным запасом производительности, чтобы удовлетворить растущие потребности банка в ближайшие пять лет». |
