Заказчики уже давно не хотят приобретать серверы или другую технику отдельно, а отдают предпочтение системным решениям. Примером такого комплексного интеграционного решения может служить проект компании “УЛИС Системс” в “СЕБ Банке” (ранее АКБ “АЖИО”), который находится в завершающей стадии.
 Схема локальной и оптоволоконной (SAN) сети |
Предпосылки к внедрению
Одна из основных задач заказчика состояла в переходе на более мощную платформу для СУБД. В то время в банке использовалась система на основе SPARC-серверов производства Sun Microsystems Enterprise 250 и Enterprise 450, а также системы хранения данных Sun StorEdge A1000, подключенной с помощью SCSI-интерфейса. Более производительный сервер, Enterprise 450, использовался в качестве основного сервера СУБД, второй — в качестве резервного. Постоянное увеличение объема обрабатываемых данных привело к тому, что основной сервер постоянно работал в режиме пиковой нагрузки. В то же время резервный сервер смог бы справиться с нагрузкой только частично — в случае сбоя многих пользователей его пришлось бы отключить. Банк предпринимал различные меры по наращиванию производительности этих серверов, однако они не были в достаточной степени эффективными и требовали значительных инвестиций. Таким образом, в “СЕБ Банке” возникла необходимость в обновлении серверов СУБД. Для платформы СУБД ORACLE заказчик поставил требование применения серверов SPARC, что позволяло упростить процедуру миграции базы данных со старых серверов. Оценив требования заказчика по производительности, интегратор предложил решение на основе сервера Sun Fire V490, оборудованном четырьмя двухъядерными процессорами ULTRA SRARC IV+ в сочетании с системой хранения данных DELL|EMC CX300 и дополнительной дисковой полкой DAE2. Среди прочих требований к системе необходимо было обеспечить высокую степень отказоустойчивости (в рамках бюджета проекта) и, по возможности, дублирование важных элементов системы.
Оборудование
Для решения поставленных задач в проекте было использовано такое оборудование и программное обеспечение:
1. Центральное хранилище данных DELL|EMC CLARiiON CX300 с дополнительной дисковой полкой DAE2.
2. Сервер головной СУБД Sun Fire V490 под управлением ОС Sun Solaris 10, программное обеспечение резервного копирования Legato Networker.
3. Два сервера контроллера домена, DNS- и WINS-серверы на оборудовании DELL PowerEdge под управлением ОС MS Windows Server 2003.
4. Файловый сервис — два сервера в кластере с использованием MS Cluster Services, подключенных к SAN и СХД на серверах DELL PowerEdge под управлением MS Windows Server 2003.
5. Сервер резервного копирования DELL PowerEdge под управлением MS Windows Server 2003 с программным обеспечением резервного копирования VERITAS BackUp Exec 10.
6. Ленточная библиотека DELL Power Vault 122T LTO-2.
7. Ленточная библиотека Sun Stor Edge L8 LTO-2.
8. Два источника бесперебойного питания APC Smart UPS 5000 с установленной сетевой картой и ПО APC PowerChute Network Shutdown.
9. Два оптоволоконных коммуникатора McDATA 4500.
10. Две серверные монтажные стойки.
В результате была построена сетевая среда SAN с применением двух оптоволоконных коммутаторов McDATA-4500. На сервер СУБД было решено установить последнюю, десятую, версию операционной системы Sun Solaris, которая, по данным разработчика, обеспечивает более высокий уровень производительности в сравнении с предыдущими дистрибутивами.
Отказоустойчивость и надежность
 Обобщенная схема решения |
Следующая степень надежности данного решения обеспечивается на уровне дисков в СХД. Для достижения высокого быстродействия в дисковых группах для СУБД было решено использовать массив RAID 1 (“зеркало”). Для оптимизации работы СУБД с хранилищем было создано восемь разделов.
СХД DELL|EMC CX300 построена на основе оптимизированной ОС FLARE OS, которая установлена на двухпроцессорных аппаратных модулях Storage Processor(SP). Каждый процессорный модуль имеет два порта, подключенных к коммутаторам, и один порт, к которому подсоединяется дополнительная дисковая полка. В будущем, если потребуется дополнительное пространство, к хранилищу можно будет подключить еще две дисковые полки.
Два независимых процессорных модуля, которые работают, как кластер, являются еще одним элементом для обеспечения отказоустойчивости. Управление СХД осуществляется с помощью установленного на каждом процессорном модуле программного продукта EMC Navisphere, который представляет собой центральную консоль среды сетевого хранения на базе CX300. Пакет Navisphere позволяет упростить управление данными в инфраструктуре хранения на базе CX300 и обеспечивает управление оборудованием и данными через веб-интерфейс.
Переход к Active Directory
Одной из главных задач проекта была замена службы каталогов на более унифицированное и современное решение. В банке уже давно используют Novel Directory Services, однако постепенно назрела необходимость в использовании серверов c ОС MS Windows. Поэтому было предложено перейти на технологию MS Аctive Directory для всего центрального офиса банка, что позволило отказаться от использования серверов на базе ОС Novell и уменьшить затраты на их сопровождение.
Применение MS Аctive Directory позволило создать хранилище информации обо всех элементах сети, в том числе о приложениях, файлах, принтерах и пользователях. Была внедрена согласованная методика описания элементов сети и созданы средства управления взаимоотношениями между распределенными ресурсами. Предложенные средства защиты обеспечивают целостность и защищенность сети. Службы MS Active Directory предоставили администраторам и пользователям инструментальные средства для управления инфраструктурой. Были обеспечены взаимодействие пользователей с распределенными в сети ресурсами и доступ к ним. Единая точка управления всеми пользовательскими учетными записями, клиентами, серверами и приложениями позволила унифицировать администрирование.
Полная миграция с NDS на технологию MS Active Directory была выполнена с сохранением прав доступа и полномочий пользователей. Также была произведена миграция содержимого файловых серверов с сохранением прав доступа.
Внутренняя сетевая инфраструктура, обеспечивающая работу Active Directory, выполнена с резервированием контроллеров домена, DNS- и WINS-серверов. Дублирование всех сервисов обеспечивает защиту и бесперебойную работу систем в случае выхода из строя одного из серверов.
Файловое хранилище
Для организации отказоустойчивого файлового сервера для хранения деловой и другой документации, а также программного обеспечения, необходимого для полноценного функционирования информационной среды банка, было решено использовать технологию MS Cluster Services на базе ОС MS Windows Server 2003 Enterprise и двух серверов DELL PowerEdge, подключенных к СХД. Для обеспечения отказоустойчивости в каждый сервер установлено по два однопортовых оптических контроллера EMULEX LP982. Для балансировки нагрузки в оптоволоконной сети и резервирования каналов связи с СХД используется программное обеспечение EMC PowerPath.
Резервное копирование
Для выполнения задач по резервному копированию было установлено программное обеспечение Symantec BackupExec 10d и ленточная библиотека PowerVault 122T LTO-2. На сервере Sun Fire для тех же целей используется Sun StorEdge L8 LTO-2 и программное обеспечение Legato Networker.
Электропитание
Для обеспечения надежного электропитания систем используются ИБП APC Smart UPS 5000 в сочетании с программным обеспечением APC PowerChute Network Shutdown. При реализации процедуры корректного выключения серверов возникли сложности, связанные с синхронизацией завершения работы операционных систем и СХД серверов, которые находятся в разных шкафах. Очень важно было добиться того, чтобы сервер СУБД с OS Sun Solaris закрыл базу ORACLE и отключился от логических разделов до того, как выключится ИБП, к которому подключена СХД. Для решения этих задач использовалось ПО APC PowerChute Network Shutdown. Чтобы гарантировать нужную последовательность отключения этих ИБП, использованы разные критерии для завершения работы. ИБП, подключенный к серверу СУБД, выдает команду завершения работы ОС через двадцать минут после пропадания электропитания, а подключенный к СХД ИБП — после того, как разряд батареи достигает 20%, что гарантирует требуемую последовательность отключения. Чтобы исключить единую точку отказа по электропитанию, принято решение о подключении одного из блоков питания сервера СУБД и СХД непосредственно к сети электропитания: в случае сбоя ИБП это не приведет к внезапному выключению серверов и СХД. Подобную логику использовали для всех элементов системы серверов и оптоволоконных коммутаторов, имеющих по два блока питания.
Результаты
В результате проекта в “СЕБ Банке” был осуществлен переход на новую платформу СУБД и построена гетерогенная сеть хранения данных. Предусмотренные средства отказоустойчивости и резервирования исключают остановку системы при выходе из строя одного из компонентов. Переход к MS Active Directory позволил унифицировать и упростить управление инфраструктурой и разграничить доступ пользователей к различным ресурсам сети.
