Для крупных телеком-муникационных операторов, которые эксплуатируют множество географически распределенных технических площадок, актуальна проблема консолидации ресурсов в центрах обработки данных (ЦОД). Подобная консолидация позволяет повысить управляемость инфраструктурой, снизить затраты на сопровождение и поддержку, обеспечить гарантированное качество предоставления сервисов. Эти задачи были успешно решены в ходе реализации проекта построения сети территориально распределенных ЦОД для компании «Укртелеком».

Предпосылки

ОАО «Укртелеком» является национальным оператором связи, который предоставляет услуги во всех регионах Украины. С точки зрения внутренней организации «Укртелеком» представляет собой филиальную многоуровневую структуру. Стремление компании расширить и унифицировать спектр сервисов, доступных как сотрудникам компании, так и корпоративным заказчикам и конечным абонентам, привело к необходимости построения сети ЦОД, способных обеспечить функционирование бизнес-процессов в Киеве и в регионах. С вводом в эксплуатацию комплекса ЦОД в компании ожидали стандартизацию используемых аппаратных инструментов, системного и прикладного ПО (в том числе баз данных и почтовых систем), а также средств управления инфраструктурой.

Сложность проекта, обусловленная распределенной географической инфраструктурой, по­требовала глубокой проработки решения со стороны системного интегратора, заказчика и поставщиков решений. Компания «S&T Софт-Троник» и «Майкрософт Консалтинг» предложили комплексное решение, описывающее серверную инфраструктуру, системы хранения данных, резервного копирования и восстановления, программные сервисы для управления инфраструктурой, пользовательские корпоративные сервисы, основанные на архитектуре MSA. Инженерной инфраструктурой, в том числе построением систем электропитания, кондиционирования и подготовкой помещений, занимались другие подрядчики в соответствии с входными требованиями, предъявленными «Укртелекомом» и «S&T Софт-Троник».

Менеджер по продажам «S&T Софт-Троник» Алексей Бобров рассказывает, что проект с «Укртелекомом» впервые был реализован в Украине в подобном масштабе. К моменту начала проекта «S&T Софт-Троник» обладала опытом внедрений всех сервисов, востребованных «Укртелекомом», однако в рамках единой масштабной архитектуры ЦОД сервисы были реализованы впервые.

Сервисы

Основной задачей проекта было предоставление работникам «Укртелекома» ИТ-сервисов с одинаковым гарантированным качеством независимо от месторасположения пользователя. Под понятием «сервис» в проектной команде подразумевали любой логически законченный блок, функционирование которого обеспечивают аппаратные или программные средства.

Заказчик поставил задачу внедрения в центральном и региональном ЦОД 14 сервисов, в числе которых — служба активного каталога, системы хранения данных, резервирования и восстановления, корпоративная электронная почта, файловое хранилище, системы управления и мониторинга и др.

Этапы проекта

Работа началась с проектирования перспективной архитектуры: специалистами «Укртелекома», «S&T Софт-Троник», «Майкрософт Консалтинг» и партнерами проекта была подготовлена документация, описывающая все сервисы. В состав пакета документов вошла спецификация функциональности, эксплуатации, регламентных работ, настройки, переконфигурирования и т.п. Этот подход обеспечил также обслуживание и непрерывность сервисов при ротации кадров.

По каждому сервису были созданы рабочие группы, куда вошли представители заказчика, интегратора и партнеров. Руководитель группы отвечал за реализацию сервиса. Проектирование и планирование осуществлялось совместно в рамках рабочих групп, после чего принятые решения анализировал технический куратор. По мнению г-на Боброва, общий успех проекта в значительной мере обеспечило тесное сотрудничество команд, а также личная ответственность глав рабочих групп за реализацию того или иного решения.

Поскольку столь масштабный проект построения ЦОД реализовывался в Украине впервые, опыт, накопленный мировыми поставщиками оборудования в других странах, оказался очень полезным. Представительства компаний-поставщиков (Cisco, EMC, «Майкрософт Консалтинг») предоставили специалистов, которые помогли верифицировать архитектуру и снизить потенциальные риски, а также оказали консультации по непосредственному развертыванию систем.

Изначально проект был разбит на два этапа. В ходе первого этапа были внедрены 14 сервисов в киевском ЦОД, произведена оценка их эффективности. Ограниченное число сервисов было внедрено в региональных ЦОД. Дальнейшее полное развертывание системы во всех ЦОД отнесено к следующей стадии проекта. К моменту окончания второго этапа как центральный, так и региональные ЦОД смогут обслуживать 5-10 тысяч корпоративных пользователей. Реализация систем, запланированных на второй этап проекта, уже началась. Согласно плану проект будет полностью завершен к концу 2007 – началу 2008 года.

На реализацию первого этапа проекта потребовалось около 40 рабочих недель. По словам г-на Боброва, избежать одного из наиболее вероятных рисков при реализации масштабных внедрений — несоответствия предварительно оговоренным срокам — помог проектный подход, описанный архитектурой Microsoft в соответствии со стандартами международного института PMI. 

Аппаратные платформы

Анализ средств, которые использовались в «Укртелекоме» до начала проекта, выявил разнообразие аппаратных решений. В разных отделениях были развернуты системы как мировых, так и отечественных поставщиков, что делало невозможным эффективное управление инфраструктурой в целом. Поэтому первоочередной задачей проекта стала унификация аппаратных средств. При этом специалисты «S&T Софт-Троник» стремились задействовать где возможно существующие мощности либо перевести недостаточно оснащенные или управляемые системы на другие участки.

Выбор аппаратных средств были произведен с учетом возможности дальнейшего масштабирования: в компании отдали предпочтение дискретным системам производства мировых брендов. От использования решений класса hi-end было решено отказаться из-за их стоимости, поскольку капитальные затраты оказывались особенно высокими при построении систем с резервированием элементов. В то же время применение дискретных систем позволило, по мнению г-на Боброва, оптимально распределить инвестиции в аппаратную инфраструктуру во времени.

Для обеспечения работы СУБД Oracle были выбраны серверы HP на процессорах Intel Itanium 4640. Серверы, обслуживающие СУБД Microsoft SQL Server, работают на процессорах Itanium 2620. Для хранения транзакционных данных используются системы EMC Clarion, оборудованные жесткими дисками с интерфейсом Fiber Channel: в регионах — CX300 и CX 500, в Киеве – СХ500 и CX700. В общей сложности в 6 ЦОД «Укртелекома» введены в эксплуатацию 72 системы хранения EMC, работающие по принципу online. Также заказчик использует хранилища данных EMC с дисками SATA, которые обслуживают сервисы резервного копирования. Для управления и мониторинга систем хранения используется фирменное ПО EMC. 

Сеть хранения данных построена на специализированных коммутаторах Cisco MDS 9506 (в Киеве) и MDS 9140 (в регионах). Общая сетевая инфраструктура основывается на двухуровневой модели Core&Access, в которой предусмотрено разделение элементов ядра и средств доступа. Так, для обеспечения работы ядра сети в «Укртелекоме» выбраны коммутаторах Cisco серии 65хх, а для доступа – серии 37хх.

Построенная сетевая инфраструктура не имеет единой точки отказа, в ней применены дублирующие и балансирующие соединения, которые позволяют распределить нагрузку между элементами сети.

Дальнейшие перспективы

После реализации основных этапов проект предполагает построение системы полного резервирования с защитой от природных и техногенных катастроф. Для реализации этой задачи планируется построение территориально разнесенных резервных ЦОД. Они  смогут в реальном времени обеспечить функционирование сервисов в случае аварии в одном из основных центров.

Дальнейшие планы предусматривают построение отдельных ЦОД для обслуживания коммерческих интернет-сервисов. Такие центры будут основаны на архитектурных подходах, которые прошли апробацию в корпоративных ЦОД «Укртелекома».

Сопровождение

Проект предусматривал подготовку специалистов «Укртелекома» для дальнейшего сопровождения сданных в эксплуатацию систем. В свою очередь «S&T Софт-Троник» предоставил 24-часовую поддержку. По оценкам г-на Боброва, сегодня около 80 % вопросов, которые возникают у пользователей «Укртелекома», компания решает своими силами. В решении остальных 20%  оказывает поддержку «S&T Софт-Троник».

Резюме

Сегодня головной ЦОД, расположенный в Киеве, обслуживает корневые сервисы всех систем. В этом центре также выполняется консолидация данных. Региональные ЦОД обеспечивают работу пользователей в филиалах.

Консолидация ресурсов в мощных ЦОД позволила «Укртелекому» повысить надежность предоставляемых сервисов, обеспечить их гарантированное качество, создать основу для дальнейшего масштабирования. Построение новой инфраструктуры предоставило заказчику возможность оптимизировать распределение бюджета на поддержку и развитие ИТ-служб. 


Алексей Бобров, коммерческий представитель компании «S&T Софт-Троник»

В ходе реализации проекта построения распределенной сети ЦОД для «Укртелекома» нашей компанией накоплен уникальный опыт. Технологии и подходы, примененные «S&T Софт-Троник» в этом проекте, в значительной мере являются универсальными, что дает нам возможность предлагать портфельное решение построения ЦОД высокого уровня сложности.

Проект с «Укртелекомом» уникален еще и потому, что на протяжении всех его этапов удалось придерживаться изначально намеченной стратегии. Проектная команда выполнила работы на основе изначально определенного бюджета, временных рамок, при этом сделав ряд тактических изменений, оптимизаций и усовершенствований. Нельзя не отметить гибкость взаимодействия с командой «Укртелекома», что во многом предопределило общий успех проекта.