Компания “ЭнранТелеком”, реализуя проект создания центров обработки данных “Укртелекома”, столкнулась со сложными вопросами, связанными со структурированием поставленной задачей. В ходе внедрения, применив новаторские технологии APC, “ЭнранТелеком” не только сумела построить систему, соответствующую требованиям заказчика, но и получила богатый практический опыт.
 Подключение сервернго оборудования к сети датацентра |
Г-н Коренев рассказал о 10-летней истории компании “ЭнранТелеком” на украинском рынке. “Наша компания создавалась как системный интегратор в области построения сложных информационных систем. За годы существования нами реализовано большое количество проектов, в т.ч. и новаторского плана. К нашей гордости, можем сказать, что уже отмирающая технология “frame” появилась в Украине благодаря нашей компании. То же можно сказать и о технологии “ATM”.
На сегодняшний день компания представляет собой 3 производственных департамента: департамент сетевых и телекоммуникационных технологий, департамент системного и прикладного программного продукта, департамент банковских технологий. Реализацией ЦОД “Укртелеком” занялись специалисты департамента сетевых и телекоммуникационных технологий.
“Энран Телеком” в течение последних 10 лет тесно сотрудничает с “Укртелеком”, это позволило значительно уменьшить вопросы согласования множества технических проблем благодаря сложившемуся взаимопониманию между специалистами заказчика и исполнителя. Комплексный проект включает в себя целый ряд интересных технологий, которые внедрялись при создании датацентров в “Укртелекоме”. Прежде всего это биллинговая система ETBill — промышленная система, которая обеспечивает все фазы работы с клиентами и поставщиками. “На сегодняшний день она работает в 4 регионах в промышленном режиме, планируются внедрения еще в 4, и мы надеемся, сотрудничество продолжится, — сказал Александр Коренев. — Мы строим очень много локальных вычислительных систем для этого заказчика, специалисты нашей компании параллельно реализуют проекты, связанные с криптографической защитой информации для “Укртелекома”, и наконец, проект, который мы реализуем уже в течение года и о котором сейчас пойдет речь, — это построение распределенных центров обработки данных”.
В “Укртелекоме” данные в течение многих лет хранились и обрабатывались, однако качество существовавшей системы перестало удовлетворять потребностям компании, имеющиеся мощности перестали справляться с задачами из-за увеличения спектра услуг и повышения требований к качеству обслуживания на фоне роста объемов данных. Для их хранения и обработки потребовались новые подходы и возникала необходимость в построении удовлетворяющих современным требованиям центров обработки данных. Основу системы составил ЦОД Киева, в Харькове, Донецке, Днепропетровске, Одессе и Львове — региональные центры, соединенные между собой. В частности, каждый из региональных центров функционирует на основе биллинговой системы объемом до 1 терабайта данных, и эти объемы постоянно растут. Объем данных, находящихся в киевском центре, составляет около 10 терабайт; прогнозируется достаточно быстрый дальнейший рост. Ввиду сложности проекта, охватывающего такое количество регионов, и его масштабности разработка решения, согласование и реализация заняли один год. Подробно рассматривался выбор технических решений и поставщиков решений для создания центра обработки данных этого уровня. Были проанализированы практически все существующие на данный момент мировые технологии и их реализация; выбраны наиболее подходящие из них, максимально соответствующие требованиям “Укртелеком”.
Финансовые условия поставки и внедрения решения были не единственным “лежачим камнем”, масштабность проекта потребовала детального расчета стоимости эксплуатации системы, обеспечения защиты инвестиций.
Немаловажную роль (как оказалось, не напрасно) “ЭнранТелеком” уделял наличию консалтингового ресурса в представительствах при выборе компаний-поставщиков решений. Наличие сертификатов, лицензий и т.п. было требованием “по умолчанию”. В итоге основными поставщиками компонент ЦОД стали лидирующие в своих нишах на украинском рынке компании — инженерная база была выбрана на основе архитектуры АPC InfraStructure, кабельная система — Reichle & De Massari, коммутационное оборудование — Cisco Systems, серверные решения — компания Hewlett-Packard.
 Основное оборудование, использованное при построении датацентра |
С поставщиком СКС Reichle & De Massari “Укртелеком” уже знаком на протяжении многих лет и благодаря множеству успешных внедрений оборудования этого производителя, выбор был предопределен — эта компания уже зарекомендовала себя, предоставляя надежные комплексные решения, апробированные в “Укртелеком” как на линейном уровне, так и в локальных и корпоративных вычислительных сетях. Выбор компании Cisco Systems также не вызывал больших сомнений. По словам г-на Коренева, сложные современные сети часто строяится на оборудовании этой компании, которое своим качеством и функциональностью, широкими возможностями и надежностью хорошо зарекомендовало себя.
Основные проблемы, с которыми пришлось столкнуться специалистам “ЭнранТелеком” при проектировании сетевой инфраструктуры — подключение очень большого количества серверного оборудования к коммутационному и обеспечение надежности системы.
Специалисты компании “ЭнранТелеком” разработали сетевую топологию, решающую эти две проблемы: было решено подключить серверы не к ядру сети, которое базируется на двух резервирующих друг друга коммутаторах Catalyst серии 6500, а к попарно резервирующимся коммутаторам серверной агрегации. Таким образом, каждый сервер подключается 2-мя каналами 1 Гбит/с к коммутаторам агрегации Cisco Catalist 3750, каждый из которых с помощью двух агрегированных 2–4 Гбит/с каналов подключается к ядру. Как результат, полученная структура не имеет единой точки отказа, характеризуется достаточной пропускной способностью, легко масштабируется и обладает относительно низкой стоимостью за порт (стоимость гигабитного порта в системе ближе к стоимости порта Catalist 3750 а не 6500).
Не менее сложным, требующим тщательной проработки специалистами “Энран Телеком” оказалось создание инженерной инфраструктуры. Так как в бюджете проекта не было предусмотрено отведение под ЦОДы новых площадей.
Одним из наиболее важным этапом в реализации проекта в “Укртелекоме” стало строительство инженерной системы. Так например, проанализировав всего лишь такой параметр как масса поставляемого оборудования (общий вес оборудования АРС составляет 80 т), в процессе проработки киевского ЦОД выяснилось, что несущая способность перекрытий помещений может не выдержать нагрузки. Проблему помогли решить в АРС. Доработав специально для украинского заказчика серийное решение, специалисты вендора предоставили возможность разнести по разным этажам сами ИБП (батареи и генераторы) и блок распределения питания (БРП).
Специалистами “ЭнранТелеком”, за годы развития компании, был накоплен колоссальный опыт построения локальных, распределенных сетей, сетей хранения данных, организации систем кондиционирования и обеспечения бесперебойного питания. Но, по словам г-на Коренева, масштаб проекта ЦОД в “Укртелекоме” потребовал переоценки накопленного ранее опыта, а решаемые проблемы доработки готовых, модульных компонентов.
Киевский и региональные центры обработки данных проектировались исходя из бизнес-задач сегодняшних, работающих в жестких эксплутационных условиях ИТ-систем “Укртелекома”. Однако введение дополнительных площадей в рамках проекта не планировалось, и инсталлятор вынужден был обеспечить работоспособность системы с требуемыми характеристиками на имеющихся площадках. Поскольку оборудования очень много, его необходимо было разместить максимально компактно, при этом обеспечить соответствующим классу системы режимом питания и системой климат-контроля. “Мы проработали весь рынок и, честно говоря, единственное в мире соответствующее потребностям заказчикам решение по построению инженерной системы, предложила APC. Собственно, именно это решение помогло решить множество технических задач, возникших у “Укртелекомома”, — отметил г-н Коренев.
Характеристики проекта, с точки зрения инженерной системы для Украины, уникальны, система энергообеспечения центров обработки данных по мощности сравнима с небольшой электростанцией — 1, 9 МВатт, с обеспечением высокой надежности по схеме 2(n + 1) — каждая группа стоек с оборудованием запитывается от 2 независимых источников бесперебойного питания. Всего используется 104 стойки “APC” с высокой плотностью размещения оборудования. Контроль каждой стойки системы осуществляется с помощью единой системы управления, ее внедрение, благодаря возможности контроля практически из одной точки позволило не привлекать к эксплуатации системы дополнительный квалификации персонал. Благодаря этой схеме коэффициент готовности системы практически близок к 1, уровень системы может быть оценен Tier I. Стоимость данных диктует уровень надежности, поскольку утрата данных компанией, услугами стационарной связи которой пользуются более 10 млн. человек, равносильна катастрофе.
“Я не умаляю достоинств всех производителей, наших партнеров, с которыми мы работали в рамках проекта, но еще раз подчеркну, что наиболее интересное, сложное и эффективное решение, наибольший опыт мы получили при разработке инженерной системы совместно с компанией АРС. Без ложной скромности можно признать, что это наилучшее техническое решение сегодня в мире, не имеющее аналогов. Очень важно отношение компании АРС и к системному интегратору, и к потребителю его услуг. Компания сопровождала нас на этапе проектирования, инсталляции, производила запуск системы, и готова сопровождать ее в течение всего жизненного цикла. Я хочу поблагодарить сотрудников АРС за их помощь в реализации проекта и выразить надежду на наше дальнейшее сотрудничество”, — закончил свое выступление г-н Коренев.
