Год назад для Министерства финансов на ул. Межигорская в Киеве, был запущен новый мощный центр обработки данных, состоящий из двух залов по 78 кв.м. Об уникальных особенностях этого датацентра рассказывает Сергей Михайлович Коваль, заместитель начальника отдела информационного обеспечения Государственной налоговой администрации Украины.
PC Week/UE: Почему возникла задача построения централизованого центра обработки данных для Министерства финансов?
Сергей Коваль: Ранее в основу организации вычислительных процессов Минфина была заложена концепция распределенных малых вычислительных центров обработки данных. Такая организация процессов имела как преимущества, так и недостатки, причем последних было больше. Кампусная сеть Минфина состоит из четырех зданий, расположенных в разных районах Киева, объединенных оптоволокном. В каждом из этих зданий в коммутационных комнатах были установлены серверы, которые обеспечивали поддержку принятия решений работников министерства. К сожалению, коммутационные комнаты сами по себе очень маленькие, поэтому возможность наращивать вычислительные мощности в соответствии с растущими задачами управления госфинансами Украины невелики. Кроме того, эти помещения строились из расчета небольшого электропотребления и тепловыделения, ведь в сравнении с серверами коммутационное оборудование не является настолько энергопотребляющим. Более того, для теплоотвода из комутационных комнат использовались обычные бытовые кондиционеры, недостатки которых всем известны.
Как только появилась возможность создания ЦОД в здании Минфина на улице Межигорской, 11, в котором как раз проводилась реконструкция, мы пересмотрели основные концептуальные подходы в организации вычислительных процессов. Таким образом, мы перешли от распределенной к централизо-ваной системе. Дело в том, что во время реконструкции можно было правильно спланировать и проложить всю необходимую инженерную инфраструктуру, без которой невозможна работа датацентра.
PC Week/UE: В чем особенность данного ЦОДа?
С. К.: Одна из его изюминок состоит в том, что мы взяли под свой полный контроль систему энергообеспечения - от ввода в здание до конечного потребителя. Опыт показал, что до 90% всех сбоев в работе датацентра происходило из-за некачественного электропитания.
При решении этой задачи мы взяли на вооружение комплексный подход. В соответствии с рекомендациями стандарта TIА 942 были проложены два фидера от разных подстанций и установлен централизованный ИБП на 1 МВт марки APC Symmetra. (рис.1) В качестве резервного источника электроэнергии мы запланировали использование дизель-генератора мощностью 1,5 МВт, который способен обеспечивать питанием все здание в течение 3 часов. Этот аппарат потребляет около 300 литров дизельного топлива в час и оснащен топливным резервуаром на 1000 литров. (рис.2)
Полный контроль системы энергообеспечения осуществляется не только по отношению к вычислительному оборудованию в ЦОД, но и на уровне конечных потребителей.
Дело в том, что когда планируется размещение пользователей нового здания, мы под каждое помещение рассчитываем силовую нагрузку. Но, как показывает опыт, в реальной жизни пользователи не придерживаются наших плановых расчетов потребления электроэнергии, и в результате происходит так называемый «перекос» фаз. Без специального оборудования выявить место, где происходит перекос, невозможно. Это обусловлено тем, что очень трудно заранее спланировать, где будет находиться принтер, копир и другая техника, которая потребляет немало электроэнергии. Применение устройства распределения питания от АРС в качестве электрощитовых с автоматами, которые можно отслеживать по IP, позволило нам видеть состояние и оперативно изменять нагрузки по фазам. (рис.3)
Мне кажется, что такое решение по распределению питания среди пользователей, примененное в данном проекте, уникально для Украины в целом.
PC Week/UE: К помощи каких системных интеграторов вы прибегали в процессе реализации проекта?
С. К.: Разработку и внедрение данного проекта взяла на себя компания ProNET. Основную часть консультаций и контроль за исполнением проекта осуществляла компания АРС by Schneider Electric.
PC Week/UE: Как построена система охлаждения датацентра?
С. К.: Для обеспечения эфективного охлаждения ЦОД мы применили технологию АРС изолированого коридора горячего воздуха, поскольку это наиболее оптимальное и экономически выгодное решение.
Одним из самых интересных моментов проекта является создание единой системы теплоотвода. Для этого на чердаке здания были установлены семь крупных чиллеров, которые обеспечивают охлаждение всего здания на Межигорской, 11. Один специально выделенный чиллер работает только на охлаждение центра обработки данных, но поскольку используется общий коллектор, то он может функционировать совместно с соседними чил-лерами. Иными словами, в случае выхода его из строя или профилактического ремонта для охлаждения ЦОД могут быть задействованы другие чиллеры.
PC Week/UE: Как производится управление вычислительным центром?
С. К.: Управление ЦОД мы вынесли за пределы серверных залов. Присутствие человека в помещении датацентра требуется только при установке и монтаже оборудования. Все остальные операции, такие как включение и выключение устройства, конфигурирование BIOS, существляются удаленно.
В качестве основы для создания удаленного системного терминала мы использовали систему Raritan. Весь мониторинг и управление администратор выполняет в отдельном помещении, отслеживая информацию на больших экранах.
PC Week/UE: Сколько человек задействованы в управлении вычислительным центром?
С. К.: В свое время мы специально создали отдел поддержки пользователей, там порядка восьми человек. Причем они занимаются не только ЦОДом, но и обеспечивают поддержку пользователей.
PC Week/UE: Сколько времени заняла реализация проекта, согласование, расчеты?
С. К.: Согласования, расчеты и доказательства правильности выбранных решений заняли около 2-3 лет. Приблизительно год я защищал технические решения, которые были положены в основу строительства ЦОД. Самые жаркие споры велись по выбору централизованного обеспечения гарантированного питания.
Расчеты показали, что именно решение от АРС оказалось наиболее выгодным с точки зрения КПД и экономии электроэнергии. Высокий КПД UPS имеет огромное значение при больших энергозатратах. Те 2-3% преимущества в КПД, которыми обладает APC Symmetra по сравнению с другими решениями на больших мощностях позволяет экономить на электроэнергии до сотен тысяч гривен в год. Кроме того, UPS от АРС, построенные на базе дельта-преобразования, выдерживают пиковые нагрузки до 200%.
Еще одно очень большое преимущество решений APC состоит в том, что мониторинг и контроль всей инженерной инфраструктуры производится с единой консоли управления.
PC Week/UE: Насколько маштабируемым является новое решение?
С. К.: Потенциал для наращивания вычислительной мощности огромен: два зала по 12 серверных шкафов. В каждом шкафу возможно установить оборудования до 20 кВт, а также установить около 15 двухъюнитовых серверов. Полагаю, что в течение 5-10 лет мы можем без проблем наращивать вычислительные мощности для удовлетворения растущих задач Министерства финансов Украины.
PC Week/UE: Какие задачи сегодня выполняет построенный ЦОД?
С. К.: Наиболее важное приложение, которое работает на базе вышеописанного дата-центра, — это «АІС Держбюджет», которое позволяет нам создавать государственный бюджет, следить за доходами бюджета и за его исполнением как на уровне сведенного бюджета, так и на уровне местных бюджетов. PC
Экономные ИБПСистема с дельта-преобразованием состоит из двух инверторов, выполненных по специальной 4-х квадрантной схеме и системы управления и регулирования. Оба инвертора соединены с общей батареей и в зависимости от состояния напряжения в магистрали принимают на себя функции инвертора или выпрямителя. В идеальных условиях, когда параметры электросети соответствуют требовониям качества питания нагрузки, электроэнергия полностью передается в нагрузку, а не преобразуется дважды, как в ИБП с двойным преобразованием.
В реальной ситуации, когда параметры сети не идеальны, происходит традиционное двойное преобразование электроэнергии. Однако система с дельта-преобразованием преобразует не всю энергию, а только ту часть, которую необходимо. Так, например, при отклонениях входного напряжения на 15%, двойному преобразованию подвергнется только 15% электроэнергии. Если принять суммарные потери как в традиционном ИБП со схемой двойного преобразования равными 10%, то в системе с дельта-преобразованием энергопотери составят: 0,15 х 10%=1,5%.
