Равнение на ЦОД

В Киеве прошла третья ежегодная конференция ИТ-директоров «Актуальные вопросы построения ЦОД»,организованная газетой PCWeek/UE

Центры обработки данных (ЦОД, или дата-центры) являются своеобразным отражением уровня развития ИТ-составляющей крупного бизнеса. Вряд ли необходимо убеждать руководителей компаний со штатом более 500 человек, структура которых территориально разнесена по разным городам, а то и странам, в целесообразности построения дата-центров.

Однако развертывание ЦОД — процесс нетривиальный и содержит массу «подводных камней». Дата-центр представляет собой не монолитную структуру, а своеобразный многогранник, «конструктор», который должен быть оснащен подробной инструкцией по сборке и дальнейшему функционированию. Причем для каждой компании необходима индивидуальная инструкция. Разработка такого «свода правил» в свою очередь требует серьезной предварительной работы,  и зачастую анализа собственного бизнеса — пускай даже детального — недостаточно. Здесь приходит на помощь общемировой опыт развертывания сложных систем, а в особенности — опыт отечественных предприятий, которые уже построили ЦОД на своих площадках, либо ИТ-компаний, так или иначе причастных к их созданию.

 В конференции «Актуальные вопросы построения ЦОД: практика оптимизации ЦОД и серверных помещений», проведенной в октябре газетой PCWeek/UE, приняли участие специалисты компаний, обладающих большим практическим опытом построения центров обработки данных, а также ИТ-директора и сотрудники ИТ-департаментов отечественных предприятий, для которых данная тема представляет живой интерес.

APC by Schneider Electric. Проектирование, развертывание и эксплуатация ЦОД

Олег Письменский в своем докладе затронул основные вопросы проектирования, развертывания и эксплуатации центров обработки данных и озвучил рекомендации касательно построения инженерного слоя ЦОД.

Олег Письменский, директор департамента консалтинга и клиентских проектов компании APC by Schneider Electric в СНГ

Перед владельцами ЦОД традиционно стоит несколько первостепенных задач. Согласно данным центра CMP Research, который изучал тему в 2005 году (с учетом некоторого технологического отставания это исследование западного рынка ЦОД актуально для наших широт именно сейчас), главной задачей современного дата-центра является обеспечение непрерывности бизнеса. Это означает доступность необходимых вычислительных ресурсов ЦОД в заданный пользователем временной период. Вторым актуальным вопросом является обеспечение масштабирования объекта в соответствии с ростом бизнеса — владельцу ЦОД важно четко представлять, сколько времени и средств понадобится для необходимого расширения ИТ-ресурсов.

Требования к современному ЦОД за последние два года существенно выросли. До 2006 года подавляющее число публичных дата-центров соответствовало первому классу отказоустойчивости, а корпоративные — главным образом относились ко второму или третьему. В 2006 году произошел качественный скачок. Ему способствовало развитие широкополосного доступа и распространение ИТ-систем уровня предприятия. Заказчики осознали важность непрерывности бизнеса, что стимулировало нынешнюю тенденцию — интерес к центрам обработки данных третьего (отказ — до 20 минут за календарный год) и четвертого (до 5 минут) класса доступности. При этом стала заметна сегментация рынка: среди небольших предприятий сохраняется достаточно высокий спрос на услуги хостинга в коммерческих ЦОД первого класса отказоустойчивости.

Обеспечение высокого класса доступности привело к переносу некоторых крупных бизнес-задач в хостинговые центры, а сама тенденция говорит о существенном росте стоимости информации. По мнению Олега Письменского, в связи с повышением класса доступности публичных дата-центров, в 2009—2010 годах стоит ожидать роста спроса на услуги хостинга, а также развития аутсорсинга, то есть предоставления ЦОД в качестве сервиса вместе с инфраструктурой и программным обеспечением за абонентскую плату. По сведениям докладчика, на данный момент на рынке коммерческих ЦОД образовался дефицит.

Высокие требования к системам жизнеобеспечения взаимосвязаны с проблемами, затрагивающими современный ЦОД с точки зрения инженерии. Среди главных вопросов, которые приходится решать инженерам дата-центров, — высокое потребление электроэнергии. Появление и развитие многоядерных систем привело к тому, что потребность в эффективности вычислений опережает эффективность энергопотребления. Задачи повышения энергетической плотности и отвода тепла особенно обостряются на фоне общеэкономических процессов (подорожания нефти и т.д.).

Согласно прогнозам Uptime Institute, отношение общей стоимости владения вычислительным ресурсом к затратам на обслуживающую его инженерную инфраструктуру приблизится к единице. Одним из очевидных выходов из «энергетической ямы» является виртуализация. Благодаря использованию этой технологии вычислительные объекты становятся компактнее, тепло- и энергопередача гораздо меньше влияют на окружающую среду. Связанные с ЦОД экологические проблемы не следует игнорировать: по подсчетам APC, вредное воздействие дата-центра с энергопотреблением 1 МВт соответствует влиянию примерно 4,5 тыс. автомобилей, оснащенных двигателем внутреннего сгорания. Поэтому вопрос инфраструктурных расходов сегодня доминирует в процессе принятия решений по развертыванию столь сложного объекта, как центр обработки данных.

Соответственно росту производительности и потребления электроэнергии дата-центры выделяют все большее количество тепла. Так, в 2008 году тепловыделение блейд-серверов составляет порядка 13 КВт на квадратный метр и продолжает расти. Подавляющее большинство объектов ЦОД имеет зоны перегрева, а их охлаждение не всегда стабильно. Поэтому задача грамотного теплоотвода столь же насущна, сколь и обеспечение бесперебойного питания. Серверы не нуждаются в равномерной температуре по всему помещению, однако всегда следует разделять холодные и горячие коридоры движения воздуха и соблюдать ряд правил по тепловым режимам (подробную информацию можно найти по адресу www.ashrae.org в разделе Bookstore, выполнив поиск по словам Thermal Guidelines).

При эксплуатации вычислительного оборудования следует учитывать предельные климатические показатели для компьютерных продуктов, по достижению которых сервер не в состоянии продолжать нормально функционировать. Кроме того, если сервер во время работы превысил установленный производителем показатель максимальной доступности и вышел из строя, гарантия на него считается недействительной.

Практика развертывания ЦОД показывает, что, определившись с аппаратной составляющей, следует сразу же просчитать технические риски, связанные с отказами охлаждающей техники. Можно выделить три класса систем бесперебойного кондиционирования. Выбор того или иного зависит от объекта, в частности — числа стоек и их энергопотребления. По терминологии докладчика, систему кондиционирования относят к классу А, если к ИБП подключены вентиляторы кондиционеров и циркуляционные насосы. Класс В составляют системы с подключенными к ИБП вентиляторами кондиционеров. Наконец, в классе С система охлаждения вовсе не соединена с источником бесперебойного питания.

Согласованный проектный подход к системам электропитания и кондиционирования вместе с процессно-ори­ентированным управлением системой должны обеспечить хорошую архитектуру центра обработки данных. Однако для высокой эксплуатационной готовности системы этого недостаточно. Необходимо также отладить процессы и механизмы управления, обучить персонал, обеспечить круглосуточное присутствие специалистов на площадке, разработать механизмы, при которых аварийные инциденты равномерно распределяются по дням недели и времени суток и пр.

Владимир Продан, начальник отдела поддержки продаж департамента систем хранения и обработки данных компании «Инком»

Чтобы топология системы удовлетворяла требования бизнеса, необходимо разработать некоторый индивидуальный свод правил с учетом особенностей и потребностей компании. Олег Письменский считает целесообразным подход, при котором ЦОД рассматривается как многослойная структура с внутренними взаимосвязями (например, слой прикладного ПО, уровень ОС, аппаратные средства, каналы связи, инженерная инфраструктура). Стабильность работы такой структуры требует создания правил взаимодействия, которые обеспечивают непрерывность процессов внутри нее, и согласованной работы этих правил. Кроме того, в плане должен быть раздел восстановления после инцидентов. При наличии такого свода правил и подготовленного персонала можно утверждать, что с эксплуатационной точки зрения объект соответствует тому или иному классу доступности.

В общем случае от инженерной инфраструктуры объекта заказчик хочет получить предсказуемость, соответствие частично определенным будущим требованиям, поддержку разнообразной нагрузки, постоянный обмен информацией с бизнесом, минимизацию потерь и поддержку поэтапного внедрения. Однако единого стандарта для ЦОД нет. При построении систем руководствуются главным образом описательными классификациями, ГОСТами, различными инженерными требованиями. Если необходимо сформировать инвестиционный бюджет, APC рекомендует учесть в нем оценку эффективности энергопотребления ватт на стойку.

Таким образом, для того чтобы увеличить полезную энергию и сократить расходы, перед принятием решений по проектам развертывания высокопроизводительных серверов необходимо тщательно оценить их воздействие на инфраструктуру. Ведь зачастую расходы на электропитание и охлаждение большой группы высокопроизводительных серверов препятствуют получению экономической выгоды от использования новейшего ИТ-оборудования.

Эдем Аблаев, руководитель группы инженерной инфраструктуры ЦОД департамента инженерной инфраструктуры компании «Инком»

«Инком». От теории к практике: зачем и как строят ЦОД

Само определение понятия «ЦОД» вызывает разночтения. Согласно терминологии компании «Инком», под центром обработки данных понимают центральный серверный (back-end) узел ИТ-инфраструктуры (без средств пользовательского интерфейса), в котором общие ИТ-ресурсы обработки, хранения, защиты и внутренней передачи информации (между ресурсами обработки и хранения) разделяются между различными приложениями. Задачу построения дата-центра ведущий украинский системный интегратор делит на четыре основных этапа. Первым и основополагающим является описание бизнес-требований. После этого формируются требования к ИТ, выбирается архитектура решений и лишь в самом конце происходит подбор «кирпичиков», то есть конкретного аппаратного обеспечения, из которого будет состоять ЦОД.

Данные, которые «крутятся» в дата-центрах, можно разбить на группы с учетом требований доступности, нагрузки, целевых точек восстановления. В зависимости от времени реагирования с данными можно сопоставить определенные средства хранения — начиная с быстрых high-end-дисков с удаленной репликацией, где будет содержаться важная информация, которую необходимо оперативно извлекать и обновлять, и заканчивая магнитными лентами для хранения архивов.

Алексей Фурашев, руководитель проектов отдела внедрения CRM департамента программных систем компании «Инком»

Серверная среда большинства компаний разрознена, из-за чего вычислительные мощности часто работают вхолостую. Решить эту проблему может консолидация данных и вычислительных ресурсов. Консолидация серверов, то есть виртуализация на аппаратном или программном уровне позволяет перераспределять ресурсы «по требованию», что существенно повышает эффективность использования ЦОД.

Если инфраструктура дата-центра состоит из различных подсетей, СХД и серверов разных производителей, то для улучшения контроля посредством использования ПО можно консолидировать управление. В современных условиях не стоит недооценивать технологии управления жизненным циклом информации (ILM), а также резервного копирования и архивирования данных. В ранних проектах «Инкома» для каждой подсистемы разворачивалась специализированная система резервного копирования. Сегодня подход компании заключается в разделении понятий «архивирование» и «ежедневное резервное копирование»: архив, в который попадает около 90% данных, создается один раз. Процесс ежедневного копирования заключается в сравнении информации и перезаписи лишь тех данных, что претерпели изменения.

Описанные подходы представители «Инкома» продемонстрировали на примере внедрения информационной системы при построении контакт-центра для Государственной налоговой администрации Украины. Информационная система контакт-центра была спроектирована, поставлена, настроена и установлена за три месяца. Этому предшествовало написание двухтомного техпроекта объемом более тысячи страниц.

Hewlett-Packard. Решения для ЦОД

Александр Головченко, старший технический консультант компании Hewlett-Packard, менеджер по решениям HP Superdome

Специалисты Hewlett-Packard под ЦОД подразумевают достаточно сложную структуру, обладающую многочисленными обязательными признаками. Прежде всего для ЦОД необходимо сконструировать специальные помещения. Согласно мировым стандартам, настоящий дата-центр оборудуется многоступенчатой защитой от несанкционированного проникновения, системами гарантированного автономного электропитания, системами кондиционирования, климат-контроля, газового пожаротушения, стабилизации и защиты от электромагнитного излучения. В составе ЦОД обязательно должны быть развернуты программно-аппаратный комплекс мониторинга и противодействия сетевым атакам и собственные высокоскоростные резервированные каналы связи с прямым подключением к нескольким точкам обмена трафиком. Кроме того, обязательным условием является гарантированная техподдержка оборудования и сервисов.

Можно смело утверждать, что ИТ-инфраструктура большинства отечественных компаний не отвечает столь развернутым требованиям. Соответственно, исходя из мировых стандартов, эра ЦОД в нашей стране еще не наступила. То, что многие заказчики называют «центром обработки данных», по сути является серверной комнатой. Однако некоторые украинские компании стремятся соответствовать международным канонам, и таких с каждым годом становится все больше.

Hewlett-Packard предлагает широкую линейку продукции для построения полноценных центров обработки данных.

Интересным решением HP является «ЦОД на колесах» или HP Performance Optimized Data Center. Этот передвижной вычислительный центр представляет собой стандартный 12-метровый контейнер с широким выбором конфигураций, в котором помещается 3520 стандартных серверов или 12 тыс. дисковых накопителей. «Мобильность» существенно повышает защищенность данных, ведь в случае природных катаклизмов такой ЦОД можно быстро переместить в другое место, что способствует обеспечению непрерывности бизнес-процессов.

Важный для построения ЦОД момент, с точки зрения HP, — высокоэффективное энергопотребление и охлаждение. Так, технология Dynamic Smart Cooling базируется на системе датчиков, которые распределены по дата-центру и регистрируют динамику изменения температуры в различных зонах. Благодаря этому можно управлять воздушными потоками, то есть на перегретые участки подавать дополнительное охлаждение или же перекрывать потоки к переохлажденным участкам.

Еще одно инфраструктурное решение HP — Modular Cooling System — модульная система воздушного и жидкостного охлаждения для серверного шкафа. Ее эффективность особенно очевидна при использовании в малых помещениях для небольших ЦОД и серверных комнат. Система полностью совместима с 19-дюймовым оборудованием, монтируется на 1—2 шкафа и рассчитана на нагрузку до 35 КВт.

Александр Головченко также рассказал об услуге заводской интеграции (HP Factory Express), предоставляемой компанией. На данный момент подавляющее число блейд-систем НР поставлено заказчикам именно с использованием HP Factory Express. Сервис может включать сборку в шкаф нескольких блейд-шасси, хранилищ и другого оборудования, их персонализацию, установку ОС. Интегрированные на заводе системы можно заказать как напрямую, так и через партнеров HP.

Среди систем хранения корпоративных данных докладчик выделил StorageWorks 9100 Extreme Data Storage System — решение для предприятий, которым необходимы большие объемы данных с высокой скоростью доступа к ним. Еще один интересный продукт — Oracle Exadata Storage Server. Как ясно из названия, он представляет собой специализированное изделие для использования с БД Oracle.

В линейке решений для серверных комнат и ЦОД у HP нашлось место и источникам бесперебойного питания различной емкости, как однофазным, так и трехфазным.

К инновационным решениям компании относятся твердотельные диски на базе одноуровневой флэш-памяти типа NAND. Эта технология обеспечивает двадцатикратное увеличение циклов перезаписи и четырехкратный рост производительности по сравнению с многоуровневой памятью. А стоимость таких устройств лишь на 80% выше стандартных дисков.

Более половины всемирного и европейского рынка блейд-систем принадлежит Hewlett-Packard. Столь высоких показателей удалось добиться благодаря сочетанию удачного инженерного решения, соблюдения всех индустриальных стандартов и сравнительно невысокой стоимости. Линейка «лезвий» HP состоит из систем на базе 1—4 процессоров (то есть с учетом новых 6-ядерных процессоров такие системы содержат до 24 ядер), куда можно поместить до 128 ГБ ОЗУ. По мнению Александра Головченко, сегодня применение блейд-серверов в шасси C3000 целесообразно даже для небольших компаний.

Для оптимизации ЦОД HP использует технологию дедупликации, которая позволяет увеличить эффективность систем хранения данных второго уровня (создание резервных копий или восстановление данных после аварии и обрезанных данных). При использовании дедупликации скорость копирования увеличивается в десятки раз — сначала копируется вся информация, а затем — только ее изменения. Обычно при работе с файловой системой или БД копирование происходит на уровне файлов и таблиц. В случае дедупликации работа идет с блоками данных — битами и байтами. Это значительно сокращает объем, необходимый для хранения информации. Если дублированные данные найдены, на них устанавливается указатель, вместо того чтобы хранить двойные наборы данных. Таким образом, избыточные блоки устраняются.

Среди конкурентных преимуществ компании на украинском рынке ЦОД докладчик также упомянул наличие ряда сервисов. Это большой сервисный пакет, который предоставляет возможность инсталляции и поддержки веб-сайтов с быстрой заменой компонентов, HP Support Plus Service и Support Plus 24 Service — сервисы общей поддержки для программного и аппаратного обеспечения. Интересны также услуги HP по трансформации ЦОД. Они представляют собой свод процедур по переезду с грамотной остановкой и запуском оборудования после перевозки.

Juniper Networks. Упрощение сетевой инфраструктуры ЦОД

Антон Минаков, системный инженер Juniper Networks

Высокие уровень потребления энергии, требования к системам охлаждения, большая занимаемая площадь, использование устаревших технологий, отсутствие модульной структуры сети, значительные расходы на обслуживание и персонал — таковы основные проблемы, с которыми сталкивается владелец ЦОД.

Практически все они решаемы посредством виртуализации. Для применения технологии необходимо подготовить почву — в частности обеспечить высокую пропускную способность каналов. Кроме того, виртуализированная среда нуждается в бесперебойной и отказоустойчивой работе, ведь выход из строя одного компонента может привести к останову всего виртуального ЦОД.

По мнению Антона Мисакова, системы хранения данных лучше связывать между собой по каналу TCP/IP (Ethernet), что гораздо дешевле специализированных технологий (SAN или FC). Однако следует учитывать, что Ethernet разрабатывался без учета возможности такого использования, поэтому существует ряд ограничений, для преодоления которых нужно обеспечить достаточно высокую пропускную способность каналов; желательно организовать и резервные каналы на случай отказа основного канала или сетевого адаптера.

Одной из главных задач по оптимизации инфраструктуры ЦОД является устранение многоуровневости системы. Ведь чем больше уровней в инфраструктуре дата-центра, тем ощутимее задержка при обработке трафика. Кроме того увеличивается сложность управления и мониторинга, а скорость исправления неполадок падает. Обеспечение безопасности — еще один краеугольный камень создания современного ЦОД.

Снижение сложности и комплексности дата-центра — одна из целей исследований Juniper в этом сегменте рынка. Так, компания выпускает высокопроизводительное сетевое оборудование, которое за счет универсальности позволяет объединить несколько уровней (приложений, доступа, магистралей, доступа WAN). Это сэкономит средства не только на капитальные, но и на операционные расходы. Кроме того Juniper отмечает сокращение потребления электропитания и занимаемого места своей продукции. Антон Мисаков утверждает, что по соотношению эффективности потребления электроэнергии в расчете на «гигабит в секунду» оборудование компании выигрывает по сравнению с аналогами от Cisco.

Также Juniper предлагает технологию «виртуальных шасси», позволяющую управлять одновременно несколькими коммуникационными шкафами через общий интерфейс.
Сильным конкурентным преимуществом компании является наличие единой для всего оборудования Juniper операционной системы JunOS, основанной на ядре FreeBSD. Данная ОС обеспечивает высокий уровень доступности и управляемости инфраструктуры.

Intel. Технологии для решений виртуализации

Дмитрий Грязнов, директор по развитию бизнеса представительства Intel в Украине

По словам Дмитрия Грязнова, использование новых технологий помогает решить главную проблему ЦОД — снизить высокое энергопотребление. Начинается этот процесс с уровня транзисторов, в которых применяются более экономичные материалы. Это соответствует принципу компании, который называется Tic-Tac и предполагает чередование по годам выпуска новых микроархитектур и внедрения более современных технологий их изготовления. После перехода на 45-нанометровую технологию следующим шагом разработчика станет выпуск процессоров на базе архитектуры Nehalem.

Сегодня в центрах обработки данных успешно используются две линейки продуктов Intel. Это серия серверных процессоров Intel Xeon 7300 и обновленная линейка Xeon 7400, которая состоит из 4- и 6-ядерных моделей. В связи с использованием новой технологии и более совершенных транзисторов увеличивается производительность (на ватт потребляемой энергии) новых процессоров по сравнению с предыдущим поколением.

Ряд независимых тестов подтверждает высокую продуктивность новых систем и их экономное энергопотребление. По словам производителей, серия Xeon 7400 хорошо приспособлена для использования в виртуализированных средах, что подтверждают и специализированные исследования.

Среди трех технологий виртуализации Intel первой (еще в 2005 году) стала виртуализация процессора VT-х. Она предоставляет гостевым операционным системам возможность напрямую обращаться к процессору, минуя менеджер виртуальных машин. Технология виртуализации чипсета VT-d позволяет гостевым ОС напрямую обращаться ко всем физическим устройствам, кроме ОЗУ, а новая технология виртуализации устройств ввода-вывода VT-с (на данный момент реализована ее подтехнология VMDq) позволяет гостевой ОС напрямую работать с сетевыми адаптерами и обрабатывать сетевые пакеты, минуя менеджер виртуальных машин, что освобождает от этой задачи процессор.

Panduit. Особенности построения кабельной инфраструктуры ЦОД

Сергей Сопов, менеджер Panduit по работе с ключевыми клиентами в Украине и России

Главное требование к построению кабельной архитектуры ЦОД — надежность, ведь кабельная система живет гораздо дольше, чем активное оборудование . Как правило, на реализацию такого проекта отводится крайне мало времени, а специально подготовленная площадка обойдется заказчику значительно дороже неподготовленной. Для решения этих проблем компания Panduit предлагает использовать новую версию системы OpenView — IQ. Этот программно-аппаратный комплекс позволяет видеть из любой точки сети физическое состояние кросса и сети. В версии IQ появились новые сканеры, которые устанавливаются не в стойки, а подключаются непосредственно к патч-панели. Они нужны для программного мониторинга кроссового поля и автоматического определения месторасположения конкретного патч-корда. Например, можно отправить задание на коммутацию в удаленный офис одним движением мыши, а там — поднять все сервисы коммутации удаленно. В Украине крайне мало инсталляций продуктов подобного уровня, но интерес к ним наблюдается. Компания реализует политику повышения лояльности к клиентам: если раньше требовалось покупать лицензию на 1000 портов и более, то сегодня — лишь на 48.

Среди новых решений Сергей Сопов также упомянул QUICKNET — специальные кабельные сборки для ЦОД, оптические и медные, которые тестировались в заводских условиях и обеспечивают высокую скорость соединения. Для уменьшения плотности кабельной инфраструктуры есть два решения с угловым и плоским дизайном.

Также для организации высокой плотности кабельной инфраструктуры можно использовать открытую 52-юнитную стойку с вертикальным кабельным организатором PatchRunner.

В этом году продуктовый портфель Panduit пополнился решением GridRunner, которое позволяет работать под фальш-полом. Эту сетку можно установить в работающем ЦОД.