Стратегии и решения редмондского гиганта в области ресурсоемких вычислений
Появление в крупнейшем всемирном рейтинге самых мощных компьютеров TOP500 систем, которые работают под управлением ОС Microsoft, стало неожиданностью для многих. «Виновником торжества» является новый продукт компании, Windows HPC Server 2008, лишь недавно запущенный в производство (версия RTM, release to manufacturing).
 Сравнение временных задержек HPC-систем на базе Linux и Windows в тесте MSC Marc 2007 r1 |
Кто на новенького?
Microsoft Windows HPC Server 2008 пришел на смену выпущенному три года назад Microsoft Windows Compute Cluster Server 2003 (WCCS 2003). Новый продукт создан на основе специального релиза ОС Windows Server 2008 и HPC Pack 2008 (пакета необходимых для высокопродуктивных вычислений отладчиков и протоколов), сюда вошли масштабируемые средства управления кластерами и новейшие инструменты отказоустойчивости.
Главной особенностью новой операционной системы разработчики считают устранение «узкого горлышка», свойственного WCCS 2003, а именно неудовлетворительной утилизации пропускной способности сети протоколом MS-MPI. Для этого был создан программный интерфейс Network Direct, позволяющий существенно снизить латентность в межпроцессных взаимодействиях (IPC) методами прямого доступа к сетевой среде. То есть Network Direct модифицирует процесс работы с сетью за счет обхода WinSocs и стека TCP/IP запросами MS-MPI, которые таким образом передаются на аппаратный уровень напрямую. Это обеспечивает максимальную утилизацию сети при обмене данными между вычислительными пакетами.
Представляя Microsoft Windows HPC Server 2008 в Украине, менеджер компании по развитию бизнеса высокопродуктивных вычислений в Центральной и Восточной Европе (CEE), России и СНГ Леонид Клюев отметил, что данная ОС резко снижает «порог вхождения» в сферу суперкомпьютинга, которая ранее позиционировалась как элитарная и труднодоступная. Системных администраторов, умеющих работать с параллельными архитектурами, всегда было мало, а с HPC Server 2008 ресурсоемкие вычисления становятся более «понятными» за счет использования уже существующих навыков работы в среде Windows и интеграции с популярным программным обеспечением.
Благодаря применению новых механизмов HPC Server 2008 существенно «обгоняет» не только своего предшественника WCCS 2003, но и системы на базе Linux. Так, Windows HPC Server 2008 на кластере Rainier, который представляет собой масштабируемую тестовую систему на основе сверхтонких серверов, с 256 узлами и 2048 процессорными ядрами, продемонстрировала в тесте Linpack значение в 11,75 млрд. операций с плавающей запятой в секунду, что на 30% превышает показатель в рейтинге TOP500, достигнутый в прошлом году с WCCS 2003. А показавший самый высокий на сегодняшний день результат для Microsoft суперкомпьютер Университета Иллинойса продемонстрировал прирост эффективности на 7,8% по сравнению с Linux на той же аппаратной конфигурации.
Дайте людям удочку!
На рынок высокопродуктивных вычислений Microsoft вышла совсем недавно, в 2005 году. Каким образом компании, пусть даже такому гиганту, удалось добиться высоких результатов в столь короткие сроки? Этот и другие вопросы, касающиеся HPC-стратегии «редмондского гиганта», мы обсудили с Леонидом Клюевым, руководителем подразделения высокопродуктивных вычислений Microsoft в регионе CEE.
PCWeek/UE: Как Microsoft продвигает свое решение для высокопроизводительных кластеров в свете того, что для продуктов под Linux существует огромная база приложений и библиотек?
 |
Первая реализация WCCS 2003 по целому ряду приложений проигрывала в скорости вычислений по сравнению с разными ипостасями Linux. Для преодоления этого препятствия мы очень плотно наладили контакты с разработчиками специализированных приложений, например Schlumberger или Ensys Technologies. Совместно с партнерами мы вносили поправки непосредственно в коды программ, и фактически впервые достигли того, что версии пакетов под HPC Server 2008 стали работать быстрее, нежели под Linux. Таким образом, успех является результатом многолетнего труда.
Кроме того, мы оказываем всестороннюю поддержку клиентам, занимаемся их обучением, выискиваем узкие места систем и пр. Вряд ли подобные услуги можно получить от Linux-сообществ или продающих эту ОС компаний.
PCWeek/UE: Какие крупные проекты, базирующиеся на технологиях Microsoft для высокопродуктивных вычислений, были реализованы за последний год или находятся в разработке на данный момент?
Л. К.: Львиная доля усилий и времени нашего отделения уходит на работу с университетами. Очевидно, это стратегически правильный подход — вскоре выпускники вольются в ряды специалистов и будут применять на практике те знания, которые мы в них вложили.
За последний год произошли действительно кардинальные изменения. Порядка 35 украинских университетов разместили свои заказы на Windows Compute Cluster Server 2003. Задачи, на которые Microsoft расходует ресурсы в странах СНГ, мы решаем вместе с нашими партнерами, в частности в Украине — с компанией «Юстар». Часто бывает так, что дорогое оборудование университет закупил, но не использует его по назначению.
Специально для академического сектора мы разработали уникальную программу. Причем распространяется она и на российские, и на украинские учебные заведения. Одна из главнейших задач (о ней порой забывают) — обучение студентов основам параллельного программирования. Мы, в свою очередь, активно участвуем в этом процессе. Мы предпочитаем давать не рыбу, но удочку. С участием Microsoft в нескольких российских университетах были внедрены курсы, и список таких вузов продолжает расти. Недавно мы поддержали мероприятие Academic Days, где собрались представители около полусотни украинских университетов. В одном из них — Таврическом национальном университете мы в ближайшее время проведем курс лекций по HPC и, возможно, заключим контракт на поставку Microsoft Windows HPC Server 2008. Помимо обучения студентов мы помогаем и профессорско-преподавательскому составу, проводим с ними круглые столы, в частности по идентификации ресурсоемких задач, для решения которых можно и нужно использовать HPC. Под этим подразумевается деление задач на группы в зависимости от деятельности той или иной кафедры. Таким образом, профильные университетские кафедры вовлекаются в процессы R&D. Стараемся стимулировать и разработчиков — по целому ряду параметров мы определяем лучшие работы с нашим департаментом R&D и выделяем гранты.
Мы планируем визиты во многие учебные заведения напрямую либо приглашаем туда партнеров. В Украине это компании «Юстар» и Entry. Очень важно, чтобы кластеры реально работали и профессорско-преподавательский состав их использовал не только для курса «Параллельные вычисления», но и для решения практических задач.
Также мы бесплатно обучаем системных администраторов непосредственно на площадке заказчика. Кроме того, для вузов работает специальная, весьма привлекательная ценовая политика.
PCWeek/UE: Но ведь далеко не каждый вуз может позволить себе высокопроизводительный кластер…
Л. К.: Чистая правда. До недавнего времени классические Linux-инсталляции для высокопродуктивных вычислений развертывались, главным образом, на традиционных стоечных серверах. Это влечет за собой существенные затраты на кондиционирование, электропитание, инженерную инфраструктуру, СКС и пр. К сожалению, далеко не каждый университет может позволить себе подобную «роскошь», приходится экономить. В таких условиях может быть полезен «пионерский» концепт, предложенный Microsoft, — так называемые «ночные кластеры» (night clusters). Подход подразумевает использование в качестве узлов кластера обычных рабочих станций. То есть копия WCCS устанавливается на каждый компьютер. Эти станции в дневное время функционируют в стандартном режиме — студенты делают на них свои учебные задания и лабораторные. А ночью, во внеурочное время, они превращаются в распределенный вычислительный кластер для решения научных задач. При таком подходе мы убиваем сразу двух зайцев — ресурсы университетов расходуются экономнее, а студенты могут ознакомиться с технологиями HPC на примерах практических задач.
PCWeek/UE: А как обстоят дела с продвижением HPC-решений Microsoft в коммерческом сегменте?
Л. К.: В Украине мы планируем фокусироваться на крупных промышленных заказчиках, тяготеющих к использованию высокопродуктивных вычислений. Среди них можно назвать АНТК им. Антонова, завод «Мотор Сич» и др.
Третий сегмент рынка, где мы начнем активную деятельность, — нефтегазовые компании. Их не так много, но у нас здесь дорога открыта — подавляющая часть прикладных приложений, которые используют украинские нефтяные и газовые компании, являются разработками Schlumberger. Их основной пакет Eclipse еще два года назад был портирован на нашу кластерную ОС. При этом достигнуты оптимистичные результаты в увеличении производительности при работе под новой ОС HPC Server 2008. Сейчас их решения на базе Windows работают реально быстрее, чем решения на базе Linux. До недавнего времени мы были в роли отстающего, но теперь компания рекомендует HPC Server 2008 своим клиентам. Вряд ли можно обвинить в заангажированности крупнейшего разработчика прикладного «нефтяного» ПО.
PCWeek/UE: Каковы отличительные особенности коммерческого заказчика HPC-систем в нашем регионе?
Л. К.: К сожалению, на украинских и российских предприятиях актуальна проблема обучения работе со сложными ИТ-системами, специалистов крайне мало. Как и в случае с университетами, мы будем приезжать и проводить семинары для заказчиков. С этой целью мы планируем привлекать партнеров по внедрениям; это могут быть также производители аппаратной составляющей HPC-системы, например HP, IBM, FSC.
Для коммерческих заказчиков крайне важен процесс предварительной проверки системы на реальных данных. Мы готовы предложить клиентам соответствующую базу, готовы провести тесты, поднять экспертизу заказчика, сделать все, чтобы проверить, как та или иная специфическая клиентская программа работает под управлением нашей кластерной операционной системой.
PCWeek/UE: Существуют ли вариации решения для финансового сектора?
Л. К.: Да, у нас есть интересное решение для банков. За последние два года мы развернули тысячи инсталляций такой системы в Европе, например, в британском банке Barclays. В России решение уже внедрено в структуру Высшей школы экономики (ВШЭ), а через некоторое время будет рекомендовано развертывание в трех крупнейших российских банках. По сравнению с Европой цифра крайне мала. А в Украине и вовсе пусто. Проблема в том, что в наших странах банки не обладают необходимыми SQL-базами, ведь мы делаем лишь первые шаги в потребительском и коммерческом кредитовании, ипотеке, в то время как тот же Barclays со своей 165-летней историей обладает уникальными базами. Так что для наших широт это решение, скорее, на перспективу.
PCWeek/UE: Что представляет собой проект в Высшей школе экономикии?
Л. К.: Низовой слой этого банковского решения представляет собой WCCS 2003. «Сверху» поставлена параллельная версия пакета Matlab, который сообщается с SQL. В основе SQL лежит огромная терабайтная база данных — реальная база котировок и опционов Московской межбанковской валютной биржи и Шанхайской биржи. ВШЭ на основе метода Монте-Карло разработала методику, посредством которой решаются главные задачи системы — оптимизация опционов и прогноз курса стоимости ряда ликвидных акций, принятие решений по кредитам. Без использования кластерных инсталляций финансовому аналитику приходилось ожидать ответа от рабочей станции в течение 12 часов и затем принимать решение. А вот с новым продуктом мы можем получить результат на порядок быстрее. Причем требования по точности, надежности, корректности полностью соблюдены. Таким образом этот продукт существенно повышает эффективность труда финансового аналитика.
