Новосибирск — один из крупнейших научных центров, в котором активно используются суперкомпьютерные вычисления. О сегодняшней деятельности Сибирского суперкомпьютерного центра, существующих проблемах, намеченных перспективах развития нам рассказал его руководитель, Борис Михайлович Глинский.
— Добрый день! Расскажите, пожалуйста, какими суперкомпьютерными ресурсами располагает сегодня Сибирское отделение РАН?
— Здравствуйте! Определенные суперкомпьютерные мощности у нас имеются, и, разумеется, их недостаточно. У нас создан Сибирский суперкомпьютерный центр (ССКЦ) при Институте Вычислительной Математики и Математической Геофизике (ИВМиМГ). Начинался он с подарка компании Intel, с 8 серверов на платформе Itanium 2, а в последующем количество процессоров в этом кластере (он называется НКС-160) было увеличено на порядок, его производительность поднялась до уровня чуть больше 1 терафлопса. Отличительная особенность этого кластера в том, что он оснащен коммерческими программными продуктами Fluent и Gaussian, которые у нас достаточно широко используются, и системными программными продуктами корпорации Intel.
Второй кластер — НКС-30Т — мы запустили в прошлом году, и в настоящее время он загружен практически на все 100%. Он построен в основном на процессорах Intel Xeon серии Е5400, в настоящее время в нем 512 ядер, производительность составляет 6.1 терафлопса. Этот кластер хорошо оснащен программными инструментами Intel, в т.ч. на нем имеются компиляторы C/C++, Fortran, библиотека MKL. И вообще при его создании Intel оказала большую поддержку по программному обеспечению.
Еще в составе ССКЦ есть мощный 4-процессорный сервер HP DL580 G5 (16 ядер) с большой общей памятью 256 гигабайт с симметричным доступом, его производительность превышает 180 гигафлопс. Имеются также большая параллельная система хранения данных емкостью 6 терабайт и сервера хранения данных с общей памятью 9 терабайт.
Одним из итогов прошлого года стало то, что мы вошли в состав участников программы «СКИФ-Полигон» и пытаемся некоторые задачи решать с использованием программно-аппаратных средств по этой программе.
— Можете назвать наиболее существенные проблемы, задерживающие ввод в эксплуатацию суперкомпьютерных установок? Если процесс затягивается, скажем, на год, то это ведь весьма негативно сказывается на отдаче, которую можно получить от кластера, срок устаревания которого составляет порядка 3-4 лет?
— Да, суперкомпьютеры стареют очень быстро... Знаете, я бы разделил проблему на несколько частей.
В суперкомпьютерном центре мы сталкиваемся, пожалуй, с двумя категориями пользователей. Первая — научные работники. Они (если не все, то большинство) осваивают все быстро, очень хорошо начинают разбираться в архитектуре, в параллельном программировании, в постановках задач. Соответственно, здесь проблем нет. С нашей стороны востребованы в основном консультации — по языкам программирования, по методам решения больших задач. Это мы, конечно, делаем. Хуже дело обстоит с пользователями, приходящими не «от науки». К сожалению, эта категория у нас невелика. Простой пример: 60% ресурсов из мирового списка TOP500 суперкомпьютеров занимает промышленность, у нас же — только 6%. Хотя все и говорят, что разработка конкурентной продукции просто немыслима без суперкомпьютерных вычислений, и все это знают, но пока что сохраняются большие трудности с привлечением промышленности. Ну, и наша продукция имеет соответствующую конкурентоспособность.
На протяжении последних двух лет мы интенсивно пытаемся работать с производственниками в новосибирской области. На уровне НИИ что-то еще получается. В Сибирском научно-исследовательском институте авиации им. С.А.Чаплыгина (СибНИА) имеются подвижки в области применения суперкомпьютерных вычислений. Под Новосибирском, в Кольцово, есть Государственный научный центр вирусологии и биотехнологии «Вектор», там тоже присутствует интерес к HPC. Кстати, и задачи у них интересные. Вот, допустим, СПИД. Оказывается, его вирус в своем составе имеет и антитела. Попытаться создать белок, который усиливал бы действие этих антител, можно физически, создавая разные белки и исследуя, что получается. А можно построить математические модели и решать проблему численным путем, сокращая круг необходимых экспериментов. Так вот, в Кольцово построили очень хорошую модель, перебрали свыше 200 вариантов, из них около 30 уже выбрали и, соответственно, эти белки они и синтезируют.
В общем, как понимаете, дела с применением суперкомпьютерных технологий идут по-разному. Я думаю, чтобы внедрять суперкомпьютерные установки и вычисления в промышленности, нужно еще долго и серьезно работать. Готовить в вузах, в университетах специалистов, способных решать такие задачи.
Два года назад совместно с Intel мы создали в Новосибирске Центр компетенции по супервычислениям. Основные его задачи как раз состоят в обучении научных организаций, вузов, предприятий добывающих отраслей, промышленности современным технологиям и методам высокопроизводительных вычислений на базе разработок Intel, а также в оказании консультационных и вычислительных услуг на базе имеющихся у нас кластеров. Еще одно очень интересное направление — сравнительная оценка производительности новых процессорных и программных разработок Intel, но не просто на общеизвестных тестах, а на различных реальных прикладных задачах, решаемых в ССКЦ.
— Раз уж речь зашла о кадровых вопросах, как обстоит дело с персоналом для самих вычислительных центров?
— В самих центрах мы и растим такие кадры. Возьмем наш Сибирский суперкомпьютерный центр коллективного пользования (ССКЦ КП). Идея возродить центры коллективного пользования не нова, инициатором ССКЦ в СО РАН был академик А.С. Алексеев, в настоящее время академик Б.Г. Михайленко (научный руководитель ССКЦ) много внимания уделяет этой проблеме, но когда мы занялись ее реализацией, необходимые кадры пришлось, как говорится, выращивать из тех специалистов, которые были. Хорошо, что они прошли путь от самоделок, делали аналог московского кластера МВС1000, потом вместе с Intel и Hewlett Packard строили первый кластер терафлопсного уровня для Сибирского отделения РАН. Вот, собственно, в процессе работы и научились всему. А в Новосибирском университете мы пытаемся сейчас поставить такую специализацию на мехмате. Я там являюсь зав. кафедрой вычислительных систем, мы такой вот магистерский курс прорабатываем и, надеюсь, запустим в этом году.
— Нехватка каких специалистов, на ваш взгляд, в настоящее время ощущается острее всего?
— Программистов-прикладников. Причем, понимаете, это должны быть специалисты широкого профиля. Если работать с производственниками, то первым делом надо задачу, сформулированную на интуитивном уровне, превратить в некоторую математическую модель. Потом разработать алгоритмы расчетов для этой модели, параллельные программы, выполнить расчеты, вывести результаты в удобной для анализа форме. Специалист, справляющийся с таким кругом задач — это вообще уникальный специалист. Подготовка подобных кадров — очень важная для нас задача. Мы организуем обучение специалистов СО РАН и студентов новосибирских университетов (в НГУ на факультетах ММФ и ФИТ, в НГТУ) методам высокопроизводительных параллельных вычислений, поддерживаем проведение ежегодных зимних и летних школ по параллельному программированию для студентов.
Какую бы технику вы не имели, если нет людей, способных ею пользоваться, получается что-то вроде автомобиля без шофера.
— А с системным программированием, администрированием, техническим обслуживанием кластеров ситуация проще?
— Я рассказал о прикладной части, давайте посмотрим на системную. В принципе, здесь тоже требуется подготовка специалистов. Их тоже нет, их надо готовить. Например, в Южно-Уральском госуниверситете сейчас это дело неплохо поставили.
— Выработка концепции и методики подготовки различных специалистов для отрасли высокопроизводительных вычислений была обозначена, как важнейшая задача Суперкомпьютерного консорциума университетов России. В этом деле есть подвижки?
— Такой консорциум был создан, наш университет вошел в него. Сейчас как раз и идет формирование методики, вернее, пула материалов по подготовке специалистов для решения суперкомпьютерных задач. Идет обмен опытом между университетами. В МГУ Владимир Валентинович Воеводин выпустил интересную книгу с примерами применения суперкомпьютерных расчетов. Я думаю, что консорциум должен являться застрельщиком в деле суперкомпьютерного образования. Нам жизненно необходимы интеграция усилий, выработка и как можно более быстрое внедрение общих подходов к подготовке специалистов.
— Эксплуатационные затраты... Во что обходится эксплуатация суперкомпьютерных установок нижнего и среднего звена? Насколько она может сдерживать развитие отрасли?
— Конечно, может сдерживать, и очень здорово. Мы это ощущаем. Дефицит электроэнергии — ее не очень просто получить, нужны разрешения и т.д. С другой стороны, тут проблемы чисто финансовые и административные. Здесь у нас был в свое время крупный вычислительный центр, осталась подстанция. Когда-то там стояли большие ЕС-овские машины, энергопотребление у них было еще какое! Так что в смысле электроэнергии инфраструктура у нас сохранилась, остается грамотно ею распорядиться.
— Значит, с этой стороны развитию Сибирского суперкомпьютерного центра непреодолимых преград не ожидается, это замечательно. Кстати, поделитесь, пожалуйста, планами по его развитию.
— Стратегия развития ССКЦ направлена, в первую очередь, на поддержку крупномасштабных вычислительных экспериментов в науке и промышленности. Как я уже говорил, здесь нам что-то удается хорошо, а где-то мы пока еще сталкиваемся с серьезными трудностями, особенно это касается привлечения промышленности.
В текущем году мы планируем объединить ресурсы нашего центра и «Центра биоинформационных технологий», формируемого на базе Института цитологии и генетики (ИЦиГ) СО РАН, что позволит предоставить нашим пользователям пиковую производительность порядка 16 терафлопс. Далее, у нас написана концепция создания регионального суперкомпьютерного центра на базе «СКИФ-Аврора», в ней обозначены первая и вторая очереди развития, в результате которых мы должны получить суперкомпьютерные установки с производительностью соответственно 60 и 200 терафлопс. Но, к сожалению, вопросы еще упираются в финансирование. В этом плане проект пока что продвигается трудно.
В 2010 году мы попробуем объединить в грид-сегмент вычислительные ресурсы ССКЦ и Новосибирского госуниверситета, вместе это будет уже свыше 20 терафлопс. Создание грида стало возможным благодаря сети с пропускной способностью 10 Гбит/с, которую построил Институт вычислительных технологий (ИВТ) СО РАН. Первая очередь этого проекта будет введена в этом году, и мы рассчитываем получить хорошие результаты при решении сложных задач с помощью грид-технологий.
— Спасибо за интересный рассказ! От себя и, пожалуй, от всех участников сообщества Intel IT Galaxy желаю вам быстрого решения проблем с финансированием и привлечением промышленных предприятий к суперкомпьютерным вычислениям.
Источник: IT Galaxy
— Добрый день! Расскажите, пожалуйста, какими суперкомпьютерными ресурсами располагает сегодня Сибирское отделение РАН?
— Здравствуйте! Определенные суперкомпьютерные мощности у нас имеются, и, разумеется, их недостаточно. У нас создан Сибирский суперкомпьютерный центр (ССКЦ) при Институте Вычислительной Математики и Математической Геофизике (ИВМиМГ). Начинался он с подарка компании Intel, с 8 серверов на платформе Itanium 2, а в последующем количество процессоров в этом кластере (он называется НКС-160) было увеличено на порядок, его производительность поднялась до уровня чуть больше 1 терафлопса. Отличительная особенность этого кластера в том, что он оснащен коммерческими программными продуктами Fluent и Gaussian, которые у нас достаточно широко используются, и системными программными продуктами корпорации Intel.
Второй кластер — НКС-30Т — мы запустили в прошлом году, и в настоящее время он загружен практически на все 100%. Он построен в основном на процессорах Intel Xeon серии Е5400, в настоящее время в нем 512 ядер, производительность составляет 6.1 терафлопса. Этот кластер хорошо оснащен программными инструментами Intel, в т.ч. на нем имеются компиляторы C/C++, Fortran, библиотека MKL. И вообще при его создании Intel оказала большую поддержку по программному обеспечению.
Еще в составе ССКЦ есть мощный 4-процессорный сервер HP DL580 G5 (16 ядер) с большой общей памятью 256 гигабайт с симметричным доступом, его производительность превышает 180 гигафлопс. Имеются также большая параллельная система хранения данных емкостью 6 терабайт и сервера хранения данных с общей памятью 9 терабайт.
Одним из итогов прошлого года стало то, что мы вошли в состав участников программы «СКИФ-Полигон» и пытаемся некоторые задачи решать с использованием программно-аппаратных средств по этой программе.
— Можете назвать наиболее существенные проблемы, задерживающие ввод в эксплуатацию суперкомпьютерных установок? Если процесс затягивается, скажем, на год, то это ведь весьма негативно сказывается на отдаче, которую можно получить от кластера, срок устаревания которого составляет порядка 3-4 лет?
— Да, суперкомпьютеры стареют очень быстро... Знаете, я бы разделил проблему на несколько частей.
В суперкомпьютерном центре мы сталкиваемся, пожалуй, с двумя категориями пользователей. Первая — научные работники. Они (если не все, то большинство) осваивают все быстро, очень хорошо начинают разбираться в архитектуре, в параллельном программировании, в постановках задач. Соответственно, здесь проблем нет. С нашей стороны востребованы в основном консультации — по языкам программирования, по методам решения больших задач. Это мы, конечно, делаем. Хуже дело обстоит с пользователями, приходящими не «от науки». К сожалению, эта категория у нас невелика. Простой пример: 60% ресурсов из мирового списка TOP500 суперкомпьютеров занимает промышленность, у нас же — только 6%. Хотя все и говорят, что разработка конкурентной продукции просто немыслима без суперкомпьютерных вычислений, и все это знают, но пока что сохраняются большие трудности с привлечением промышленности. Ну, и наша продукция имеет соответствующую конкурентоспособность.
На протяжении последних двух лет мы интенсивно пытаемся работать с производственниками в новосибирской области. На уровне НИИ что-то еще получается. В Сибирском научно-исследовательском институте авиации им. С.А.Чаплыгина (СибНИА) имеются подвижки в области применения суперкомпьютерных вычислений. Под Новосибирском, в Кольцово, есть Государственный научный центр вирусологии и биотехнологии «Вектор», там тоже присутствует интерес к HPC. Кстати, и задачи у них интересные. Вот, допустим, СПИД. Оказывается, его вирус в своем составе имеет и антитела. Попытаться создать белок, который усиливал бы действие этих антител, можно физически, создавая разные белки и исследуя, что получается. А можно построить математические модели и решать проблему численным путем, сокращая круг необходимых экспериментов. Так вот, в Кольцово построили очень хорошую модель, перебрали свыше 200 вариантов, из них около 30 уже выбрали и, соответственно, эти белки они и синтезируют.
В общем, как понимаете, дела с применением суперкомпьютерных технологий идут по-разному. Я думаю, чтобы внедрять суперкомпьютерные установки и вычисления в промышленности, нужно еще долго и серьезно работать. Готовить в вузах, в университетах специалистов, способных решать такие задачи.
Два года назад совместно с Intel мы создали в Новосибирске Центр компетенции по супервычислениям. Основные его задачи как раз состоят в обучении научных организаций, вузов, предприятий добывающих отраслей, промышленности современным технологиям и методам высокопроизводительных вычислений на базе разработок Intel, а также в оказании консультационных и вычислительных услуг на базе имеющихся у нас кластеров. Еще одно очень интересное направление — сравнительная оценка производительности новых процессорных и программных разработок Intel, но не просто на общеизвестных тестах, а на различных реальных прикладных задачах, решаемых в ССКЦ.
— Раз уж речь зашла о кадровых вопросах, как обстоит дело с персоналом для самих вычислительных центров?
— В самих центрах мы и растим такие кадры. Возьмем наш Сибирский суперкомпьютерный центр коллективного пользования (ССКЦ КП). Идея возродить центры коллективного пользования не нова, инициатором ССКЦ в СО РАН был академик А.С. Алексеев, в настоящее время академик Б.Г. Михайленко (научный руководитель ССКЦ) много внимания уделяет этой проблеме, но когда мы занялись ее реализацией, необходимые кадры пришлось, как говорится, выращивать из тех специалистов, которые были. Хорошо, что они прошли путь от самоделок, делали аналог московского кластера МВС1000, потом вместе с Intel и Hewlett Packard строили первый кластер терафлопсного уровня для Сибирского отделения РАН. Вот, собственно, в процессе работы и научились всему. А в Новосибирском университете мы пытаемся сейчас поставить такую специализацию на мехмате. Я там являюсь зав. кафедрой вычислительных систем, мы такой вот магистерский курс прорабатываем и, надеюсь, запустим в этом году.
— Нехватка каких специалистов, на ваш взгляд, в настоящее время ощущается острее всего?
— Программистов-прикладников. Причем, понимаете, это должны быть специалисты широкого профиля. Если работать с производственниками, то первым делом надо задачу, сформулированную на интуитивном уровне, превратить в некоторую математическую модель. Потом разработать алгоритмы расчетов для этой модели, параллельные программы, выполнить расчеты, вывести результаты в удобной для анализа форме. Специалист, справляющийся с таким кругом задач — это вообще уникальный специалист. Подготовка подобных кадров — очень важная для нас задача. Мы организуем обучение специалистов СО РАН и студентов новосибирских университетов (в НГУ на факультетах ММФ и ФИТ, в НГТУ) методам высокопроизводительных параллельных вычислений, поддерживаем проведение ежегодных зимних и летних школ по параллельному программированию для студентов.
Какую бы технику вы не имели, если нет людей, способных ею пользоваться, получается что-то вроде автомобиля без шофера.
— А с системным программированием, администрированием, техническим обслуживанием кластеров ситуация проще?
— Я рассказал о прикладной части, давайте посмотрим на системную. В принципе, здесь тоже требуется подготовка специалистов. Их тоже нет, их надо готовить. Например, в Южно-Уральском госуниверситете сейчас это дело неплохо поставили.
— Выработка концепции и методики подготовки различных специалистов для отрасли высокопроизводительных вычислений была обозначена, как важнейшая задача Суперкомпьютерного консорциума университетов России. В этом деле есть подвижки?
— Такой консорциум был создан, наш университет вошел в него. Сейчас как раз и идет формирование методики, вернее, пула материалов по подготовке специалистов для решения суперкомпьютерных задач. Идет обмен опытом между университетами. В МГУ Владимир Валентинович Воеводин выпустил интересную книгу с примерами применения суперкомпьютерных расчетов. Я думаю, что консорциум должен являться застрельщиком в деле суперкомпьютерного образования. Нам жизненно необходимы интеграция усилий, выработка и как можно более быстрое внедрение общих подходов к подготовке специалистов.
— Эксплуатационные затраты... Во что обходится эксплуатация суперкомпьютерных установок нижнего и среднего звена? Насколько она может сдерживать развитие отрасли?
— Конечно, может сдерживать, и очень здорово. Мы это ощущаем. Дефицит электроэнергии — ее не очень просто получить, нужны разрешения и т.д. С другой стороны, тут проблемы чисто финансовые и административные. Здесь у нас был в свое время крупный вычислительный центр, осталась подстанция. Когда-то там стояли большие ЕС-овские машины, энергопотребление у них было еще какое! Так что в смысле электроэнергии инфраструктура у нас сохранилась, остается грамотно ею распорядиться.
— Значит, с этой стороны развитию Сибирского суперкомпьютерного центра непреодолимых преград не ожидается, это замечательно. Кстати, поделитесь, пожалуйста, планами по его развитию.
— Стратегия развития ССКЦ направлена, в первую очередь, на поддержку крупномасштабных вычислительных экспериментов в науке и промышленности. Как я уже говорил, здесь нам что-то удается хорошо, а где-то мы пока еще сталкиваемся с серьезными трудностями, особенно это касается привлечения промышленности.
В текущем году мы планируем объединить ресурсы нашего центра и «Центра биоинформационных технологий», формируемого на базе Института цитологии и генетики (ИЦиГ) СО РАН, что позволит предоставить нашим пользователям пиковую производительность порядка 16 терафлопс. Далее, у нас написана концепция создания регионального суперкомпьютерного центра на базе «СКИФ-Аврора», в ней обозначены первая и вторая очереди развития, в результате которых мы должны получить суперкомпьютерные установки с производительностью соответственно 60 и 200 терафлопс. Но, к сожалению, вопросы еще упираются в финансирование. В этом плане проект пока что продвигается трудно.
В 2010 году мы попробуем объединить в грид-сегмент вычислительные ресурсы ССКЦ и Новосибирского госуниверситета, вместе это будет уже свыше 20 терафлопс. Создание грида стало возможным благодаря сети с пропускной способностью 10 Гбит/с, которую построил Институт вычислительных технологий (ИВТ) СО РАН. Первая очередь этого проекта будет введена в этом году, и мы рассчитываем получить хорошие результаты при решении сложных задач с помощью грид-технологий.
— Спасибо за интересный рассказ! От себя и, пожалуй, от всех участников сообщества Intel IT Galaxy желаю вам быстрого решения проблем с финансированием и привлечением промышленных предприятий к суперкомпьютерным вычислениям.
Источник: IT Galaxy
