Я. Фостер, К. Кессельман,
авторы концепции Grid
В основе развития естественных наук помимо сугубо теоретических исследований всегда лежал эксперимент. В наши дни проведение
экспериментов основывается на применении особо развитого инструментария, поскольку современные исследования в большинстве отраслей требуют построения сложных много параметрических моделей. Современная наука генерирует невероятный объем данных, которые необходимо обрабатывать и где-то хранить. Логично предположить использование в этих целях мощных вычислителей, а еще
логичнее — распределять задачи между группами вычислительных машин разной мощности и архитектуры. Именно в этом состоит подход к построению вычислительных сетей, получивший название Grid.
Grid-системы: «от каждого по способностям»
Первая часть известного социалистического лозунга как нельзя более точно характеризует принципы работы Grid-сетей. По сути, такая система представляет собой средство совместного использования территориально распределенных вычислительных мощностей компьютеров и хранилищ данных для решения разнообразных задач. Grid-сеть можно представить как большой виртуальный сервер, чьи ресурсы могут быть расположены в разных городах и странах мира, но при этом доступны из любой точки независимо от местонахождения пользователя.
На основе таких сетей научные организации развертывают Grid-проекты (национальные, европейские, всемирные), призванные решать конкретные прикладные или теоретические задачи либо отрабатывать новые технологии, коммутационные протоколы и программное обеспечение. Если обобщить, то в первую очередь Grid-проекты должны обеспечивать доступ к географически распределенным высокопродуктивным ресурсам (процессорам, памяти, системам хранения) и возможность использовать их в любое время. Во-вторых, в системе могут быть задействованы вычислители разных архитектур (не только стандартные процессоры, но и GPU, перепрограммируемые логические интегральные схемы и пр.), поэтому необходимо наличие централизованного механизма определения самого подходящего
источника данных и оптимального исполнителя для конкретных задач. Другими словами, сеть должна уметь распределять задачи между узлами без вмешательства пользователя.
Grid-проекты часто помогают социально-экономическим исследованиям. Например, созданию на основе телемедицинских технологий виртуальной управляющей среды для предоставления срочной консультативной поддержки докторам, всегда работающим в условиях
крайне ограниченного времени. Другой пример: Grid-системы используются для мониторинга поверхности Земли, точного прогнозирования погоды, например, возможных штормов, засух, землетрясений, моделирования изменений климата. Такие исследования позволяют предвидеть возможные негативные последствия и заблаговременно планировать необходимые меры.
Активнее всего Grid используются в научно-технических проектах. Так, чрезвычайно актуально сегодня применение Grid-технологий для построения моделей фармакокинетики и фармакодинамики существующих и новых лекарств. Эти модели должны быть как можно более
точными и требуют использования сверхмощных вычислителей. Еще одно научное применение — построение ядра решения задачи использования объекта, функционирующего в условиях всякого рода ограничений на конечном промежутке времени. К таким задачам относятся, в том числе, проблемы использования разных социальных, экономических и экологических систем. Вычислительные мощности
Grid-систем востребованы для комплексного проектирования сложных технических объектов, например самолетов или микросхем. Эти процессы охватывают этапы от анализа вариантов исполнения до функциональной оптимизации, помогают просчитать особенности структуры, материалов и компонентов, выбрать технологии изготовления.
Физика небесных тел и астрономия — неиссякаемый источник задач моделирования планетарных процессов. Эти научные дисциплины нуждаются в разработке интегрированной среды, которая обеспечивает общий доступ к результатам наблюдений и расчетов эволюции галактик и Вселенной. Ряд Grid-проектов задействован в исследованиях физики высоких энергий, в частности, термоядерного синтеза и обработки экспериментальных данных, полученных в Большом адронном коллайдере (Large Hadron Collider, LHC) в CERN. Еще одно важное применение распределенных мощных вычислений — Data Mining: поиск неочевидных закономерностей данных путем автоматической
формулировки гипотезы о взаимосвязях на базе концепции шаблонов (pattern).
«Ще не вмерла Україна»
Недофинансирование отечественной науки — вопрос старый и больной, однако Grid-системы и кластеростроение у нас все-таки развиваются. В 2006 году стартовала программа «Внедрение Grid-технологий и создание кластеров Национальной академии наук Украины» — UNG (Ukrainian National Grid, украинский академический Grid-проект). В этой программе приняли участие 16 академических институтов во
главе с Институтом теоретической физики им. Н.Н.Боголюбова. Второй украинский проект — образовательный и носит название UGrid. Его сеть состоит из суперкомпьютеров УНК «ИПСА» НТУУ «КПИ», ХНУРЭ, технических университетов Львова, Запорожья и Донецка.
Главный узел этого проекта, вычислительный кластер НТУУ «КПИ», был создан в 2007 году под руководством компании «Юстар». В настоящее время вычислитель пережил уже третью стадию модернизации и неоднократно попадал в рейтинг Top-50 мощнейших
компьютеров СНГ. Уже сегодня суперкомпьютер НТУУ «КПИ» задействован в работе украинского отделения Всемирного центра данных
для обработки данных по физике твердой Земли, солнечно-земной физике и океанографии.
В сентябре минувшего года было принято решение объединить усилия академического и образовательного Grid-сегментов в рамках построения национального Grid-проекта (UNGI, Ukrainian National Grid Initiative) и его интеграции в европейскую Grid-инфраструктуру EGEE. Украинские ресурсы должны присоединить к проекту EGEE-III 1 апреля текущего года. По словам исполнительного директора «Юстар» Владимира Савьяка, сегодня Украина в области Grid-проектов и высокопродуктивных вычислений вошла в новую стадию — оптимизации, что демонстрирует определенную технологическую зрелость «вычислительного» сообщества нашей страны. Нынче участники Grid-сетей задумываются об эффективном использовании вычислителей, уделяют больше внимания оптимизации инфраструктуры и развитию персонала.
На уровне политики
В конце января на заседании Консультационного совета по вопросам информатизации при Верховной Раде Украины был рассмотрен вопрос «О развитии Grid-сред в Украине» и представлена государственная целевая программа внедрения и применения Grid-технологий на
2009—2013 годы.Программа предполагает создание и развитие материально-технической базы национальной Grid-инфраструктуры и
ее интеграцию в международное информационное пространство, в частности, проектирование и построение региональных операционных Grid-центров в Харькове, Львове и других научных центрах НАН и МОН Украины.
Программа также предусматривает разработку технологий функционирования Grid-инфраструктуры, программных и аппаратных средств и методов обеспечения информационной безопасности для территориально распределенных комплексов, внедрение технологий в научно-техническую и социальноэкономическую сферы деятельности.
Последнее будет способствовать использованию Grid-технологий в медицине, фундаментальных научных и прикладных исследованиях.
Например, предполагается разработка ПО и сервисов для применения в физике высоких энергий, астрофизике, космологии, астрономии, биоинформатике и пр.
Немаловажным пунктом программы является подготовка кадров для работы с Grid-технологиями. На базе НТУУ «КПИ» уже начата
подготовка магистров по специализации «Grid-технологии в науке и образовании».
EGEE
Проект EGEE (Enabling Grids for E-sciencE, «Развертывание Grid для развития е-науки»), в котором участвует Украина, представляет собой одну из крупнейших многодисциплинарных Grid-инфраструктур. Цель EGEE-III — расширение и оптимизация Grid-инфраструктуры. В данный
момент проект обслуживает более 150 тысяч задач в сутки, в частности, биомедицинских и в области ядерного синтеза. EGEE-III финансируется Европейской комиссией и объединяет более 120 организаций мирового и европейского научных сообществ. К лету 2008 года в EGEE-III принимали участие 250 вычислительных площадок в 48 странах, были задействованы более 60 тысяч процессоров и хранилища данных общим объемом 20 петабайт. Программа-максимум EGEE состоит в создании единой Grid-структуры, гарантирующей возможность взаимодействия между Grid-сетями во всем мире. В связи с этим EGEE тесно сотрудничает с другими Grid-проектами Европы и мира в вопросах выработки единых стандартов. Одним из поводов к развертыванию EGEE послужили эксперименты на Большом адронном коллайдере по поиску бозона Хиггса. Согласно подсчетам организаторов, каждый год эти исследования будут генерировать около 15 петабайт данных. С помощью EGEE за несколько недель были исследованы свыше 500 тысяч молекул для нахождения лекарства от птичьего гриппа. Еще до проведения лабораторных опытов расчеты в Grid-системе позволили исключить огромное количество ложных вариантов. Это сэкономило громадные средства и время, что особенно важно при изучении мутирующего вируса.
Другие научные эксперименты в рамках EGEE касаются исследований сложных мышечных клеток, расчетов динамики темной энергии, моделирования процессов в клетках, предсказания структуры белков, изучения загрязнения атмосферы и поисков генов, защищающих пшеницу от новых угроз. Кроме того, технологии EGEE используют для исследования вариантов налоговой политики, моделирования поведения рынков, геологического моделирования с целью поиска новых запасов нефти и других природных ресурсов.
Кластер СКИТ–3 (Институт кибернетики НАНУ)• Вычислительные средства кластера (вычислительные узлы и управляющий узел) пред-
ставляют собой массив серверов, связанных между собой двумя ЛВС — высокоско-
ростной сетью на базе InfiniBand (пропускная способность канала — до 900 МБ/с) и
сетью Gigabit Ethernet (пропускная способность канала — до 1000 Мбит/с)
• 15-е место в 9-й редакции рейтинга Top-50 самых мощных суперкомпьютеров в СНГ
• 52 узла с четырехъядерными процессорами Intel Xeon E5345 2,2 ГГц по 2 ГБ опера-
тивной памяти на ядро
• 75 узлов с двухъядерными процессорами Intel Xeon 5160 3,00 ГГц по 2 ГБ оперативной
памяти на ядро
• Сеть обмена данными: InfiniBand
• ОС: CentOS release 5.1
• Дисковое пространство: типа RAID 5, глобальная файловая система Lustre общим
объемом (в зеркале) 20 ТБ
• Общая потребляемая мощность — 60 кВА от сети 380 В
• Пиковая производительность кластера — 6500 Гфлопс, реальная подтвержденная
производительность (на 125 узлах) — 5317 Гфлопс
Кластер uSystem XScale 2TX (НТУУ «КПИ»)• 22-е место в 9-й редакции рейтинга Top-50 самых мощных суперкомпьютеров в СНГ
• Пиковая производительность кластера — 7 Тфлопс, реальная подтвержденная произ-
водительность — 5,83 Тфлопс
Система 1: (Linux)• 44 узла с двумя четырехъядерными процессорами Intel Xeon E5440 2,83 ГГц по 8 ГБ
оперативной памяти в каждом узле
• 78 узлов с двумя двухъядерными процессорами Intel Xeon 5160 3,00 ГГц по 4 ГБ опе-
ративной памяти в каждом узле
• Сеть обмена данными: InfiniBand
• ОС: CentOS release 5.2
• Дисковое пространство: 6 ТБ на базе распределенной файловой системы LustreFS
• MPI: openmpi 1.2.8; компиляторы C++: intel 10.1, gcc 4.1.2
• Локальный менеджер ресурсов: Torque 2.3.6
• Прикладное ПО: GROMACS 4.0.2, GEMESS, fftw 3.2
• Протокол доступа: SSH
Система 2: (Windows)• 16 узлов с двумя четырехъядерными процессорами Intel Xeon E5345 2,33 ГГц, 8 ГБ
оперативной памяти и диском емкостью 500 ГБ в каждом узле
• Сеть обмена данными: InfiniBand
• ОС: MS Windows Server 2008 HPC Edition
• MPI: MS MPI 2.0.1551
• Локальный менеджер ресурсов: HPC Job Manager
• Компиляторы C++: нет
• Прикладное ПО: нет
• Протокол доступа: RDP
• Система хранения данных содержит следующие составляющие: 6 ТБ + 6,5 ТБ дискового про-
странства на базе системы хранения FalconStor, 20 ТБ пространства в ленточном архиве
