Появление двух-, а затем и четырехъядерных процессоров позволило разработчикам значительно увеличить вычислительную производительность серверов. Установив, например, два четырехъядерных процессора в один корпус, можно получить систему с восьмью вычислительными ядрами. Компания Supermicro пошла дальше, представив комбинированную систему, допускающую установку четырех четырехъядерных процессоров. Разработчик позиционирует новинку в качестве основы для построения кластеров высокой производительности (HPC).
 TOP500: использование сетевых интерфейсов |
Типы HPC-кластеров
HPC-кластеры принято разделять на две категории: системы с общей памятью и системы распределенного доступа. К первому классу относят уникальные машины, в состав которых входят десятки процессоров, работающих в одной интегрированной системе. По этому принципу функционируют, в частности, системы известного разработчика Cray. Суперкомпьютеры на основе архитектуры общего доступа к памяти характеризуются огромной производительностью, однако высокая стоимость и сложность обслуживания сужает сферу их применения.
Системы распределенного доступа предполагают объединение нескольких серверов (вычислительных узлов) в единый комплекс с помощью внешнего интерфейса. Обычно серверы, которые входят в состав таких HPC-кластеров, используют одно- и двухпроцессорные конфигурации. Кластеры распределенного доступа доступны и просты в обслуживании. К тому же при необходимости их можно расширить, установив дополнительные вычислительные узлы. Благодаря этим особенностям вычислительные кластеры распределенного доступа широко используются в мире и в Украине.
Современные HPC-кластеры комбинируют особенности систем с общей памятью и распределенным доступом. Ядра одно- и двухпроцессорных систем работают с общей памятью, а данные между ними передаются по внутренним шинам. В то же время связь между отдельными узлами осуществляется через внешние сетевые интерфейсы.
Сетевые интерфейсы
В HPC-кластере распределенного доступа важно обеспечить эффективный обмен данными между узлами системы. Принципиальную роль играет не только пропускная способность сетевого интерфейса, но и низкая задержка (латентность) передачи малых пакетов.
Наиболее простым, дешевым и распространенным видом сетевого интерфейса является Gigabit Ethernet. Однако высокая латентность (в среднем — 50 мкс) ограничивает применение Gigabit Ethernet в задачах c интенсивным обменом данным между узлами вычислителя. Более совершенный интерфейс 10 GbE характеризуется латентностью на уровне 10 мкс, однако высокая цена пока сдерживает его распространение на рынке HPC-систем.
Все более широкое распространение в вычислительных кластерах получает интерфейс InfiniBand. Он способен обеспечить высокую пиковую пропускную способность и латентность порядка 2,3–4 мкс. Адаптеры InfiniBand доступны в исполнении PCI Express и могут быть интегрированы непосредственно на системную плату (такие модели предлагает Supermicro). В системах на основе архитектуры AMD адаптер на основе технологии InfiniBand может быть подключен непосредственно к шине HyperTransport, обеспечивая еще большую пропускную способность и прямой обмен данными с процессором и другими компонентами.
Существуют и другие сетевые интерфейсы, разработанные специально для вычислительных кластеров. Так, интерфейс SCI обеспечивает латентность передачи данных около 1,4 мкс. Однако высокая цена SCI-адаптеров и узкая специализация самого интерфейса не позволяют говорить о широком применении SCI — его можно рассматривать скорее в качестве нишевого решения. Еще один интерфейс с низкой латентностью (около 2 мкс), Quadrics, основан на закрытой архитектуре и используется в основном в масштабных проектах.
Получивший широкое распространение в кластерных системах интерфейс Myrinet обладает высокой пропускной способностью (10 Гбит/с) и низкой латентностью (3 мкс). Для этого интерфейса доступно специализированное программное обеспечение, а на физическом уровне он совместим с 10 GbE. Однако в последние годы Myrinet постепенно уступает место Ethernet и InfiniBand.
Требования к HPC-кластерам
К вычислительным кластерам традиционно предъявляют требования по высокой производительности узлов, пропускной способности сетевых интерфейсов и низкой латентности обмена пакетами с данными. При этом отказоустойчивость и доступность узлов HPC-кластера, как правило, считаются второстепенными, поскольку выход из строя одного из компонетов не приводит к остановке всего вычислителя, а лишь несколько снижает скорость проведения операций.
 Платформа Supermicro SYS-6015T-INF |
Supermicro SYS-6015T-INF
В основе конфигурации серверной платформы Supermicro SYS-6015T-INF лежат две системных платы X7DBT-INF, расположенные в одном корпусе формата 1U. Физически системные платы между собой не связаны — система представляет собой не четырехпроцессорный сервер, а два двухпроцессорных модуля, заключенных в один корпус. На передней панели сервера предусмотрены даже отдельные кнопки для включения и перезагрузки каждой “половинки”.
Системная плата X7DBT-INF допускает установку двух процессоров Intel Xeon серии 5100 (двухъядерных) или 5300 (четырехъядерных). Таким образом, всего внутри корпуса могут быть размещены 16 вычислительных ядер. Обе платы подключаются к одному и тому же источнику питания мощностью 980 Вт, который расположен посредине корпуса. Для охлаждения процессоров и других компонентов используется воздушная система. Вентиляторы, расположенные перед материнскими платами, создают прямой канал обдува. В сервер можно установить 4 жестких диска SATA с возможностью горячей замены.
Для организации обмена данными между компонентами сервера и между другими узлами вычислительной фермы обе системные платы оснащены внешним интерфейсом InfiniBand, реализованным на чипе Mellanox MT25204AD-FCC-D. Также предусмотрены по два интерфейса Gigabit Ethernet, с помощью которых можно организовать работы узлов с сетевыми ресурсами. При необходимости в сервер можно установить карты расширения PCI Express 8x — по одной плате на каждый модуль.
Сервер предоставляет средства удаленного управления и мониторинга на основе технологии IPMI SIMSO. Помимо стандартных средств контроля температуры внутри корпуса, скорости вращения вентиляторов и других параметров, реализованы возможности удаленной установки операционной системы, включения и выключения питания, перезагрузки системы, настройки BIOS. Это позволяет администратору выполнять сервисные функции со своего рабочего места.
Производительность
Украинская компания “Оникс” провела тестирование производительности платформы Supermicro SYS-6015T-INF, построив на ее основе двухузловой вычислитель. Связь между узлами обеспечивалась по интерфейсу InfiniBand. Установив в каждый узел четыре процессора Intel Xeon DP X5345 (частота — 2,33 ГГц, объем кэш-памяти второго уровня 8 МБ) и используя оптимизированный для процессоров Intel пакет LINPACK Benchmark 3.0.3, инженерам компании удалось добиться производительности в 54 ГФлопс.
Заключение
Supermicro SYS-6015T-INF — очень эффективное решение как с точки зрения производительности, так и с точки зрения утилизации пространства в серверных стойках. Впечатляет высокая плотность размещения вычислительных ресурсов — 16 ядер в 1U-корпусе. Интегрированный интерфейс InfiniBand и средства удаленного управления однозначно свидетельствуют в пользу применения этой платформы в качестве основы для HPC-кластеров. Supermicro SYS-6015T-INF может заинтересовать учебные заведения и частные организации, занимающиеся численным моделированием, финансовым анализом, инженерными расчетами и другими сложными вычислениями, для проведения которых требуются значительные процессорные ресурсы.
