Каким будет интернет будущего? Точнее даже не интернет как таковой, а объединенная структура для хранения, обмена и обработки данных в глобальных масштабах? 

Это вопрос весьма злободневный — аналитики уже несколько лет к ряду, а с ними футурологи и писатели‑фантасты бьют тревогу по поводу экспоненциального роста интернет‑трафика и огромного, постоянно увеличивающегося объема данных в хранилищах. И эта проблема требует незамедлительного решения. 

Одним из возможных путей развития «компьютерной глобализации» может стать объединение Grid‑сетей в единую суперсеть, что приведет к созданию мощного распределенного виртуального компьютера, который будет развиваться подобно живому организму. Однако это вопрос будущего, а сегодня производится построение Grid‑сетей «на местах» и точечное их объединение для решения задач высокой вычислительной сложности. Некоторое время назад к этому процессу присоединилась и Украина. 

Коротко о grid‑системах 

Grid (с англ. «сетка», практически — «сеть»!) являют собой стандартизированные системы, построенные на подключенных к локальной или глобальной сети компьютерах. Эти распределенные вычислительные ресурсы скоординированы для решения общих задач. Число компьютеров в системе может достигать десятков тысяч, а в качестве ее узлов могут выступать и мощные суперкомпьютеры, и обычные домашние станции, находящиеся в разных странах. Добавлять новые узлы в такой виртуальный компьютер, а также удалять старые можно абсолютно безболезненно — специальное программное обеспечение позаботится, чтобы «новичок» сразу включился в работу, а в случае выхода вычислительной единицы за рамки Grid — перераспределит задачу между оставшимися. Grid-системы строятся на базе стандартных и открытых протоколов, сервисов и интерфейсов. В основе международных проектов, которые обрабатывают данные для сверхресурсоемких задач, лежат мощные вычислительные кластеры, суперкомпьютеры, различные вычислители нестандартных архитектур (например, графические процессоры либо игровые приставки Sony PlayStation 3 на процессорах IBM Cell).

Присоединилась с некоторым опозданием — утверждают непосредственные участники этого процесса, ученые и профессора учреждений, подведомственных Министерству образования и науки (МОНУ) и Национальной академии наук (НАНУ). Ведь нашу страну мировая тенденция затронула лишь в 2006 году, когда стартовала корпоративная программа «Внедрение Grid‑технологий и создание кластеров в Национальной академии наук Украины», или UNGI (Ukrainian National Grid Initiative, Украинская национальная Grid‑инициатива). Построение «академической» Grid началось с развертывания крупных кластеров Института кибернетики (9-е место в рейтинге Tор50 суперкомпьютеров СНГ по производительности) и Института теоретической физики, а также систем в Главной астрономической обсерватории, Институте молекулярной биологии и генетики, Институте клеточной биологии и генной инженерии. Были модернизированы кластеры в Харьковском физико‑техническом институте и Институте физики конденсированных состояний во Львове. Запланировано построение вычислительных кластеров в ряде НИИ, после чего они тоже войдут в состав академического «грида». Второй украинский Grid‑проект — образовательный — развернут на базе научно‑образовательной сети УРАН. Он носит название UGrid и состоит из суперкомпьютеров НТУУ «КПИ» (13-е место в рейтинге Tор50 суперкомпьютеров СНГ по производительности), ХНУРЭ, Львовского, Запорожского и Донецкого национальных технических университетов, а также компании «Юстар». В настоящее время суперкомпьютер НТУУ «КПИ» задействован в работе украинского филиала Всемирного Центра Данных для виртуализации разнородных систем хранения данных в виде виртуального пула данных. Он обрабатывает данные по физике твердой Земли, физике Земли и Солнца, процессам социального развития и пр. Управление вычислительными ресурсами для обработки данных и передачи их в СХД осуществляется посредством удаленного портала Всемирного Центра Данных и Национальной компьютерной сети УРАН. 

Поскольку в последнее время наметилась тенденция консолидации научных исследований разных стран с целью повышения их эффективности, в планы украинских ученых относительно Grid входит присоединение к Европейскому исследовательскому пространству. В минувшем году было принято решение об объединении академического и образовательного сегмента в рамках построения национального Grid‑проекта UNGI, который впоследствии интегрируется в Европейскую Grid‑инфраструктуру EGEE‑EGI. Проект EGEE (Enabling Grids for E‑sciencE) начался в 2004 году и имеет целью построение безопасной и устойчивой Grid‑инфраструктуры, которая будет использоваться для многочисленных научных расчетов, в частности — из области физики высоких энергий.

Результатом консолидации украинских Grid‑ресурсов станет система, содержащая более тысячи процессоров и имеющая СХД емкостью более 100 ТБ. В настоящее время в проекте занято около сотни человек, которые адаптируют систему под задачи EGEE и работают над созданием специального программного обеспечения. Таким образом, Украине уже официально «открыли двери» в европейское Grid‑сообщество. Однако для полноценного передвижения внутри этого «здания» необходимо еще пройти ряд сертификаций, наладить инфраструктуру, а в перспективе — и проводить подготовку соответствующих специалистов. Можно отметить ряд положительных сдвигов в этом направлении: в Институте прикладного системного анализа (ИПСА) НТУУ «КПИ» и некоторых других вузах начата программа подготовки магистров по направлению «Grid в науке и образовании». Кроме того, все организации — участницы проекта планируют проведение научных исследований в области совместимости ПО и обеспечения безопасности при объединении разных Grid‑сегментов, разработке дополнительных сервисов для научного и коммерческого применения. 

Крупнейшие глобальные Grid‑проекты

CrossGridЕвропейский исследовательский проект. Специализируется на организации объемных вычислений для конкретных научных областей, создании новых инструментов и сервисов и пр. 
DataGridПроект Европейского Сообщества. Цель: создание сетевой компьютерной инфраструктуры для обработки распределенных тера‑ и петабайтных БД, полученных в результате научных исследований, главным образом, в области физики.
European Grid of Solar Observations (EGSO)Европейский проект, чьими силами создается «виртуальная солнечная обсерватория», где сбор данных будет производиться из наземных и космических наблюдательных пунктов, после чего данные будут заноситься в каталог и визуализироваться.
EUROGRIDИсследовательский проект, созданный в рамках европейской программы IST (Information Society Technologies) для отработки технологий организации распределенных вычислений, задач молекулярного моделирования, прогнозирования погоды, аэродинамики.
NEESgridПроект поддерживается программой NEES (Network for Earthquake Engineering Simulation) Национального научного фонда США. Организован для поддержки исследований землетрясений.
TeraGridПроект ряда университетов и лабораторий США. Назначение – решение задач физики высоких энергий и молекулярной биологии, прогнозирование погоды и т.д.

Редакция благодарит д.т.н., зав. кафедрой системного проектирования ИПСА НТУУ «КПИ» профессора Анатолия Ивановича Петренко за помощь в подготовке материала