В начале 2007 г. перед новой московской студией Тимура Бекмамбетова (кинокомпания «Базелевс»), создателя обоих «Дозоров» и «Иронии судьбы. Продолжение», встали сразу две взаимосвязанные задачи. С одной стороны, студии требовалась техника для обработки и хранения больших массивов видео и создания спецэффектов, с другой — специальное оборудование для внутренней ИТ‑инфраструктуры. Обе задачи удалось решить с помощью компании Kraftway, которая поставила всю необходимую аппаратуру. 

Топология системы

«Никакого тендера, — отмечает технический директор кинокомпании «Базелевс» Дмитрий Макаров, — для поставщика оборудования мы не проводили. Учитывая специфику наших задач, мы предпочли выбрать партнера, опираясь на рекомендации, и обратились в российское представительство Intel, где нам и посоветовали Kraftway. Одно из главных достоинств этой компании состоит в том, что она может поставить любое необходимое оборудование и четко соблюдает сроки. Как раз в ту пору для очередного проекта «Особо опасен» нам требовалось создать с помощью компьютерных технологий более тысячи фрагментов разной продолжительности, причем в очень жесткие сроки: на монтаж и тестирование оборудования отводилось всего три-четыре месяца. И благодаря интегратору нам удалось это сделать». 

Комплект оборудования для кинокомпании «Базелевс» состоял из нескольких частей. Во‑первых, для подготовки спецэффектов, создания компьютерных персонажей, цифровой обработки видео и рендеринга был собран и введен в эксплуатацию 32‑узловой высокопроизводительный кластерный комплекс (серверная ферма) на базе серверов Kraftway Express ISP. Каждое из этих производительных устройств (модель ES12) имеет по два процессора Intel Xeon 5320 Quad Core с рабочей частотой 1,86 ГГц, оперативную память в 8 ГБ и жесткий диск на 160 ГБ. 

Во‑вторых, проект включал в себя поставку пользовательского оборудования: 15 ноутбуков различных моделей и 50 мощных графических станций Kraftway Credo для сотрудников, которые работают с фрагментами кинокартин непосредственно в студии. Графические станции оснащены процессорами Intel Core2Duo E6700, оперативной памятью в 4 ГБ, двумя жесткими дисками емкостью 250 ГБ каждый и новейшими видеокартами GeForce 8800GTS для обработки видеосцен. 

В‑третьих, устанавливалось и дополнительное оборудование — два хранилища данных Kraftway‑Hitachi общей емкостью более 40 ТБ, а также ленточная роботизированная библиотека Tandberg с 24 картриджами. Отметим, что архивирование и резервное копирование рабочей информации на студии проходит полностью в автоматическом режиме с периодом 24 часа, при этом средний объем ежедневно архивируемых данных составляет 500 ГБ. 

Кроме того, интегратор поставил активное сетевое оборудование 3Сom и пассивное от AESP и APC, а также шесть серверов Kraftway (модели EL18 и ES24 в различной комплектации) для создания внутренней ИТ‑инфраструктуры. В рамках проекта была развернута сеть Wi‑Fi из нескольких маршрутизаторов, поддерживающих протокол 802.11g, а также инсталлировано решение по обеспечению бесперебойного электропитания студии: три ИБП компании APC, из которых два поддерживают работоспособность серверной фермы и один — системы хранения данных. Таким образом, ядро рабочей сети обеспечено электропитанием на период более двух часов при полной нагрузке, а ферма — на час. После перехода на резервные мощности система автоматически начинает отключать вторичные компоненты и производит резервное копирование данных во избежание их потери. 

Отметим, что общая стоимость оборудования, переданного студии Тимура Бекмамбетова, по информации генерального директора компании Kraftway Алексея Кравцова, превысила миллион долларов. 

Поскольку студия должна регулярно обмениваться готовыми материалами с заказчиком из Лос‑Анджелеса и собирать данные от аутсорсинговых исполнителей в России, был создан коммуникационный узел и к нему подведены каналы связи. По каналу с гарантированной скоростью 30 Мбит/с (провайдер — “Корбина‑Телеком”) с помощью специального оборудования отработанные за рабочий день данные загружаются на удаленный FTP‑сервер (специальный SmartJog‑сервер) в США (средний объем этих данных составляет 1 ТБ в месяц). Для взаимодействия с российскими компаниями и специалистами, работающими на аутсорсинге, по словам Дмитрия Макарова, применена аналогичная схема, с той разницей, что загрузка подготовленных для аутсорсеров эпизодов происходит на специальный FTP‑сервер, отделенный от внутренней сети Bazelevs Postproduction (отдел кинокомпании, который занимается непосредственно графикой, монтажом и пр.) брандмауэром. Отметим, что над фильмом работает несколько групп специалистов: все, что касается внешнего вида знаменитых актеров и сложных спецэффектов (к примеру, взрывы или разбивание стекол), рассчитывается только на территории студии — выход таких материалов за ее пределы запрещен. Более традиционные сцены и не столь важные эпизоды прорабатываются сторонними исполнителями — данные могут выдаваться и на внешних жестких дисках. 

Этапы внедрения 

Весь монтаж серверной комнаты и каналов связи занял около четырех месяцев. На первом этапе, за 23 дня, на готовой площадке были смонтированы шкафы, коммутаторы, источники бесперебойного питания, подключены точки беспроводной связи. Одновременно устанавливались серверы внутренней ИТ‑структуры студии и система хранения данных. А чуть раньше, за одну неделю были установлены рабочие станции. Как отмечает Александр Дорошенко, начальник отдела технического консультирования компании Kraftway, буквально за пару дней создан эталонный набор ПО, и на пользовательское оборудование, вводимое в строй, непосредственно на производстве Kraftway при изготовлении самих рабочих станций были установлены необходимые для работы программные пакеты. 

И, наконец, на третьем этапе, который длился четыре недели, были смонтированы и введены в эксплуатацию все компоненты серверной фермы. Временной разрыв между монтажом базового оборудования и фермы объясняется тем, что 32 узла фермы содержали новые четырехъядерные процессоры Xeon, которые в тот момент компания Intel только‑только вывела на рынок. По согласованию с российским представительством корпорации они были заказаны для производства целевым образом и поставлены в Россию одновременно с началом массовых продаж на мировом рынке. 

Самой сложной задачей при монтаже оборудования, вспоминает технический директор кинокомпании «Базелевс», оказалась установка систем бесперебойного питания: оборудование APC было настолько тяжелым, что вес шкафов с вмонтированными ИБП и дополнительными батареями более чем вдвое превысил допустимую по плану БТИ нагрузку на пол. В итоге пришлось устанавливать ИБП отдельно и решать нетривиальную проблему подвода электропитания к шкафам с оборудованием. Для монтажа в серверной комнате оборудование APC разобрали на составные части, в собранном виде элементы системы весили более сотни килограммов. 

Отдельная проблема возникла и с охлаждением системы: учитывая небольшую площадь серверной комнаты (2,5х3,5 м), понадобились два мощных кондиционера, каждый из которых способен в одиночку охлаждать оборудование. На случай критических ситуаций (при перегреве оборудования или падении напряжения) администратору системы отправляются SMS‑сообщения и электронные письма. Удивительно легко удалось решить вопрос с электропитанием для этой «прожорливой» системы. Необходимые 100 кВт были обеспечены владельцем здания в сжатые сроки. «Возможно, помог тот факт, — вспоминает Дмитрий Макаров, — что офис студии находится на территории бывшего завода пластиковых конструкций, предприятия весьма энергоемкого. К слову, за полгода эксплуатации серверная ферма потребила 200 МВт*ч электроэнергии». 

Эффект от внедрения 

 По словам Дмитрия Макарова, основной эффект от внедрения состоит в скорости работы нового решения (она минимум в четыре раза превосходит быстродействие прежнего оборудования), а также удобной системе управления машинным временем. К примеру, задачи на ночную работу в ферму закладываются под конец рабочего дня, причем администратор и супервайзеры рабочих групп системы определяют приоритеты в зависимости от производственного графика. Вне графика производится только переделка неудачных сюжетов (не понравившихся заказчику) или новые эпизоды, которые появились в результате модификации сценария. Днем ферма работает в многозадачном режиме, специалисты по компьютерной графике могут оперативно отдать на «обсчет» данные для своих локальных задач: на каждый запрос ферма задействует максимально пять узлов системы с тем, чтобы, с одной стороны, как можно быстрее решить поставленную задачу, а с другой — обеспечить оперативными расчетами наибольшее количество рабочих групп. 

Важный эффект от внедрения — высокая степень автоматизации всех рабочих процессов серверной фермы, подчеркивает Дмитрий Макаров, благодаря чему системой может управлять группа всего из трех человек. 

В будущем, отмечает Александр Дорошенко, система легко может быть улучшена. К примеру, можно оперативно увеличить производительность файлового сервера, расширить хранилище. А для увеличения производительности — нарастить количество серверов фермы, причем без каких‑либо изменений в инфраструктуре комплекса: всё оборудование единообразно, и в данном случае необходимо лишь добавить новые модули. 

Решение в том виде, как оно есть, в настоящее время подходит только кинокомпании «Базелевс», поскольку именно такую компоновку вряд ли удастся использовать для других задач. Если же отсюда убрать три сервера Kraftway Express Lite модели EL18, уверен Александр Дорошенко, то получится специфичный продукт, напоминающий стандартный HPC‑кластер, но не для всего спектра задач HPC, а только для тех, где отдельные цепочки операций не требуют связи друг с другом при обсчете данных (например, нечто похожее на системы распределенных вычислений SETI@home, Folding@Home, Rosetta@Home и TSC@home).