На протяжении многих лет профессиональные устройства работы с видео и звуком (AV) оставались автономными и аналоговыми. Это касалось ввода данных с камер, интерфейсов считывания и записи, размещения видео на ленте и общей организации работы с накопленной информацией — как набора поочередных операций над одним массивом данных.

Сегодня ИТ-технологии глубоко проникают во все приложения, связанные с обработкой видео и звука. Специфические AV-устройства и подходы никуда не делись, но стандарты организации рабочих процессов и сетевой инфраструктуры, привнесенные из ИТ-сферы, сделали бизнес по обработке потоковых данных более технологичным и эффективным.

По оценкам аналитиков, ИТ-рынок с его мировым оборотом оборудования и услуг более триллиона долларов, воздействует сильным гравитационным притяжением на рынок видеопроизводства (порядка 12 млрд. долл.) с соотношением масс почти 100:1 и обуславливает постепенное сближение AV- и ИТ-областей. В итоге меняется сама суть видеосистем. Синхронизированные по времени процессы (традиционное видео) вытесняются на периметр AV-области расширяющимся ИТ-ядром, представленным асинхронными сетями, серверами и устройствами хранения. У этого расширения есть технологические движущие силы, но сказывается и возросший спрос на видеорешения с конкретным заданным качеством изображения или звука.

Современный мир оцифрованных потоковых данных простирается от домашних ПК до крупных видеопроизводств и вещательных корпораций. На этих данных базируются видеонаблюдение, звукозапись, индустрия игр. Ими оперируют онлайновые видеобиблиотеки, видеоархивы, публичные виды сервиса — такие как IP-телефония (VoIP), IPTV, Video On Demand.

Аппетиты потоковых данных

AV-данные делятся на два типа — реального времени (real-time, RT) или отложенного (non real-time, NRT). Передача их осуществляется одним из трех способов: файлами (transferring, NRT в локальной сети или через FTP/HTTP-протоколы), потоковым способом (streaming, обычно RT — как, например, VoIP), записью на дисковый массив (direct to storage, RT или NRT). Специфика AV-данных — в повышенных требованиях к объему хранения, скорости передачи и организации доступа. Транспортом в видеопроизводстве сегодня служат сети передачи данных, обладающие ограничениями по протоколам и пропускной способности. Можно оценить и запросы AV-приложений к дисковому пространству.

«Аппетиты» популярных AV-форматов приведены в таблице. Мало того что формат «цифрового кино» требует для хранения видео 4,145 ТБ на час, такой объем надо еще передать как поток для обработки или воспроизведения в режиме on-line. А требования непрерывности потока, к примеру, у систем телетрансляции жесткие: никаких обрывов или «притормаживаний» при нескольких потоках одновременно.

Сетевая инфраструктура хранения данных

Основные элементы сетевой инфраструктуры для работы с данными таковы: клиенты приложений, серверы, системы хранения данных (СХД), транспорт и устройства коммутации, базовое программное обеспечение. Ядро современной AV/ИТ-системы составляет совокупность систем хранения и файловых серверов — место размещения контента и метаданных. Они объединены в сети, которых может быть несколько (см. схему): часть оборудования работает по скоростным протоколам (как FC в составе сети FC SAN), однако многим операциям достаточно пропускной способности IP-соединений.

Производительность, надежность, объем хранения, масштабируемость, управляемость, безопасность не являются врожденными свойствами инфраструктуры, они складываются из отдельных элементов. При этом отнюдь не следует думать, что устройства, производимые лидерами мирового рынка СХД (EMC, HP, IBM), по умолчанию могут считаться оптимальными и для видеоиндустрии. Производители СХД по-разному компонуют свои системы в широком диапазоне обеспечения управляемости и доступности данных, но нет причин считать эти устройства универсальными. Специфика видеоприложений требует особого подхода к устройству массивов и сетей работы с общими видеоданными.

Дисковые массивы для создания инфраструктуры видеопроизводства можно условно разделить на два класса:

• оптимизированные для хранения и непрерывной работы с большими объемами данных одного или нескольких пользователей (потоковые данные);

• оптимизированные под выполнение множественных, небольших по объему запросов пользователей сети (БД, файловые серверы в интернете).


С точки зрения обращения к данным они могут отличаться типом доступа — блочным или файловым. При блочном доступе (как в дисковых массивах прямого подключения DAS или в сетях SAN) клиент обращается непосредственно к «устройству»/диску, тем самым обеспечивается максимально возможная производительность дисковых операций. Файловый доступ к серверам и NAS реализует доступ к данным как к целостным файлам, требует наличия ОС на СХД и используется, как правило, в сетях Ethernet.

Производительность СХД зависит от множества факторов, при этом далеко не все из них определяются физическими параметрами устройств хранения. Помимо характеристик компонентов дисковых массивов, на производительность влияют: тип доступа/характер данных (большие/малые блоки, последовательный/случайный доступ), соотношение операций чтения/записи (R/W), задержка доступа (длина очереди запросов), степень заполнения массива (см. схему «Факторы производительности СХД»). Считывание больших блоков происходит быстрее, чем малых, а последовательные операции совершаются быстрее случайного доступа. Аналогичная ситуация — с соотношением чтения и записи: увеличение доли запросов на запись приводит к снижению производительности.

Надежность хранения — одна из самых важных для СХД характеристик. Можно добиваться отказоустойчивости отдельных устройств или их компонентов, но это будет подменой понятий. Общая задача — обеспечить непрерывность бизнес-процессов. В AV-производстве не ставится цель добиться безотказной работы 24х7 любой ценой — речь идет об обеспечении штатного и минимального (в случае каких-то регламентных работ или неполадок) уровня производительности и доступности данных. Для этого принято использовать структурирование данных и служб и применять принцип разумной достаточности при проектировании устройств, гарантирующих функциональность «под задачу», а не формальный набор пиковых характеристик. Сегментирование сетей хранения, отделение их от других сегментов сети Ethernet, подбор типов СХД, оптимизация их внутреннего устройства и топологии включения в сеть дает эффективный результат по производительности и доступности данных, при умеренном бюджете.

Управляемость среды хранения данных складывается из управления собственно массивами (аппаратные средства конфигурирования и мониторинга, средства управления ОС и специализированного ПО) и обеспечения управляемости средой в целом (включение в инфраструктуру, обеспечение коллективного доступа). Такой многоуровневый подход позволяет четко разграничить права и делегировать часть функций управления опытным пользователям. Применение на одной и той же аппаратной базе специализированных ОС — например, Microsoft Windows Storage Server — позволяет получить прирост производительности до 20% относительно стандартной ОС Microsoft Windows Server. Управление на уровне сети обеспечивает функции защиты от сбоев, распределения доступа, кроссплатформенную поддержку для приложений, управление полосой пропускания, переключение трафика между устройствами, резервное копирование.

Типы дисковых массивов

Несмотря на высокую производительность дисковых массивов прямого подключения DAS, их назначение — служить подручным хранилищем данных при рабочей станции видеомонтажа. Для создания управляемой среды коллективного доступа стоит применять только сетевые решения и устройства класса NAS (Network Attached Storage) или SAN (Storage Area Network). Производительную работу с большими объемами данных гарантируют сети SAN. Они предназначены для подключения внешних устройств хранения к серверам и рабочим станциям. Традиционно строятся на Fiber Channel, обеспечивают высокую производительность и надежность работы с хранилищем, при этом отлично масштабируются. Недостаток этого способа — довольно высокие начальные инвестиции и требования к квалификации обслуживающего персонала. Зато в дальнейшем такие сети требуют сравнительно невысоких затрат на поддержку и расширение емкости. Применение специализированного ПО или оборудования для SAN позволяет выполнять виртуализацию хранилищ.

Примером устройства хранения данных, включаемого в сеть FC SAN, может служить дисковый массив FC-to-SAS (SATA) Entry Store F5412E. Он обслуживает до 60 жестких дисков SAS/SATA-II (до 30 ТБ суммарной емкости), оптимизирован для работы с ресурсоемкими приложениями, требовательными к производительности и безопасности дисковых операций. В нем реализованы дублирование и «горячая» замена контроллеров, накопителей, БП, интерфейсов — он не имеет единой точки отказа. Такой массив легко коммутируется в FC SAN, обеспечивая масштабируемость общего дискового пространства.

Сетевая система хранения данных класса NAS — это сервер с файловым доступом по сети Ethernet. Как правило, имеет большую емкость дискового пространства и снабжен эффективными инструментами аппаратной защиты данных (RAID, «горячая» замена дисков и БП) и разграничения доступа к ним. Работает под управлением специализированной ОС с удобными средствами администрирования через веб-интерфейс. NAS обладает встроенными средствами резервного копирования, миграции, репликации данных. Может выполнять функции сетевого диска, допускает расширение емкости за счет подключения к нему дополнительных дисковых полок и даже может выполнять роль шлюза между сетью FC SAN и Ethernet. Основное преимущество NAS-сервера в том, что для доступа к файлам не надо устанавливать дополнительное оборудование и драйверы. C данными NAS работает по стандартным сетевым протоколам, как правило, поддерживается гетерогенное программное окружение (что актуально для видеопроизводства с его смесью MacOS- и Windows-клиентов). Обратная сторона универсальности — ограничение скорости работы пропускной способностью сетевого интерфейса. Пример NAS — дисковый массив Entry NAS 316. Он оснащен 16-ю дисками Serial ATA II (16 ТБ «сырой» емкости), обладает высокой надежностью, управляемостью, прост в установке, настройке и поддерживает широкий набор функций оперативного изменения конфигурации массива.

С ростом производительности интерфейса Ethernet и перспективой удешевления устройств 1/10 GbE растет популярность решений IP SAN, построенных на массивах iSCSI (SCSI over IP) или DSS (Data Storage Server), совмещающих возможности NAS и iSCSI. Блочный доступ к данным по протоколу iSCSI обеспечивает высокую производительность, топология SAN на массивах iSCSI — среду коллективной работы. Сети IP SAN во многих случаях конкурируют с FC SAN, обеспечивая высокую производительность и емкость при умеренных затратах (включая экономию на содержание специалистов по FC). На практике применяются и гибридные сети (IP/FC SAN). 

---

С Юрием Жуковским,аналитиком информационных систем и решений компании Entry, можно связаться по адресу yz@entry.kiev.ua

Приблизительные потребности в хранении для наиболее распространенных видов потоковых данных
Поток	Формат данных	Требуемый ресурс	Комментарии
64 Кбит/с	Сжатое аудио, iPOD	28,8 Мбайт/час	1000 ч ~ 29 Гбайт – 1 x HDD
10 Мбит/с	MPEG-видео	4,5 Гбайт/час	Типичное значение для видеосерверов, где хранится SD-реклама для ТВ
25 Мбит/с	DV-видео или HDV-видео со звуком	~12,65 Гбайт/час	Один 180-гигабайтовый HDD позволяет хранить 16 часов DV- или HDV-видео
166 Мбит/с	Несжатое 4:2:2 SD-видео, 8 бит	75,4 Гбайт/час	Некомпрессированный A/V-поток требует значительных ресурсов
995,3 Мбит/с	Несжатое 4:2:2 HD-видео, 1920 x 1080	448 Гбайт/час	Стандарт ATSC/DTV позволяет сжимать видео до 19,3 Мбит/с, 98% экономии
384 Мбит на кадр	Цифровое кино в несжатом формате 4K (4:4:4, 16 бит на RGB-пиксель)	4,145 Тбайт/час (24 кадра в секунду)	Для сверхвысокого качества требуются как огромные ресурсы хранения, так и полоса пропускания