Со временем стало ясно, что хранимые корпоративные и публичные данные не являются однородными. С одной стороны, сам их объем с каждым годом катастрофически рос. (Это стало отдельной проблемой. Кроме упреждающего производства устройств хранения достаточной емкости сегодня серьезно обсуждаются и вопросы уничтожения “некачественных» данных — множественных копий, отживших массивов невостребованной информации.) С другой, далеко не все данные обслуживаются приложениями, критичными к отказам или требующими выдающейся производительности. Напротив, многие из них чувствительны к удельной цене хранения в расчете на гигабайт. Постепенно устройства дискового хранения расслоились по степени близости к ответственным задачам (Tier 1 = online, Tier 2 = nearline, Tier 3 = offline). Чем дальше от высшей лиги, тем шире стали применяться недорогие высокоемкие накопители.

В этой статье мы коснемся задач, которые зачастую встают перед корпоративным пользователем: объединение жестких дисков в массивы RAID и совместное использование винчестеров с интерфейсами SAS и SATA.

Какие диски SATA можно объединять в RAID-массивы

Область применения емких и недорогих накопителей SATA давно вышла за рамки настольных систем — слишком многие приложения критичны к объему и удельной стоимости хранения, но при этом не требуют выдающейся производительности и доступности данных. Диски SATA отвоевали себе законное место в составе корпоративной среды хранения и считаются вполне надежными и пригодными носителями для ряда задач. Они используются в системах хранения данных под архивы и документооборот, для создания резервных копий рабочих баз данных, в файловых серверах и для накопления видео. Для сохранности и доступности информации диски объединяются в RAID-массивы. Можно считать, что именно наличие RAID-контроллера в устройствах говорит о коммерческой ценности данных.

Основные поставщики жестких дисков SATA — Seagate, Hitachi, Western Digital — давно разделили свои модельные ряды массовых накопителей 3,5'' 7200 rpm, разбив в каждой емкости диски на модели для ПК и диски для профессионального применения в системах хранения данных, серверах и рабочих станциях. О назначении вторых говорят их названия: у Seagate это линейки ES (Enterprise Storage), у Hitachi — серия Ultrastar (против Deskstar), у WD — диски RE (RAID Edition). И все бы шло своим чередом: производители диктовали бы правила дискового апартеида, а пользователи им следовали, не будь настольные диски на 25—30% дешевле своих корпоративных собратьев той же емкости — при отсутствии видимых различий между ними. Соблазн замены одних другими велик. Перед возможной экономией нескольких сотен долларов на многоканальном дисковом массиве трудно устоять, особенно тем, кто неискушен и только приобщается к обустройству RAID-массивов. Цивилизованным сборщикам RAID’ов отличия между дисками и возможные риски их нецелевого использования известны хорошо, а риски «диких» сборщиков можно было бы не принимать во внимание. Если бы не один фактор — отсутствие отчетливой границы между настольными и коммерческими ресурсоемкими приложениями. С ростом объемов хранения данных ряды строителей RAID активно пополняются персональными пользователями, более склонными к экономии, чем к внимательному изучению спецификаций и технологий. Крепнут нигилизм и вольное обращение с предметом. Попробуем разобраться.


Пределы применимости дисков серверных серий сами производители обозначают очень аккуратно. Их рекомендуют для использования в RAID-конфигурациях в составе вспомогательных устройств хранения корпоративного применения, где важны высокая емкость, надежность, устойчивость к окружению. Если и идет речь об их круглосуточной работе в составе многодисковых серверных систем, то скорее о режиме преимущественно холостого хода 24х7, чем активности 24х7. Они формируют служебное дисковое пространство, вытесняют ленточные накопители, реализуют многие технологии безбумажного офиса, работая хоть и в режиме постоянной доступности, но под небольшой нагрузкой. В критически важных приложениях, с множественными интенсивными обращениями к данным, диски SATA использовать не принято.

Индивидуальную надежность дисков характеризует параметр среднего времени наработки на отказ (mean time between failures, MTBF). Спецификации практически идентичных накопителей Seagate Barracuda 7200.11 и ES.2 отличаются: MTBF первого (настольного) равен 750 000 часов, второго (сервер-ориентированного) — 1,2 млн. ч. (На SAS-серии Cheetah и Savvio тот же производитель дает MTBF 1,4—1,6 млн. ч.) Следовательно, ES.2 будет более надежным. Нет причин полагать, что на производство серверных серий дисков идут какие-то специальные компоненты (моторы, подшипники, головки). Скорее всего, механические полуфабрикаты дисков премиум-назначения — результат жесткого технологического отбора на выходе серийного производства. Но нет и оснований подозревать производителей в том, что их маркетинговые отделы разделяют линейки методом слепого наклеивания двух видов этикеток.

На способности дисков производительно работать в связке, в составе большого дискового массива, отрицательно сказывается механическая вибрация от соседей по массиву. Для гашения вибраций и выработки оптимального алгоритма позиционирования головок на серверные диски ставят вибродатчики. Hitachi использует технологию RVS (Rotational Vibration Safeguard), включающую два датчика ускорения по углам электронной платы винчестера и систему отрицательной обратной связи для формирования корректирующего импульса в цепи управления приводом головок. Повышенная устойчивость к вибрациям позволяет сохранять ровный высокий уровень производительности по всему массиву.

Микрокод (он же firmware, прошивка) дисков серверных серий ужесточает режимы работы в целях повышения надежности, пусть и в ущерб производительности. Все операции записи на поверхность диска сопровождаются дополнительным CRC-контролем. Это приводит к увеличению числа проверок и длительности каждой операции, но снижает частоту появления ошибок в расчете на дюйм рабочей поверхности. Применяется более жесткая термокалибровка: c выходом за пределы рекомендованных температурных режимов прошивка дисков принудительно снижает скорость чтения/записи.

Перечисленные преимущества серверных серий — своеобразный пряник пользователю в награду за «переплату». Подобную выгоду действительно нелегко оценить объективными показателями. Программные алгоритмы работы серверных дисков даже снижают их производительность — что, в отличие от надежности, пользователь может замерить. И все-таки это пустяки в сравнении с кнутом, ожидающим того, кто построит RAID-массив на настольных дисках. Вот как выглядит главная угроза.

Обычные настольные диски разрабатываются для самостоятельной работы вне RAID-конфигураций. Когда в процессе работы накопителя возникают ошибки, его микрокод делает все возможное для их самостоятельного исправления с помощью встроенного алгоритма коррекции. Все существующие диски умеют в случае сбоя переназначать сбойные блоки и молча этим занимаются, не отвечая на запросы адаптера и не посылая сообщения об ошибке. При подключении таких дисков к RAID-контроллеру диск даже не заподозрит о его присутствии. А тот замечает все. Стандартное для RAID-контроллеров время ожидания отклика диска при его опросе составляет 8 секунд. Затянувшийся процесс работы над ошибками RAID-контроллер трактует как неисправность диска — то есть его отказ. Отряд заметит потерю бойца, RAID-контроллер просигналит о необходимости замены физического носителя, перестроит логический том и переведет массив в деградированное состояние. После замены диска начнется процесс восстановления данных по сохранившимся на оставшихся дисках контрольным суммам. Восстановление массива RAID 5 объемом в несколько терабайт может занять несколько часов, если не суток.

Под высокой нагрузкой в составе системы видеонаблюдения, почтового или веб-сервера вероятность не вписаться в отведенный лимит времени для занимающегося самолечением диска заметно возрастает. RAID-контроллеру разбираться некогда, по тайм-ауту диск покинет площадку, потребуется немедленная вынужденная замена игрока. (Когда улягутся страсти, тесты поверхности могут показать практическую исправность накопителя, но будет поздно.) При работе массива в деградированном состоянии резко снижается производительность дисковых операций. Напротив, нагрузка на диски растет — ведь к стандартной обработке запросов ввода-вывода по их прямому назначению добавляются операции восстановления данных. А если RAID 5 потеряет до окончания перестройки массива еще один диск, то все данные будут безвозвратно утрачены.

В микрокод серверных cерий все производители закладывают алгоритм координации действий самого диска и RAID-контроллера при наступлении ошибки. К примеру, Western Digital применяет технологию управления нештатными ситуациями TLER (Time Limited Error Recovery). В случае возникновения ошибки TLER-диск в течение 7 секунд выполняет операции перезаписи или переноса данных, после чего передает информацию RAID-контроллеру, который может отложить исправление ошибки на более позднее время. Обработка ошибок становится общим делом диска и контроллера — у которого для этого есть куда более мощные инструменты: логи ошибок, записи контрольных сумм, журналы операций. Главное, что при управляемой обработке сбоев дисковых операций не происходит экспресс-потеря диска RAID-массивом со всем букетом последующих бед: восстановлением данных массива, оперативной заменой накопителя и предъявлением его к обмену по гарантии. (Важно помнить об обратной ситуации, когда TLER-активированный диск работает вне массива RAID. Через семь секунд накопитель может передать задачу исправления ошибки контроллеру, которого… нет. Поэтому сама WD не рекомендует ставить диски с TLER там, где нет RAID’а).

Приведенные преимущества и риски оправдывают использование в составе RAID-массивов исключительно дисков серверных серий. Это гарантирует высокую производительность дисковых операций, доступность данных и снижает общую стоимость владения системой хранения. Тот, кто думает иначе, похож на сапера до первой неудачи.

Объединяя SAS и SATA

Для большинства предприятий оптимальное соотношение массивов, нацеленных на производительность, и массивов, оптимизированных под емкость хранения, не является фиксированным. SAS-подключение позволяет динамично реагировать на изменение условий ведения бизнеса, поддерживая пропорции SAS- и SATA-дисков, SAS- и SATA-полок сообразно текущим задачам. Содержание инфраструктуры хранения становится менее дорогостоящим и ресурсоемким, включая верификацию компонентов, поддержание склада запчастей и подготовку персонала. Рационализация компонентной базы — большой шаг к снижению совокупной стоимости владения и увеличению возможностей функционального маневра.

Эффективная инфраструктура хранения обязана адаптироваться к меняющимся условиям эксплуатации и ужесточающимся требованиям — например, «озеленения». Сталкиваясь с проблемой нехватки места и мощностей для обслуживания центров обработки данных, предприятия ищут компактные, энергосберегающие решения. Одним из ответов могут быть устройства хранения на дисках 2,5'' 15K rpm (Small Form Factor, SFF), которые занимают на 70% меньше объема, а потребляют на 30% меньше энергии, чем стандартные диски 3,5”, при сопоставимой производительности. В инфраструктуре SAS появляются сверхкомпактные серверы 1-2U, построенные на 8—24 дисках 2,5'' 15K rpm, обслуживающие наиболее критичные к производительности приложения. В дополнение к ним, поколение высокоемких дисков 3,5'' SAS 7200 rpm обеспечивает большой объем хранения, при этом они реализуют все преимущества стандарта SAS по обработке очередей запросов и экономят электричество, в сравнении со своими скоростными собратьями.

Сценарии эффективной работы

Заполнив все востребованные ниши, диски SAS и SATA сформировали классы взаимосвязанных, дополняющих друг друга устройств в составе единой инфраструктуры SAS. Высокопроизводительные, энергетически эффективные серверы хранения на дисках 2,5'' 15K обслуживают критичные корпоративные приложения. Нагруженные файловые серверы на дисках 3,5'' SAS 7200 rpm обеспечивают выполнение сервисных приложений и документооборот в сети предприятия. Подключение к внешнему SAS-контроллеру сервера RAID-полок или массивов JBOD на недорогих дисках 3,5'' SATA позволяет организовать архивирование или дополнительно разместить терабайты данных.

То, что стандарт SAS был предусмотрительно спроектирован как надмножество SATA, работает в обоих направлениях. Совместимость с менее дорогими, но более емкими дисками SATA дает необходимую гибкость для любого типа приложений. Изначально не масштабируемому SATA такой подход открывает широкие возможности расширяемости системы в целом. Поддержание двух раздельных, нацеленных на высокую производительность (SAS) и высокую емкость (SATA) инфраструктур взамен одной универсальной и эффективной вернуло бы индустрию в проклятое параллельное прошлое.