Тестирование производительности дисковой подсистемы серверов Intel на базе Xeon E5-2600
Серверы Intel нового поколения на базе процессоров Intel Xeon E5-2600 и Intel Xeon E5-2400 (серверная архитектура Romley-EP/EN) обладают рядом серьезных усовершенствований, касающихся дисковой подсистемы:
- Перенос контроллера шины PCI Express из чипсета в центральный процессор.
- Поддержка нового стандарта шины PCI Express 3.0, имеющего вдвое большую пропускную способность (1GB/s в одну сторону на линию) по сравнению с PCI Express 2.0 (500MB/s).
- Новое семейство RAID-контроллеров Intel на базе микропроцессора LSI-2208, который быстрее предыдущего LSI-2108 на 67% при последовательных операциях и на 42% при случайных операциях (по данным Intel).
- Увеличение максимального количества дисков в сервере с 12-ти до 24-х.
Мы решили выяснить, насколько хорошо в новых серверах обеспечивается масштабирование дисковой подсистемы, то есть как изменяется ее производительность при увеличении количества дисков? Чтобы ответить на этот вопрос, мы провели тестирование скорости последовательных и случайных операций для различных типов RAID-массивов при разном количестве дисков – от одного до 24-х.
Для тестов мы использовали сервер Team R2000GZ с дисковой подсистемой в составе:
- RAID-модуль Intel RMS25CB080. Этот модуль устанавливается в специальный разъем x8 PCIe 3.0 на системной плате сервера, теоретическая пропускная способность интерфейса которого составляет 8GB/s в каждую сторону (8 линий по 1GB/s). Для подключения дисков модуль имеет 8 SAS-портов 6 Гбит/ с суммарной пропускной способностью 4.8GB/s. (На момент тестирования мы располагали сэмплом контроллера с поддержкой PCIe 2.0 (суммарная скорость интерфейса по шине — 4GB/s), что явилось ограничивающим фактором в тестах на последовательных операциях.)
- Расширитель SAS-портов Intel RES2CV360 на 36 портов, к входным портам которого мы подключили 8 портов контроллера, а к выходным — 24 жестких диска.
- 24 жестких диска Seagate SAS 2,5″ Seagate Savvio 10K.5 300GB 6Gb/s 10000RPM 64MB Cache.
Тестирование выполнялось при помощи программы IOmeter с глубиной очереди 256.
Здесь необходимо пояснение.
Хотя такая большая глубина очереди является нежелательной в реальных приложениях, поскольку приводит к неприемлемому увеличению среднего времени выполнения запросов, тем не менее она позволяет «выжать» из дисковой подсистемы максимально возможную производительность на операциях случайного доступа благодаря оптимизации очередности выполнения запросов (головки диска перемещаются по наиболее оптимальному «маршруту»). По сравнению с последовательной обработкой запросов (когда глубина очереди равна 1 для каждого диска) это позволяет увеличить производительность почти в три раза (при глубине очереди 64 для одного диска).
Кэш-память дисков и контроллера отключена. Размер блока данных — 256KB, Strip Size — 256KB.
Сначала мы измерили скорость последовательного чтения и записи одного диска. В идеальной дисковой подсистеме при объединении нескольких дисков в массив RAID 0 скорость записи и чтения для массива должна быть равна произведению скорости одного диска на количество дисков в массиве.
Производительность такого «идеального» массива показана на диаграммах прямой «Теория».
Затем мы измерили реальную скорость последовательного чтения и записи для массивов RAID 0, RAID 1, RAID 5 и RAID 6 для различного количества дисков в массиве. (Обычно зеркальные массивы из четырех и более дисков называются RAID 10, но мы будем использовать термин RAID 1, поскольку это тоже допустимо.) Результаты тестов приведены на диаграммах.
Массив RAID 0
нормально масштабируется до размера 18 дисков. Дальнейший рост скорости ограничивается, по всей видимости, пропускной способностью контроллера по шине (4 GB/s — сэмпл контроллера, который использовался в тестировании, поддерживает только PCIe 2.0).График RAID 5 сдвинут относительно «идеальной» прямой на 1 диск, поскольку при чтении приходится пропускать данные четности, суммарный объем которых равен емкости одного диска.
График RAID 6 сдвинут вправо уже на 2 диска, поскольку в нем объем данных контрольных сумм равен емкости двух дисков.
Интересные результаты демонстрирует RAID 1. Казалось бы, он должен вдвое уступать по скорости массиву RAID 0, читая данные только с половины дисков. Однако на самом деле чтение соседних дорожек происходит одновременно с обоих дисков зеркальной пары, то есть на каждом диске чтение происходит «через дорожку». Здесь этот механизм работает благодаря большой глубине очереди и потери в скорости по сравнению с
При записи для RAID 0 пропорциональный рост происходит до размера массива в 22 диска. При этом пропускная способность контроллера при записи (3,5GB/s) выше, чем при чтении.
Массивы RAID 5 и RAID 6 хорошо масштабируются до 17-18 дисков, примерно так же, как при чтении. График для RAID 5 сдвинут от идеальной прямой вправо на 1 диск, а график для RAID 6 — на 2 диска, поскольку для записи контрольных сумм используется объем уже двух дисков.
Для RAID 1 скорость записи ровно в два раза меньше RAID 0, поскольку приходится записывать одни и те же данные дважды.
Массив RAID 50 получается из нескольких массивов RAID 5 (спанов), объединенных в RAID 0. В отличие от RAID 5 с одним избыточным диском для четности, RAID 50 имеет диски с четностью для каждого RAID 5 в своем составе.
RAID 50-2 – массив из двух спанов по 3, 5, 7, 9, 10, 11 и 12 дисков в спане
RAID 50-4 – массив из четырех спанов по 3, 4, 5 и 6 дисков в спане
RAID 50-8 – массив из восьми спанов по 3 диска в спане
Массивы RAID 50 с различной организацией демонстрируют одинаковую производительность при одинаковом количестве дисков с данными. Например, RAID 5 из 17 дисков, RAID 50-2 из 18 дисков, RAID 50-4 из 20 дисков и RAID 50-8 из 24 дисков имеют одинаковое количество дисков с данными – 16 и показывают одинаковую скорость чтения – 2575 MB/s.
Здесь картина немного другая. Если при чтении на RAID 50-8 мы читаем только с 18 дисков с данными, игнорируя диски с четностью, то при записи приходится писать на все 24 диска и мы «упираемся» в пропускную способность контроллера.
Массив RAID 60 получается из нескольких массивов RAID 6 (спанов), объединенных в RAID 0. В отличие от RAID 6 с двумя избыточными дисками, RAID 60 имеет по два таких диска для каждого спана.
RAID 60-2 – массив из двух спанов по 4, 6, 8, 10, 11 и 12 дисков
RAID 60-4 – массив из четырех спанов по 4, 5 и 6 дисков
RAID 60-6 – массив из шести спанов по 4 диска
Все массивы демонстрируют одинаковую производительность при одинаковом числе дисков данных. Например, RAID 6 из 14 дисков, RAID 60-2 из 16 дисков, RAID 60-4 из 20 дисков и RAID 60-6 из 24 дисков читают данные с 12 дисков и выдают скорость последовательного чтения 2GB/s.
При записи при общем количестве дисков в массиве 18 и более мы «упираемся» в пропускную способность контроллера, при этом в массивах с большим количеством спанов число дисков с данными меньше, поэтому графики имеют похожую форму.
Кэш-память дисков и контроллера отключена. Размер блока данных — 4KB, Strip Size — 256KB.
Скорость случайного чтения или записи измеряются в IOPS – количестве операций ввода-вывода в секунду.
Сначала мы измерили скорость одного диска. Для чтения она составила 393 IOPS (благодаря оптимизации при максимально возможной для одного диска (64) глубине очереди). В теории при объединении нескольких дисков в RAID 0 скорость записи и чтения должна быть равна произведению скорости одного диска на количество дисков в массиве (при условии, что все диски загружены равномерно). Производительность такого «идеального» массива показана на диаграммах прямой «Теория».
Затем мы измерили реальную скорость случайного чтения и записи для массивов RAID 0, RAID 1, RAID 5 и RAID 6 для различного количества дисков в массиве.
Массивы RAID 0, RAID 5 и RAID 6 показывают совершенно одинаковые результаты, поскольку имеют одинаковое количество дисков с данными (данные четности распределены по всем дискам массивов RAID 5 и RAID 6 равномерно).
Отклонение от «идеальной» прямой начинается с 5 дисков. До этого на каждый диск приходится в среднем не менее 64 одновременных запроса (256/4) и диски могут выдавать максимальную производительность. При уменьшении глубины очереди, приходящейся на один диск, эффективность оптимизации перемещения головок снижается. Так для массива из 24 дисков на один диск приходится очередь примерно из 10 запросов, а для такой глубины очереди диск может выдать около 250 IOPS, что соответствует 6000 IOPS для массива из 24 дисков.
RAID 1 быстрее остальных, потому что при чтении контроллер имеет выбор между двумя дисками зеркала и может читать с того диска, головки которого расположены ближе к нужному сектору. Возможно и другое объяснение – на один диск приходится вдвое больше одновременных запросов, поэтому движение головок лучше оптимизировано.
При записи лучшую производительность демонстрирует RAID 0. Он немного медленнее на записи, чем на чтении, поскольку процесс позиционирования головок при записи более точный и требует больше времени (максимальная производительность одного диска на запись 327 IOPS, на чтение 393 IOPS).
До 4 дисков в массиве график совпадает с идеальной прямой по описанной выше причине.
Производительность RAID 1 выше, чем половина производительности RAID 0 из-за лучшей оптимизации на уровне дисков (больше одновременных запросов, приходящихся на один диск).
RAID 5 и RAID 6 показывают одинаковую скорость, которая равна скорости одного диска. Этот «ненормальный» результат объясняется тем, что при тестировании был отключен кэш контроллера, вследствие чего контроллер не мог оптимизировать выполнение операций чтения и записи (чтение на операциях записи необходимо для вычисления четности). С включенным кэшем производительность RAID 5 из 24 дисков должна примерно соответствовать производительности RAID 0 из 6 дисков (одна запись в RAID 5 – это чтение блока данных и блока четности с двух дисков, а затем запись блока данных и блока четности на эти два диска, штраф на запись — 4), а производительность RAID 6 – производительности RAID 0 из четырех дисков (соответственно, чтение трех блоков с разных дисков, а затем запись на них же, штраф на запись -6).
При случайном чтении массивы RAID 5 и RAID 50 теоретически должны показывать одинаковую производительность, поскольку данные четности распределены равномерно по всем дискам массива и количество дисков, участвующих в операциях чтения, не зависит от количества спанов. Результаты теста это подтверждают, за единственным исключением – массив RAID 50 из 16 дисков (четыре спана по 4 диска) показывает такое же быстродействие, как RAID 50 из 12 дисков (четыре спана по 3 диска). Это отклонение, видимо, связано с особенностями логики работы данного контроллера.
RAID 50-2 – массив из двух спанов по 3, 5, 7, 9, 10, 11 и 12 дисков в спане
RAID 50-4 – массив из четырех спанов по 3, 4, 5 и 6 дисков в спане
RAID 50-8 – массив из восьми спанов по 3 диска в спане
Как и массивы RAID 5 и RAID 50, массивы RAID 6 и RAID 60 при одинаковом общем количестве дисков на операциях случайного чтения должны показывать одинаковую производительность.
Однако и здесь мы получили один результат, выбивающийся из общего ряда – RAID 60 из четырех спанов по 4 диска.
RAID 60-2 – массив из двух спанов по 4, 6, 8, 10, 11 и 12 дисков в спане
RAID 60-4 – массив из четырех спанов по 4, 5 и 6 дисков в спане
RAID 60-6 – массив из шести спанов по 4 диска в спане
Основываясь на результатах выполненных тестов можно утверждать, что дисковая система сервера нормально масштабируется на операциях последовательного чтения и записи на всех типах RAID-массивов до 18 дисков в массиве. При большем количестве дисков рост производительности замедляется из-за ограничений пропускной способности RAID-контроллера по шине (тестовый сэмпл контроллера поддерживал только PCIe 2.0 с максимальной пропускной способностью 4 GB/s). Возможно, это ограничение будет устранено в серийной версии контроллера.
На операциях случайного чтения и записи дисковая подсистема хорошо масштабируется вплоть до максимально возможного количества дисков (24).
тестирование Андрей Леонтьев
21.08.2012
3 RAID — Заметки
RAID (англ. redundant array of independent disks — избыточный массив независимых дисков) — массив из нескольких дисков (запоминающих устройств), управляемых контроллером, связанных между собой скоростными каналами передачи данных и воспринимаемых внешней системой как единое целое. В зависимости от типа используемого массива может обеспечивать различные степени отказоустойчивости и быстродействия. Служит для повышения надёжности хранения данных и/или для повышения скорости чтения/записи. Аббревиатура «RAID» изначально расшифровывалась как «redundant array of inexpensive disks» («избыточный (резервный) массив недорогих дисков», так как они были гораздо дешевле дисков SLED (Single Large Expensive Drive)). Именно так был представлен RAID его создателями Петтерсоном (David A. Калифорнийский университет в Беркли представил[источник не указан 575 дней] следующие уровни спецификации RAID, которые были приняты как стандарт де-факто:
Аппаратный RAID-контроллер может поддерживать несколько разных RAID-массивов одновременно, суммарное количество жёстких дисков которых не превышает количество разъёмов для них. При этом контроллер, встроенный в материнскую плату, в настройках BIOS имеет всего два состояния (включён или отключён), поэтому новый жёсткий диск, подключённый в незадействованный разъём контроллера при активированном режиме RAID, может игнорироваться системой, пока он не будет ассоциирован как ещё один RAID-массив типа JBOD (spanned), состоящий из одного диска. Содержание[убрать]
RAID 0[править | править вики-текст]Схема RAID 0 RAID 0 (striping — «чередование») — дисковый массив из двух или болеежёстких дисков без резервирования. Информация разбивается на блоки данных () фиксированной длины и записывается на оба/несколько дисков одновременно. RAID 1[править | править вики-текст]Два диска — минимальное количество для построения «зеркального» массива Схема RAID 1 RAID 1 (mirroring — «зеркалирование») — массив из двух дисков, являющихся полными копиями друг друга. Не следует путать с массивами RAID 1+0, RAID 0+1 и RAID 10, в которых используется более двух дисков и более сложные механизмы зеркалирования. (+): Обеспечивает приемлемую скорость записи и выигрыш по скорости чтения при распараллеливании запросов. (+): Имеет высокую надёжность — работает до тех пор, пока функционирует хотя бы один диск в массиве. Вероятность выхода из строя сразу двух дисков равна произведению вероятностей отказа каждого диска, т.е. значительно ниже вероятности выхода из строя отдельного диска. На практике при выходе из строя одного из дисков следует срочно принимать меры — вновь восстанавливать избыточность. Для этого с любым уровнем RAID (кроме нулевого) рекомендуют использовать диски горячего резерва. (-): Недостаток RAID 1 в том, что по цене двух жестких дисков пользователь фактически получает объем лишь одного. RAID 2[править | править вики-текст]Массивы такого типа основаны на использовании кода Хемминга. Диски делятся на две группы: для данных и для кодов коррекции ошибок, причём если данные хранятся на дисках, то для хранения кодов коррекции необходимо дисков. Данные распределяются по дискам, предназначенным для хранения информации, так же, как и в RAID 0, т. Расчетное количество дисков для организации RAID 2
Недостатком массива RAID 2 является то, что минимальное количество дисков, при котором имеет смысл его использовать,— 7. При этом нужна структура из почти двойного количества дисков (для n=3 данные будут храниться на 4 дисках), поэтому такой вид массива не получил распространения. Если же дисков около 30-60, то перерасход получается 11-19%. RAID 3[править | править вики-текст]Схема RAID 3 В массиве RAID 3 из дисков данные разбиваются на куски размером меньше сектора (разбиваются на байты или блоки) и распределяются по дискам. Отличия RAID 3 от RAID 2: невозможность коррекции ошибок на лету и меньшая избыточность. Достоинства:
Недостатки:
RAID 4[править | править вики-текст]Схема RAID 4 RAID 4 похож на RAID 3, но отличается от него тем, что данные разбиваются на блоки, а не на байты. Таким образом, удалось отчасти «победить» проблему низкой скорости передачи данных небольшого объёма. Запись же производится медленно из-за того, что чётность для блока генерируется при записи и записывается на единственный диск. Из систем хранения широкого распространения RAID-4 применяется на устройствах хранения компанииNetApp (NetApp FAS), где его недостатки успешно устранены за счет работы дисков в специальном режиме групповой записи, определяемом используемой на устройствах внутренней файловой системой WAFL. RAID 5[править | править вики-текст]Схема RAID 5 Основным недостатком уровней RAID от 2-го до 4-го является невозможность производить параллельные операции записи, так как для хранения информации о чётности используется отдельный контрольный диск. Достоинства RAID5 получил широкое распространение, в первую очередь, благодаря своей экономичности. Объём дискового массива RAID5 рассчитывается по формуле (n-1)*hddsize, где n — число дисков в массиве, а hddsize — размер наименьшего диска. Например, для массива из четырех дисков по 80 гигабайт общий объём будет (4 — 1) * 80 = 240 гигабайт. На запись информации на том RAID 5 тратятся дополнительные ресурсы и падает производительность, так как требуются дополнительные вычисления и операции записи, зато при чтении (по сравнению с отдельным винчестером) имеется выигрыш, потому что потоки данных с нескольких дисков массива могут обрабатываться параллельно. Недостатки Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 0 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи, за исключением так называемых full-stripe write-ов, сервера заменяется на контроллере RAID на четыре — две операции чтения и две операции записи). Минимальное количество используемых дисков равно трём. RAID 6[править | править вики-текст]Схема RAID 6 RAID 6 — похож на RAID 5, но имеет более высокую степень надёжности — под контрольные суммы выделяется ёмкость 2-х дисков, рассчитываются 2 суммы по разным алгоритмам. Требует более мощный RAID-контроллер. Обеспечивает работоспособность после одновременного выхода из строя двух дисков — защита от кратного отказа. Для организации массива требуется минимум 4 диска[2]. Обычно использование RAID-6 вызывает примерно 10-15% падение производительности дисковой группы, относительно RAID 5, что вызвано большим объёмом обработки для контроллера (необходимость рассчитывать вторую контрольную сумму, а также читать и перезаписывать больше дисковых блоков при записи каждого блока). Помимо базовых уровней RAID 0 — RAID 6, описанных в стандарте «Common RAID Disk Drive Format (DEF) standard», существуют комбинированные уровни с названиями вида «RAID α+β» или «RAID αβ», что обычно означает «RAID β, составленный из нескольких RAID α» (иногда производители интерпретируют это по-своему). Например:
Комбинированные уровни наследуют как преимущества, так и недостатки своих «родителей»: появлениечередования в уровне RAID 5+0 нисколько не добавляет ему надёжности, но зато положительно отражается на производительности. Уровень RAID 1+5, наверное, очень надёжный, но не самый быстрый и, к тому же, крайне неэкономичный: полезная ёмкость тома меньше половины суммарной ёмкости дисков. RAID 0+1[править | править вики-текст]Под RAID 0+1 может подразумеваться в основном два варианта:
RAID 10 (1+0)[править | править вики-текст]Схема архитектуры RAID 10 RAID 10 — зеркалированный массив, данные в котором записываются последовательно на несколько дисков, как в RAID 0. Эта архитектура представляет собой массив типа RAID 0, сегментами которого вместо отдельных дисков являются массивы RAID 1. Соответственно, массив этого уровня должен содержать как минимум 4 диска (и всегда чётное количество). RAID 10 объединяет в себе высокую отказоустойчивость и производительность. Утверждение, что RAID 10 является самым надёжным вариантом для хранения данных вполне обосновано тем, что массив будет выведен из строя после выхода из строя всех накопителей в одном и том же массиве. При одном вышедшем из строя накопителе, шанс выхода из строя второго в одном и том же массиве равен 1/3*100=33%. RAID 0+1 выйдет из строя при двух накопителях, вышедших из строя в разных массивах. Шанс выхода из строя накопителя в соседнем массиве равен 2/3*100=66%, однако так как накопитель в массиве с уже вышедшим из строя накопителем уже не используется, то шанс того, что следующий накопитель выведет из строя массив целиком равен 2/2*100=100%.
* N — количество дисков в массиве, S — объём наименьшего диска. RAID 7[править | править вики-текст]RAID 7 — зарегистрированная торговая марка компании Storage Computer Corporation, отдельным уровнем RAID не является. Структура массива такова: на дисках хранятся данные, один диск используется для складирования блоков чётности. Запись на диски кешируется с использованием оперативной памяти, сам массив требует обязательного ИБП; в случае перебоев с питанием происходит повреждение данных. RAID-DP[править | править вики-текст]Существует модификация RAID-6 компании NetApp — RAID-DP. Отличие от традиционного массива заключается в выделении под контрольные суммы двух отдельных дисков. «Hybrid RAID» — это некоторые из обычных уровней RAID, но в сочетании с дополнительным ПО и SSD-дисками, которые используются как кэш для чтения. В результате производительность системы повышается, т.к. SSD обладают значительно лучшими скоростными характеристиками по сравнению с HDD. Существует несколько реализаций, например Crucial Adrenaline, либо некоторые контроллеры Adaptec бюджетного класса. На данный момент Hybrid RAID не рекомендуется использовать в серверах ввиду малого ресурса SSD-дисков, исключение составляют специальные серверные SSD-диски с повышенным ресурсом. В Hybrid RAID операции считывания выполняются с более быстрого твердотельного накопителя, а операции записи в целях выполнения резервирования производятся как на твердотельных накопителях, так и на жестких дисках. Hybrid RAID идеально подходит для приложений с данными нижнего уровня, таких как интернет-шлюз, файловый сервер или виртуальная вычислительная машина. Схема Intel Matrix RAID Matrix RAID — это технология, реализованная фирмой Intel в южных мостахсвоих чипсетов, начиная с ICH6R. Эта технология не является новым уровнем RAID (и ее аналог существует в аппаратных RAID-контроллерах высокого уровня), она позволяет, используя небольшое количество дисков, организовать на разных разделах этих дисков одновременно несколько массивов уровня RAID 1, RAID 0 и RAID 5[8]. Это позволяет за сравнительно небольшие деньги обеспечить для одних данных повышенную надёжность, а для других — высокую производительность. Заявлена поддержка технологии Matrix RAID в следующих контроллерахSCSI[9]:
Позднее, Intel объявила о переименовании технологии Matrix RAID в Intel Rapid Storage Technology (Intel RST)[10]. Многие RAID-контроллеры оснащены набором дополнительных функций:
Для реализации RAID можно применять не только аппаратные средства, но и полностью программные компоненты (драйверы). Например, в системах на ядре Linux существуют специальные модули ядра, а управлять RAID-устройствами можно с помощью утилиты mdadm. Программный RAID имеет свои достоинства и недостатки. С одной стороны, он ничего не стоит (в отличие от аппаратных RAID-контроллеров, цена которых от $250). С другой стороны, программный RAID использует ресурсы центрального процессора, и в моменты пиковой нагрузки на дисковую систему процессор может значительную часть мощности тратить на обслуживание RAID-устройств. Ядро Linux 2.6.28 (последнее из вышедших в 2008 году) поддерживает программные RAID следующих уровней: 0, 1, 4, 5, 6, 10. ОС семейства Windows NT, такие как Windows NT 3.1/3.5/3.51/NT4/2000/XP/2003 изначально, с момента проектирования данного семейства, поддерживает программный RAID 0, RAID 1 и RAID 5 (см. Dynamic Disk). Более точно, Windows XP Pro поддерживает RAID 0. Поддержка RAID 1 и RAID 5 заблокирована разработчиками, но, тем не менее, может быть включена, путем редактирования системных бинарных файлов ОС, что запрещено лицензионным соглашением.[11] Windows 7 поддерживает программный RAID 0 и RAID 1, Windows Server 2003 — 0, 1 и 5. Windows XP Home не поддерживает RAID. В ОС FreeBSD есть несколько реализаций программного RAID. Так, atacontrol, может как полностью строить программный RAID, так и может поддерживать полуаппаратный RAID на таких чипах как ICH5R. Во FreeBSD, начиная с версии 5.0, дисковая подсистема управляется встроенным в ядро механизмом GEOM. OpenSolaris и Solaris 10 используют Solaris Volume Manager, который поддерживает RAID-0, RAID-1, RAID-5 и любые их комбинации как 1+0. Поддержка RAID-6 осуществляется в файловой системе ZFS. Синий разъём PCI-X на материнской плате сервера FSC Primergy TX200 S2 специально предназначен для платы ноль-канального RAID (zero-channel RAID, ZCR). Установлен MegaRAID320-0 Zero Channel RAID Controler фирмы LSI)[12] Идея RAID-массивов — в объединении дисков, каждый из которых рассматривается как набор секторов, и в результате драйвер файловой системы «видит» как бы единый диск и работает с ним, не обращая внимания на его внутреннюю структуру. Более того: при разрушении любого из дисков в составе RAID-0 вся информация в массиве окажется потерянной. Но если драйвер файловой системы разместил каждый файл на одном диске, и при этом правильно организована структура директорий, то при разрушении любого из дисков будут потеряны только файлы, находившиеся на этом диске; а файлы, целиком находящиеся на сохранившихся дисках, останутся доступными. Схожая идея «повышения надёжности» реализована в массивахJBOD. Размещение файлов по принципу «каждый файл целиком находится на одном диске» сложным/неоднозначным образом влияет на производительность дисковой системы. Для мелких файлов латентность (время позиционирования головки над нужным треком + время ожидания прихода нужного сектора под головку) важнее, чем время собственно чтения/записи; поэтому если мелкий файл целиком находится на одном диске, доступ к нему будет быстрее, чем если он разнесён на два диска (структура RAID-массивов такова, что мелкий файл не может оказаться на трёх и более дисках).
============================================================================================== ПримерConsider an application that generates 1200 IOPS at peak workload, with read/write ratio of 2:1. Calculate disk load at peak activity for RAID 1/0 and RAID 5 configuration. |
Patterson), Гибсоном (Garth A. Gibson) и Катцом (Randy H. Katz) в 1987 году. Со временем «RAID» стали расшифровывать как «redundant array of independent disks» («избыточный (резервный) массив независимых дисков»), потому что для массивов приходилось использовать и дорогое оборудование (под недорогими дисками подразумевались диски для ПЭВМ).
software) RAID
[1]
е. они разбиваются на небольшие блоки по числу дисков. Оставшиеся диски хранят коды коррекции ошибок, по которым в случае выхода какого-либо жёсткого диска из строя возможно восстановление информации. Метод Хемминга давно применяется в памяти типа ECC и позволяет на лету исправлять однократные и обнаруживать двукратные ошибки.
Ещё один диск используется для хранения блоков чётности. В RAID 2 для этой цели применялся диск, но большая часть информации на контрольных дисках использовалась для коррекции ошибок на лету, в то время как большинство пользователей удовлетворяет простое восстановление информации в случае поломки диска, для чего хватает информации, умещающейся на одном выделенном жёстком диске.
RAID 5 не имеет этого недостатка. Блоки данных и контрольные суммы циклически записываются на все диски массива, нет асимметричности конфигурации дисков. Под контрольными суммами подразумевается результат операцииXOR (исключающее или). Xor обладает особенностью, которая даёт возможность заменить любой операнд результатом, и, применив алгоритмxor, получить в результате недостающий операнд. Например: a xor b = c (гдеa, b, c — три диска рейд-массива), в случае если a откажет, мы можем получить его, поставив на его место c и проведя xor между c и b: c xor b = a. Это применимо вне зависимости от количества операндов: a xor b xor c xor d = e. Если отказывает c тогда e встаёт на его место и проведя xor в результате получаем c: a xor b xor e xor d = c. Этот метод по сути обеспечивает отказоустойчивость 5 версии. Для хранения результата xor требуется всего 1 диск, размер которого равен размеру любого другого диска в raid.
Недостатки RAID 5 проявляются при выходе из строя одного из дисков — весь том переходит в критический режим (degrade), все операции записи и чтения сопровождаются дополнительными манипуляциями, резко падает производительность. При этом уровень надежности снижается до надежности RAID-0 с соответствующим количеством дисков (то есть в n раз ниже надежности одиночного диска). Если до полного восстановления массива произойдет выход из строя, или возникнет невосстановимая ошибка чтения хотя бы на еще одном диске, то массив разрушается, и данные на нем восстановлению обычными методами не подлежат. Следует также принять во внимание, что процесс RAID Reconstruction (восстановления данных RAID за счет избыточности) после выхода из строя диска вызывает интенсивную нагрузку чтения с дисков на протяжении многих часов непрерывно, что может спровоцировать выход какого-либо из оставшихся дисков из строя в этот наименее защищенный период работы RAID, а также выявить ранее необнаруженные сбои чтения в массивах cold data (данных, к которым не обращаются при обычной работе массива, архивные и малоактивные данные), что повышает риск сбоя при восстановлении данных.
[4][5][6][7]
Благодаря взаимодействию RAID-DP и файловой системы WAFL (все операции записи последовательны и производятся на свободное место) пропадает падение производительности как в сравнении с RAID-5, так и в сравнении с RAID-6.
Реализация позволяет создавать RAID на отдельных разделах дисков, что аналогично описанному выше Matrix RAID. Поддерживается загрузка с RAID.
GEOM предоставляет модульную дисковую структуру, благодаря которой родились такие модули как gstripe (RAID 0), gmirror (RAID 1), graid3 (RAID 3), gconcat (объединение нескольких дисков в единый дисковый раздел). Также существуют устаревшие классы ccd (RAID 0, RAID 1) и gvinum (менеджер логических томов vinum). Начиная с FreeBSD 7.2 поддерживается файловая система ZFS, в которой можно собирать следующие уровни RAID: 0, 1, 5, 6, а также комбинируемые уровни.
Однако, можно добиться существенного повышения производительности и надёжности дисковой системы, если драйвер файловой системы будет «знать» о том, что работает не с одним диском, а с набором дисков.
Для крупных файлов размещение строго на одном диске может оказаться хуже, чем размещение на нескольких дисках; однако, это проявится только если обмен данными производится большими блоками; либо если к файлу делается много мелких обращений в асинхронном режиме, что позволяет работать сразу со всеми дисками, на которых размещён этот файл.| Часто задаваемые вопросы — тома жестких дисков RAID 5 В: Каково определение тома «RAID 5»? В: Что такое «четность» или «данные четности»? В: Каковы минимальные требования к диску для создания тома RAID 5? В: В чем разница между «аппаратными» и «программными» конфигурациями RAID 5? В: Каковы преимущества томов RAID 5? В: Каковы недостатки конфигураций RAID 5? В: Можно ли восстановить данные с переформатированного тома RAID 5? В: Могу ли я запустить утилиты восстановления для восстановления данных тома RAID? В: Если том RAID 5 не монтируется, должен ли я разрешить выполнение «перестроения»? В: Если сразу несколько дисков в томе RAID выходят из строя, можно ли восстановить данные? См. также:
Восстановление RAID 0 (зеркальные диски) Восстановление RAID 1 (чередующийся том) О службах восстановления данных Vantage
|
Том RAID 5 — это комбинация жестких дисков, настроенных для записи данных на три (3) или более диска.
Вышедший из строя диск можно заменить в массиве на диск такой же или большей емкости, и содержащиеся на нем данные будут автоматически восстановлены с использованием данных четности, содержащихся на других дисках. Для создания тома RAID 5 требуется как минимум 3 диска.
Такой подход ограничивает дальнейшее взаимодействие с носителем и помогает сохранить целостность исходного устройства. Одна из опасностей использования программного обеспечения для восстановления данных заключается в том, что оно заставляет головки чтения/записи многократно перемещаться по областям исходного носителя, которые в случае физического повреждения могут стать еще более поврежденными и, возможно, невосстановимыми.
Трудно говорить о серверах без RAID.
Если вы рассматриваете RAID для своего сервера и хотите знать, подходит ли вам RAID 5, или если вы просто хотите узнать больше о RAID в целом, вы попали в нужное место. Мы рассмотрим это и многое другое в этой статье.
Что такое RAID?
Схема массива RAID 0
RAID — это аббревиатура, означающая «избыточный массив независимых дисков». Как следует из названия, RAID создает массив из нескольких жестких дисков для обеспечения избыточности. Массив просто означает набор дисков, которые представляются операционной системе как единое логическое устройство. «Избыточность» в RAID — ключевая особенность большинства типов RAID, используемая для обеспечения дополнительной надежности при хранении данных на далеко не идеальных жестких дисках. В качестве дополнительного преимущества, объединяя множество дисков в один массив, RAID также повышает скорость доступа к дискам и увеличивает доступное дисковое пространство.
Почему я должен использовать RAID для своего сервера?
На обычном домашнем компьютере потенциальный сбой диска не является чем-то, о чем мы всегда думаем.
Пока у вас есть резервные копии, это может быть раздражающим неудобством, но это все. Учитывая, что жесткие диски выходят из строя от 1% до 10% в год, типичный домашний компьютер вряд ли увидит отказ диска до того, как компьютер в любом случае устареет.
Для серверов картина несколько иная. Серверы часто имеют более одного жесткого диска, что увеличивает вероятность отказа одного из них. Если сервер отключается, ожидание восстановления данных из резервных копий часто представляет собой нечто большее, чем просто незначительное неудобство. В зависимости от того, для чего использовался сервер, потенциально тысячи пользователей не смогут получить доступ к службам, которые, как они ожидают, будут доступны круглосуточно и без выходных.
Поскольку RAID использует несколько дисков для создания одного виртуального массива, можно использовать RAID для одновременного хранения нескольких активных копий данных. В зависимости от выбранного типа RAID эта дополнительная избыточность может позволить вашему серверу оставаться в сети даже в случае отказа одного или нескольких дисков.
Это недорогой способ повысить производительность и надежность вашего сервера.
Всегда ли RAID повышает надежность?
Как уже упоминалось, некоторые типы RAID повышают надежность, допуская отказ одного, а иногда и нескольких дисков без потери данных. Чтобы понять, почему мы используем здесь слова «некоторые типы» и «иногда», важно понимать различные типы RAID, также известные как уровни RAID. Некоторые из них обеспечивают избыточность, некоторые улучшают производительность, а некоторые делают и то, и другое. Понимание того, как они работают, может помочь вам решить, какой тип RAID подходит именно вам.
Какие типы RAID работают лучше всего?
Для серверов существует несколько типов RAID, популярных благодаря своей надежности, производительности и стоимости. Какой тип лучше всего подходит для вас, зависит от ваших конкретных обстоятельств.
Во-первых, каждому серверу следует избегать RAID 0, поскольку он не обеспечивает избыточности. При выходе из строя одного диска все данные будут потеряны.
Raid 1, с другой стороны, обеспечивает избыточность данных за счет зеркалирования, но не обладает никакими другими преимуществами RAID, поэтому он не часто используется для ресурсоемких серверных приложений.
Наиболее часто используемые уровни RAID для серверов и веб-хостинга — это RAID 5, RAID 6 и RAID 10. В сегодняшней статье мы обсудим RAID 5, тип «RAID с четностью». RAID 5 идеален в ситуациях, когда вы хотите хранить больше данных за наименьшие деньги, сохраняя при этом адекватную защиту данных и производительность. Мы также коснемся RAID 6, так как он похож на RAID 5. Чтобы узнать о RAID 10, который обеспечивает более высокую производительность за счет доступного дискового пространства, прочитайте нашу статью о RAID 10.
Как работает RAID 5?
В массиве RAID 5 данные чередуются и хранятся на всех дисках, кроме одного. Последний диск хранит данные четности для этой полосы в целях резервирования. Какие диски используются для данных или чередования четности для каждой полосы.
RAID 5 — это тип RAID, обеспечивающий избыточность с использованием метода, известного как «четность». Контроль четности — это тип дополнительных данных, которые рассчитываются и сохраняются вместе с данными, которые пользователь хочет записать на жесткий диск. Эти дополнительные данные можно использовать для проверки целостности сохраненных данных, а также для вычисления любых «отсутствующих» данных, если некоторые из ваших данных не могут быть прочитаны (например, при сбое диска).
Чтобы объяснить, как это происходит, вспомните школьный урок алгебры с уравнениями типа «9 = X + 4. Решите для X». В этом случае «X» — это неизвестные данные, которые ранее хранились на вышедшем из строя диске. Между тем «4» — это данные, которые хранятся на диске, который вы можете прочитать, а «9» — это данные четности, хранящиеся на третьем диске, которые ранее были рассчитаны для целей избыточности. Находя X, мы можем реконструировать, что отсутствующие данные должны были быть «5».
Это позволяет вам иметь избыточность без сохранения полной дополнительной копии ваших данных, экономя место на диске по сравнению с RAID 1 или RAID 10.
Контроль четности RAID 5 использует концептуально аналогичную математическую функцию, называемую «исключающее ИЛИ», для вычисления контроля четности. Это позволяет восстанавливать данные при отказе одного диска. Уровни RAID, в которых используется этот тип избыточности, — это RAID 3, 4, 5 и 6, при этом RAID 5 и RAID 6 являются единственными широко используемыми типами. RAID 5 может защитить от отказа одного диска, тогда как RAID 6 может защитить от отказа двух дисков. В остальном RAID 5 и RAID 6 почти идентичны, предлагая аналогичную производительность, стоимость, совместимость и надежность.
Чтобы выполнить эту функцию, массив RAID 5 выделяет дисковое пространство «на один диск» для данных четности, тогда как RAID 6 выделяет дисковое пространство на «два диска» для данных четности. По этой причине для RAID 5 требуется меньше жестких дисков, но RAID 6 может обеспечить защиту от более серьезных сбоев.
Это делает RAID 5 популярным для небольших массивов (минимум 3 диска), а RAID 6 — для больших дисковых массивов (минимум 4 диска).
Когда следует использовать RAID 5?
RAID 5 был более популярен в прошлом, чем сегодня, но по-прежнему имеет ряд преимуществ:
- RAID 5 обеспечивает избыточность данных, поэтому в случае отказа одного диска вы сможете восстановить его. Большинство типов RAID предлагают это, за исключением RAID 0, который не поддерживает.
- Благодаря хранению данных с одинарной четностью RAID 5 предлагает наиболее полезное дисковое пространство среди всех типов RAID с избыточностью. Вы теряете только «стоимость одного диска» дискового пространства для массива RAID 5, независимо от того, сколько в нем дисков.
- Для RAID 5 требуется только 3 жестких диска, тогда как для RAID 10 и RAID 6 требуется 4 или более дисков.
- Производительность чтения с диска и производительность «последовательной записи» на RAID 5 не ниже, а иногда и выше, чем на других уровнях RAID.
- Поскольку твердотельные накопители становятся все более популярными, RAID 5 находит новое применение, поскольку твердотельные накопители очень быстры, но имеют очень мало места на диске. Это позволяет использовать преимущества RAID 5 и свести к минимуму его недостатки.
- Благодаря своей производительности и дисковому пространству RAID 5 идеально подходит для хранения резервных копий, видео и других больших данных, которые редко обновляются.
Почему мне не следует использовать RAID 5?
Хотя RAID 5 популярен, у него есть несколько важных недостатков, которые часто делают другие типы RAID более подходящими: диск для каждого запроса. Это проблема для многих случаев использования сервера, особенно для баз данных, которые очень «тяжелы для произвольной записи».
В процессе восстановления есть большая вероятность того, что второй диск выйдет из строя или часть диска не сможет быть прочитана. В любом случае массив невозможно восстановить, и все данные могут быть потеряны. По этой причине RAID 6 становится все более популярным, так как он допускает отказ двух дисков. В то же время RAID 1 и RAID 10 могут восстанавливаться после сбоя гораздо быстрее.