True System: Немного о SAS-экспандерах

За последние годы SAS успел окончательно вытеснить параллельный SCSI и даже понемногу начал занимать территорию FibreChannel (как для подключения хостов к СХД, так и дисков). Сменилось поколение стандарта SAS, скоро появится третье поколение (статья о SAS 3.0 и Multilink SAS), выпущено большое количество оборудования, в том числе и основным для нас вендором — компанией Supermicro. Речь, конечно же, пойдет прежде всего о корпусах Supermicro с SAS-экспандерами: по-прежнему вопросы о подключении дисков или контроллеров, совместимости, производительности поступают каждый день.

1. Что такое SAS-экспандер?
2. Применение SAS-экспандеров
3. FAQ
   
   • Пропускная способность
   • Совместимость
   • SAS-экспандер и failover-кластеры
4. SAS-экспандеры в продуктах Supermicro

Что такое SAS-экспандер?

SAS-экспандер — это коммутирующее устройство, обеспечивающее подключение к общей топологии нескольких SAS-инициаторов и таргетов. Экспандер хранит таблицу маршрутизации с WWN-адресами подключенных к SAS-домену узлов и обменивается данными о маршрутизации и зонировании (начиная с SAS-2) с другими экспандерами в домене. Обычно экспандер обеспечивает через встроенный SMP-таргет мониторинг: показания термодатчиков, скорость вращения вентиляторов, состояние блоков питания.

Применение SAS-экспандеров

Применяются SAS-экспандеры для подключения нескольких SAS-таргетов (это могут быть специализированные СХД с интерфейсом SAS, либо отдельные SAS или SATA диски).
Обычно несколько PHY экспандера конфигурируются как входные (для подключения инициатора — хоста или предыдущего экспандера в топологии), остальные — в качестве выходных портов для подключения конечных устройств, часть может выводится для подключения дочерних экспандеров на отдельные разъемы. В большинстве случаев наружные порты состоят из 4-х PHY, образующих wide-порт при подключении к хосту или другому экспандеру.
SAS-экспандер также занимается тем, что распаковывает STP-фреймы (SATA Tunneling Protocol — протокол, обеспечивающий туннелирование SATA команд в SAS) для работы с подключенными непосредственно к нему SATA-дисками.
Если вас интересуют дальнейшие технические подробности (edge- и fanout-экспандеры в SAS-1, ZPSDS в SAS-2 и т.д.) — добро пожаловать на www.scsita.org.

Внутренний SAS-экспандер Chenbro

Готовым устройством может быть внутренний экспандер — плата с несколькими разъемами SAS 4x (SFF-8087 — внутренний 4x SAS разъем, SFF-8088 — внешний). На иллюстрации представлен внутренний экспандер производства Chenbro, имеющий один 4x входной разъем и 6 (2 внешних и 4 внутренних) — для подключения конечных устройств или других экспандеров. Например, 4 внутренних разъема 4x — это 16 PHY, к которым можно подключить 16 дисков, а 2 внешних использовать для подключения дополнительных дисковых полок.

Внешний экспандер Areca

Чип экспандера может находится непосредственно на плате RAID-контроллера, как в многопортовых Adaptec 51245/51645/52445 и LSI 9280-16i4e/24i4e. ROC-процессоры данных контроллеров имеют только 8 PHY, которые подключены к МС SAS-экспандера, что превращает 8-портовые контроллеры в 16/20/28-портовые.
Экзотическая разновидность — внешний экспандер, в виде отдельного устройства с несколькими внешними SAS-портами.
Еще одно и, пожайлуй, самое распространенное применение — в бэкплейнах дисковых корзин серверов. Например, в популярной серии корпусов Supermicro 846Exx (846E1, 846E2, 846E16, 846E26) можно разместить 24 SAS или SATA диска, при этом будет достаточно 4-портового контроллера (что будет с полосой пропускания — будет подробно описано ниже).

Корпус Supermicro 846E16-R1200B

Собственно говоря, в подобном корпусе может быть размещен не сервер (с системной платой, процессорм и т.д.), а только диски и небольшая плата управления питанием. В этом случае получится просто «коробка с дисками», часто называемая SAS-JBOD или просто JBOD (иногда возникает путаница в терминах, т. к. JBOD’ом еще традиционно называется способ объединения дисков в массиве с последовательным заполнением).
Дополнительная преимущество при подключении дисков через SAS-экспандер — возможность подключения к обоим портам SAS-диска. Все современные диски с интерфейсом SAS имеют два порта, каждый со своим WWN.

Использование двух экспандеров, подключенных к разным портам дисков, позволяет получить port-failover (защиту от выхода из строя phy диска и/или контроллера) или controller-failover — дополнительную защиту от выхода из строя контроллера, в случае использования специализированных внешних SAS СХД или специальных программных решений (например, Nexenta-HA на платформе Supermicro SBB).

FAQ

Пропускная способность
Увидев разницу в цене, например, между 4-портовым SAS-контроллером LSI 9260-4i и LSI 9280-24i4e (24 внутренних порта + 4 внешних), многие ждут подвоха в виде неизбежной потери производительности. В самом деле — достаточно ли полосы пропускания четырех портов SAS для подключения относительно большого количества дисков? Часто приводят следующий довод: «из опубликованных тестов и спецификаций мы видели, что скорость чтения даже на не самых быстрых, но современных SATA дисках составляет порядка 150МБ/с и выше, для 24-х дисков это будет 24×150=3600МБ/с, т. е. полосы 4×6*0,8Гбит (это около 2500МБ/с) никак не хватит».
Для того, чтобы развеять эти опасения, нужно вспомнить про IOPS’ы и ограниченную производительность самих контроллеров, а так же про особенность многопортовых (>8) контроллеров.
Ограничения по IOPS. В серверных системах нечасто встречаются линейное чтение или запись, разве что в системах видеонаблюдения или бэкап-серверах. В основном, речь идет о случайном доступе с различным распределением по размеру блоков и соотношением чтение/запись, особенно это касается СУБД. И вот тут ни о каких 150МБ/с и речи не идет, прогресс остановился — частота вращения шпинделя не превышает 15000об/мин, растет лишь плотность записи. На практике это означает, что даже с быстрого 15k SAS диска мы не можем, к примеру получить больше 250-300 операций ввода/вывода в секунду (IOPS) при чтении малыми блоками, а 7200об/мин дисками — еще меньше. Т.е. при размере блока 4КБ получаем порядка 1МБ в секунду для одного диска при полностью случайном доступе.

Способы решения данной проблемы:

• использование SSD, производительность которых при случайном доступе в десятки и стони раз превышает возможности обычных HDD
• наращивание количества шпинделей (есть системы, которые можно масштабировать до нескольких сотен дисков в одной дисковой группе)
• применение кэширования в RAM-кэше контроллера (в сочетании с оптимизацией это помогает сделать обращение к массиву более последовательным) или так называемого tiered-storage — многоуровневого хранения SATA->SAS->SSD (с вытеснением часто используемых данных на более быстрые уровни)

В общем, фронтенда 4xSAS2 (4×6=24Гбит) и даже SAS1 (4×3=12Гбит) в 99 случаях из ста оказывается более чем достаточно, особенно если сравнить с 4/8Гбит FC и iSCSI или FCoE поверх 10GbE.

LSI 9280-24i4e

Многопортовые контроллеры. Помните, что все выпускамые сейчас SAS RAID контроллеры имеют максимум 8 портов SAS (Обновление: ситуация изменилась после анонса контроллеров Adaptec серии 7. Данные контроллеры имеют до 24 нативных портов SAS2). Большее количество портов, вплоть до 28-ми в контроллерах Adaptec 52445 и LSI 9280-24i4e, получается за счет размещения SAS-экспандера на одной плате с контроллером. Свои плюсы у такого решения есть: для подключения к набортному экспандеру задействованы 8 портов контроллера, а не 4, как в случае с подключением к одиночному внешнему экспандеру (как уже было описано выше — использование подключения к двум экспандерам требует SAS дисков, для SATA нужно дополнительное устройство — мультиплексор). К тому же всегда есть один внешний порт, который можно использовать для подключения большого количества дисков через JBOD’ы.
Ограничениченная производительность контроллеров. Наличие аппаратного блока вычисления контрольных сумм для RAID-5 и RAID-6 вовсе не означает, что контроллер просто обязан пропустить через себя неограниченное количество данных, плюс нужно учесть пропускную способность PCI-E 2.0 x8.
Пример: для контроллеров на базе процессора LSI 2108 (LSI 9260, LSI 9280, различные контроллеры Intel, Dell, Supermicro) предел по пропускной способности на запись в RAID 5 или 6 составляет 1360МБ/с (в массивах 0, 10 — до 3000МБ/с), предел по IOPS — 130000. Контроллеры 3ware на том же процессоре демонстрируют чуть лучшие результаты при многопоточном последовательном чтении/записи, но IOPS-предел у них в два раза меньше. Кстати, на SAS HBA от LSI последнего поколения (на базе LSI 2108) в сочетании с SSD и программным RAID можно получить и до 290000 IOPS.
У нового поколения на базе 2-ядерного LSI 2208 (контроллеры LSI 9265 и 9285) производительность выше — почти до полумиллиона IOPS и более 2000МБ на запись в RAID 5/6.
(Обновление от 18.04.2013. Контроллеры Adaptec 7-й серии демонстрируют лимит в 6600МБ/с.)
Так что если вы уверены в том, что вам нужно получить больше — используйте несколько контроллеров, а LUN’ы с них придется объединять в программный RAID.
Конечно, в реальных применениях достигнуть предела производительности контроллера не так уж просто, и при 20-40 дисках (без SSD) контроллеры Adaptec и LSI демонстрируют приблизительно равные результаты.
Совместимость
Часто задаваемый вопрос: «я подключил такие-то диски к такому-то контроллеру, корпус — Supermicro такой-то, часть дисков не определяется» или «наблюдаю выпадение дисков из массива».
Увы, совместимость между SAS-2 и SAS-1, совместимость между SAS-контроллерами и экспандерами разных производителей, полная поддержка SATA SAS-контроллерами и экспандерами существуют лишь на бумаге. В реальных условиях следует опираться на списки совместимости «контроллер + диски» и «контроллер + экспандер + диски»:

• Списки совместимости (HCL) к продуктам Adaptec
• Списки совместимости (HCL) к продуктам LSI
• Списки совместимости (HCL) к экспандерам Supermicro

Причины несовместимости — от широко известного отсутствия поддержки диском SCT Error Recovery Control (он же TLER в терминологии WD, без поддержки ERC возникает ситуация, когда диск слишком долго пытается получить доступ к сбойному сектору) до фатального сочетания багов в микрокоде контроллера диска, SAS-контроллера и экспандера.
Но помимо HCL (которые могут быть неполными или содержать неточности), есть следующие особенности:

• Экспандеры первого поколения SAS-1 в корпусах Supermicro (xxxE1-Rxxx, xxxE2-Rxxx) на базе чипов LSI SASX28 и SASX36 довольно привередливы: в HCL от Supermicro по вышеприведенной ссылке очень мало дисков и большинство из них уже сняты с производства.
  C этими экспандерами работает большинство SAS-1 и SAS-2 дисков, в том числе nearline-SAS (диски с механикой от 7200об/мин SATA дисков, но SAS-контроллером), случаев несовместимости не выявлено. А вот c SATA-3 дисками, например, Hitachi 7K3000/A7K3000 есть проблемы: не определяется часть дисков, случайное выпадение дисков из массива под нагрузкой.
  По-прежнему несовместимы с SAS-1 экспандерами Supermicro контроллеры Adaptec 6-й серии (6405, 6805, 6445) — контроллер не видит весь экспандер, либо часть дисков. Данная проблема, возможно, будет устранена в следующем релизе firmware.
• Дисковые корзины Supermicro CSE-M28E1 и CSE-M28E2, содержащие один или два экспандера LSI SASX12, несовместимы с контроллерами Adaptec 6-й серии и контроллерами LSI MegaRAID SAS-2 (все контроллеры на базе чипов LSI 2108 и 2208): экспандер не определяется, иногда с ошибкой «Invalid SAS topology» при запуске контроллера.

SAS-экспандер и кластеры
Первая идея, которая приходит в голову человеку, впервые увидевшему JBOD с двумя SAS-экспандерами: «А нельзя ли подключить два хоста с SAS RAID контроллерами к этому JBOD и использовать получившуюся конструкцию для кластера, требующего общий LUN?»
Стоимость подобного решения в сравнении с готовыми 2-контроллерными СХД начального уровня выглядит привлекательно. Но, увы, работать ничего не будет*:

• Обычные RAID контроллеры не рассчитаны на такое подключение (но сейчас есть и исключения в виде LSI Syncro CS). Их firmware ничего не знает о том, как поделить доступ к дискам с другим контроллером. Если бы даже не существовало этой проблемы, то возникает проблема синхронизации кэшей и так далее. На практике вы увидите зависание одного или обоих контроллеров при инициализации, возможно с сообщением об ошибочной топологии SAS.
• Возможен вариант не с RAID контроллерами, а с обычными HBA. Доступом к дискам управляет в данном случае специальное ПО или экзотической ОС (например, IBM AIX), стоимость которых уже не позволяет вести речь об экономии. Примеры реализаций: NexentaStor HA, или опять-таки готовые СХД.
  Мечты о том, что можно реализовать простой failover самостоятельно («программно отключу HBA второго сервера и напишу скрипт, который поднимет его обратно при отсутствии отклика от первого сервера»), можно считать несбыточными — в подобный софт производители СХД вложили огромное количество ресурсов, простой кустарной реализации не получится.
• Заблуждение о том, что «SAS-JBOD — это бюджетная система хранения данных» — основная логическая ошибка, которую многие почему-то не сразу замечают. JBOD — это просто корпус с дисками и SAS-экспандером, а от системы хранения данных мы должны получить готовый LUN, а не набор дисков.
• Единственное, что можно сделать с JBOD’ом подручными средствами применить зонирование, отдав каждому хосту свой набор дисков. Переключив зонирование дисков с отказавшего хоста на исправный, можно быстро получить доступ к данным, но это не решает проблему с данными, находившимися в кэше. Зонирование требует подключения дисков к SAS-2 экспандеру, а для управления зонированием можно использовать SAS-коммутатор, например, LSI 6160, которому уже были посвящены несколько статей.

*Обновление от 14.10.2013. Времена меняются, и утверждение «SAS JBOD — не для кластеров» уже теряет актуальность. С появлением поддержки Parity Spaces для Failover Cluster’а в Microsoft Windows Server 2012 R2 использование Storage Spaces для кластеров Microsoft становится вполне обоснованным. Для vSphere есть VSA и с появлением vSphere 5.5 — еще и VSAN (наследие Virsto).

SAS-экспандеры в продуктах Supermicro

Корпуса с SAS-экспандерами. Развновидностей много: от 2U до 4U, с SAS-1 или SAS-2 экспандерами, с одним или с двумя экспандерами, под SFF и LFF диски, с обычным и двухсторонним размещением дисков.

Подробнее ознакомится с этим многообразием можно на сайте Supermicro.
Особенности:

• 2U корпуса (и 4U с двухсторонним размещением дисков) имеют разновидности «LP» и «U» (например, SC216E26-R1200LPB и SC216E26-R1200UB). Первая предназначена для обычный плат размером до E-ATX, платы расширения — только низкопрофильные, устанавливаются напрямую, без райзера. Вторая — для системных плат форм-фактора UIO (с вырезом для размещения платы в нижний слот райзера) и позволяет устанавливать до 4-х плат полной высоты + 3-х низкопрофильных плат.
• Большинство экспандерных бэкплейнов Supermicro имеют один вход и два выхода (с разъемами 4x SAS SFF-8087) для удобства каскадирования: последовательное подключение более 6-ти экспандеров LSI крайне не желательно, а два выхода позволяют построить топологию с ответвлениями. Вот пример топологии с каскадом из двух 2-экспандерных бэкплейнов на чипе LSI SAS2X36 (12 phy экспандера — на вход и выходы, оставшиеся 24 — для подключения дисков):
• Корпуса с поддержкой более 24-х дисков содержат несколько бэкплейнов, каждый из которых — со своим экспандером. Пример: корпус 847E16-R1400LPB — это 4U корпус с двухсторонним размещением дисков. Спереди — бэкплейн SAS2-846EL1 на 24 диска (SAS2X36), сзади — SAS2-826EL1 на 12 дисков (LSI SAS2X24). Тут возникает свобода подключения: подключить первый бэкплейн к 4-портовому контроллеру и второй бэкплейн каскадом к первому, подключить оба бэкплейна к одному 8-портовому контроллеру или к разным контроллерам.
• Платы многих 2-экспандерных бэкплейнов имеют ошибочную маркировку портов второго экспандера. Например, на 826EL2 порты второго экспандера SEC_J0 и SEC_J1 (вход и выход) промаркированы наоборот. Правильную информацию нужно искать в инструкции.
• На основе корпусов Supermicro можно сделать SAS-JBOD. Для этого вместо системной платы устанавливается небольшая плата управления питанием, а входы и выходы бэкплейна выводятся наружу при помощи кабеля-переходника SFF8087->SFF8088.
Более того, некоторые варианты корпусов существуют исключительно в JBOD-исполнении, системную плату просто некуда установить (417E16-RJBOD1 на 88 дисков SFF).

И еще есть отдельные дисковые корзины на 8 SFF дисков CSE-M28E1 и CSE-M28E2. Занимают 3 отсека 5.25″, имеют съемный вентилятор на задней стенке и 1 или 2 экспандера LSI SASX12. Интересной особенностью является подключение при помощи обычный SATA разъемов (по 4 на экспандера) и использованием нестандартных «перекрестных» кабелей 4xSAS->4 SATA. Сделано это потому, что два из четырех phy можно использовать не только на вход, но и на выход — для каскадирования. В комплекте идут два кабеля: с современными SFF-8087 разъемом и старым широким SFF-8484. Проблема номер один — кабели длиной 50см, такой длины хватает не всегда. Проблема номер два — несовместмость с SAS2 контроллерами, о чем уже упоминалось выше.
Альтернативой является корзина M28SAB с обычным бэкплейном без экспандера.
Вот и все. Задавайте дополнительные вопросы по почте и в комментариях, а за продукцией Supermicro, LSI и Adaptec обращайтесь в компанию True System.

Microsemi Adaptec | 12 Gbps SAS Expander Card

12 Гбит/с SAS Экспандер Adaptec (модель 82885T) обеспечивает широкие возможности для масштабируемости расширения и подключения дополнительных накопителей. Он используется совместно с SAS RAID-контроллером или HBA. SAS Экспандер 82885T имеет 36 портов в низкопрофильном форм-факторе MD2: 28 внутренних портов (Смотри ограничения для прямого подключения дисков и HBA/RAID контроллеров ниже) и 8 внешних портов для возможного соединения с внешними JBOD адаптерами SAS. Гибкость конфигурации Экспандер 82885T устанавливается внутри в любой доступный разъем PCIe, недалеко от бэкплейна. Он оснащен разъемами mini-SAS HD на верхней кромке, что дает дополнительную гибкость при размещении кабелей в серверных средах высокой плотности. Экспандер 82885T в сочетании с RAID-контроллером или HBA — это недорогое решение для подключения дополнительных накопителей. Этот экспандер получает питание от разъема PCIe (x4 или более), но на этот разъем не передаются данные. Либо можно подавать питание на экспандер через стандартный 4-контактный разъем. Поддержка контроля состояния корзин Экспандер 82885T поддерживает контроль состояния корзин SGPIO и SES2, позволяя направлять информацию о корзинах со всех последовательно подключенных экспандеров 82885T на HBA или RAID-контроллер. Вся информация о размещении устройств и отсеков, передаваемая на HBA или RAID-контроллер, поставляется последним экспандером 82885T в цепочке. Полная совместимость с существующей инфраструктурой хранения данных Экспандер 82885T полностью совместим с RAID-контроллерами и HBA Adaptec Series 8, Series 7 и Series 6, что обеспечивает полную интеграцию и возможности управления в рамках решения Adaptec. Экспандер 82885T также совместим с RAID-контроллерами и HBA сторонних разработчиков и протестирован на готовность к совместной работе с широким выбором накопителей HDD и SSD SAS и SATA.

Рекомендуемые документы Спецификация контроллеров Карта экспандера Карта экспандера Технический обзор Листы совместимости             » больше информации Ключевые характеристики продукта 36 портов (28 внутренних/8 внешних) Пропускная способность 12 Гбит/с через каждый порт Низкопрофильный MD2 Обратная совместимость с интерфейсом 6 Гбит/с для поддержки старых устройств 6G SAS или SATA. Полный портфель мини-SAS HD кабелей доступны

Преимущества Недорогое решение, идеально подходящее для серверов с оптимальной плотностью, где требуется прямое подключение 24 дисков HDD или SSD SAS или SATA. Поддержка передачи данных на скорости 12 Гбит/с, обратная совместимость с интерфейсом 6 Гбит/с. Ключевые отличительные черты 36 портов (28 внутренних/8 внешних) Пропускная способность 12 Гбит/с через каждый порт Низкопрофильный MD2 Обратная совместимость с интерфейсом 6 Гбит/с для поддержки старых устройств 6G SAS или SATA. Полный портфель мини-SAS HD кабелей доступны Требования пользователей Высокая скорость операций ввода-вывода и обработка больших полос пропускания; решения, снижающие потребление энергии и расходы на обслуживание; низкопрофильный форм-фактор. Служебные программы Поддержка Adaptec maxView Storage Manager Питание от разъема PCIe Через интерфейс x4 PCIe Вспомогательный разъем питания Да Скорость передачи данных 12 Гб/с на порт  6 Гб/с на порт Форм-фактор Низкий профиль PCIe, MD2 Операционные системы

Комплект поставки Карта экспандера 82885T контроллер Физические размеры 64 мм x 167 мм Температура при эксплуатации От 0 °C до 55 °C* (с вентиляцией 200 LFM) Примечание: данный контроллер Adaptec имеет мощный процессор, который для надёжной функциональности нуждается в адекватной вентиляции. Просим использовать этот адаптер только в серверах или корпусах ПК с рекомедуемым обьёмом вентиляции (200 LFM). * Температура окружающей среды, измеренная на расстоянии 1″ (2.5см) от процессора. Ток при эксплуатации 1,34 А на DC 12 В Сертификация CE, FCC, UL, C-tick, VCCI, KCC, CNS Охрана окружающей среды RoHS Средняя наработка на отказ 1 млн. часов при 40° C Гарантия 3 года

Кабели 12 Гбит/с: ACK-I-HDmSAS-HDmSAS-1M » Номер продукта: 2282100-R ACK-I-HDmSAS-HDmSAS-.5M » Номер продукта: 2282200-R ACK-I-rA-HDmSAS-HDmSAS-1M » Номер продукта: 2282800-R  ACK-I-rA-HDmSAS-HDmSAS-. 5M » Номер продукта: 2282500-R  ACK-E-HDmSAS-HDmSAS-2M » Номер продукта: 2282600-R  Кабели 6 Гбит/с: ACK-I-HDmSAS-mSAS-1M » Номер продукта: 2279700-R ACK-I-HDmSAS-mSAS-.5M » Номер продукта: 2281200-R ACK-I-rA-HDmSAS-mSAS-.8M » Номер продукта: 2280200-R ACK-I-rA-HDmSAS-mSAS-.5M » Номер продукта: 2281300-R ACK-I-HDmSAS-4SATA-SB-. 8M » Номер продукта: 2279800-R ACK-I-rA-HDmSAS-4SATA-SB-.8M » Номер продукта: 2278000-R ACK-I-rA-HDmSAS-4rASATA-SB-.8M » Номер продукта: 2279900-R ACK-I-HDmSAS-4SAS-SB-.8M » Номер продукта: 2280100-R ACK-I-rA-HDmSAS-4SAS-SB-.8M » Номер продукта: 2279600-R ACK-E-HDmSAS-E-m4SAS-SB-2M » Номер продукта: 2280300-R

Спецификация продуктов Карта экспандера 12 Гб/с Спецификация » Карта экспандера 12 Гб/с ЧаВО » Карта экспандера 12 Гб/с Технический обзор » Сопутствующие товары Series 8 Спецификация » Series 7 Спецификация » Series 7H Спецификация » Series 6 Спецификация » Series 6H Спецификация »

Совместимость / интеграция Сводка совместимости » Поддержка Windows™ » Образовательный центр Продуктов Microsemi Adaptec oбзор » 12 Гб/с SAS HD Cables Flyer » Cables Matrix »

SAS Expanders, создайте свой собственный дешевый корпус JBOD DAS/SAS

Установка дисков в Norco RPC-4220 DAS/SAS Expander Enclosure

Часто пользователи используют файловые серверы, такие как Windows 2008 Server R2, Windows Home Server, варианты Linux (включая Openfiler ), OpenSolaris, FreeBSD (включая FreeNAS) и т. д. потребуют больше памяти, чем физически может хранить их сервер. Один из вариантов — добавить больше серверов в SAN. Другой вариант — добавить больше памяти к существующему серверу. Добавление второго (или третьего) корпуса для дополнительных дисков — отличный вариант. Это позволяет администратору сервера очень недорого построить массивную систему хранения DAS для таких приложений, как iSCSI, хранилище резервных копий, хранилище мультимедиа, хранилище виртуальных машин и т. д. Часто последующее исследование приводит ИТ-специалистов к корпусам JBOD DAS со встроенными расширителями SAS.

Несмотря на распространенное решение, большие корпуса JBOD со встроенными расширителями SAS часто могут быть довольно дорогими. Для тех, кто не знаком с тем, что это такое, это корпуса для хранения данных с прямым подключением (DAS), которые подключаются напрямую к серверу или системе через один или несколько кабелей и содержат множество оперативно заменяемых дисков. Входящие в комплект расширители SAS не предназначены для изначального запуска RAID, а скорее позволяют многочисленным дискам напрямую подключаться к серверу с использованием меньшего количества кабелей. По сути, для этого корпуса с 20 дисками будет один кабель SFF-8088, соединяющий корпус расширителя DAS SAS с основным сервером для двадцати дисков JBOD.

Это не означает, что диски в расширителе SAS нельзя использовать в Raid. Наоборот, как часто у экспандеров SAS их диски контролируются хост-рейд-контроллером. Экономия затрат при такой настройке достигается за счет того, что дешевле использовать расширители SAS, когда требуется большое количество портов.

Многие заметят, что корпус SAS Expander можно легко приобрести из различных источников. Эти решения часто стоят от 2000 до более 3000 долларов за корпус высотой 3U или 4U. Моя цель — показать вам, как сделать корпус JBOD DAS своими руками с расширителем SAS вдвое дешевле (возможно, дешевле). Сегодня устройство сможет поддерживать более 40 ТБ данных, а к концу 2010 г., когда будут выпущены диски емкостью 3 ТБ и 4 ТБ, емкость одного корпуса высотой 4U увеличится до 60–80 ТБ.

В ближайшем будущем у меня будет несколько обновлений этой статьи, показывающих некоторые улучшения, которые я сделал. Так что следите за обновлениями!

В этом руководстве я буду использовать:

1. Norco RPC-4220, корпус высотой 4U
2. Расширитель HP SAS
3. Блок питания 550 Вт (некоторые предлагают блок питания с более высокой номинальной мощностью, но без процессора энергопотребление очень низкое.)
4. Дешевая материнская плата за 35 долларов
5. Прочие кабели SFF-8087 и SFF-8088

Общая стоимость составила менее 800 долларов США. Отличное место, где можно потратить немного больше денег (и они потребуются многим), — это резервный источник питания. Следует отметить, что я пробовал это с несколькими различными недорогими материнскими платами mATX, и у меня была проблема с платой MSI socket AM2, которую я использовал в Sempron 140 в обзоре коробки. Это также тот, который я изобразил, так как я использовал его в целях макета.

Шаг 1: Подготовьте корпус к установке. Первый шаг — открыть Norco RPC-4220 и подготовить его к установке. Большинство пользователей захотят снять кронштейн вентилятора, поскольку это значительно упрощает установку кабелей питания и данных.

Norco RPC-4220 готовится стать корпусом DAS

Шаг 2: Установите блок питания. Для этого руководства я использовал недорогой блок питания мощностью 550 Вт. Поскольку процессор и материнская плата не потребляют энергию при запуске, этот блок питания действительно работал нормально. Конечно, делая это снова, я бы, скорее всего, выбрал блок питания с большей выходной мощностью и встроенным резервированием.

Блок питания 550 Вт, установленный в блоке расширения DAS/SAS

Шаг 3: Установите внутренние кабели питания и установите внутренние кабели SFF-8087. Это действительно простой шаг. Опять же, вы, вероятно, захотите удалить кронштейн вентилятора, так как это значительно упрощает установку кабеля в Norco RPC-4220.

Установка кабелей питания и кабелей SFF-8087 в расширительный корпус Norco RPC-4220 DAS/SAS

Шаг 4. Установите материнскую плату. Следует отметить, что на материнской плате MSI, изображенной ниже, была проблема с шиной SM, из-за которой экспандер HP SAS не работал должным образом, когда ЦП не был установлен. В итоге я заменил ее на плату Intel mATX H55, и она отлично работала, как и старые материнские платы EVGA и ASUS Socket 775. Все эти платы работали безупречно без установленного процессора и памяти.

Я решил не использовать ЦП и память в корпусе DAS, поскольку он обеспечивает менее ограниченный поток воздуха без дополнительных компонентов. Кроме того, меньше деталей, которые могут выйти из строя, и меньше деталей, потребляющих энергию, что хорошо для этого корпуса.

Установите материнскую плату в корпус расширителя DAS/SAS Norco RPC-4220

Шаг 5. Установите расширитель HP SAS, просто вставив его в открытый слот PCIe. Расширитель HP SAS не использует шину PCIe для передачи данных.

Расширитель HP SAS с более чем 24 внутренними портамиУстановите расширитель HP SAS в корпус расширителя DAS/SAS Norco RPC-4220

Шаг 6. Подключите внутренние кабели SFF-8087 и кабели питания к расширителю HP SAS и материнской плате (соответственно)

Установка кабелей к расширителю HP SAS и материнской плате в корпусе Norco RPC-4220 DAS/SAS Expander Enclosure

. Шаг 7. Установите диски, такие как диски Hitachi Deskstar емкостью 1 ТБ и 2 ТБ (они отлично работают в рейде и стоят ДЕШЕВО!) Лично я хотел бы иметь только один диск изначально полностью установлен. Вы хотите проверить, все ли работает, прежде чем подключать диски стоимостью 2500 долларов.

Установите диски в Norco RPC-4220 DAS/SAS Expander Enclosure

Шаг 8. Подключите блок DAS к серверу с помощью кабеля SFF-8088 между портом внешней объединительной платы HP SAS Expander и портом SFF-8088 основного сервера/рабочей станции (обычно можно найти на RAID-контроллере серверов.) Одним из огромных преимуществ использования HP SAS Expander является то, что он имеет этот внешний порт, упрощающий использование внешних кабелей. Преобразование SFF 8087 в SFF-8088 через объединительную плату печатных плат, установленную в слоте расширения, будет стоить 40 долларов или больше после сложения всех затрат. Использование HP SAS Expander с поддерживаемой картой RAID, которая включает внешние порты, позволяет сэкономить ненужные расходы и пространство.

Установите кабель SFF-8088 между расширителем Norco RPC-4220 DAS/SAS и главным сервером.

Шаг 9. Включите блок питания с одним недорогим диском и убедитесь, что все работает правильно, включая вентиляторы, расширитель HP SAS, диск, питание

Шаг 10. Добавьте дополнительные диски и начните тестирование/настройку

дисков Seagate, Western Digital и Hitachi, подключенных к блоку DAS через расширитель HP SAS Expander

Я даже протестировал эту конфигурацию с твердотельными накопителями:

Intel X25 -V 40 ГБ, подключенный к коробке DAS через HP SAS Expander

Я бы не советовал подключать слишком много твердотельных накопителей к блоку DAS, потому что расширитель HP SAS использует только общий восходящий канал 12,0 Гбит/с для Areca 1680LP. Для небольших операций чтения/записи это может иметь смысл, но добавление 22 твердотельных накопителей к Norco RPC-4220, очевидно, будет узким местом вокруг расширителя HP SAS.

Вот оно! Выполняя описанное выше, думайте, что каждый из 10 шагов экономит вам от 100 до 200 долларов за шаг по сравнению с готовыми решениями. Существует очень мало самодельных аппаратных проектов, которые могут так легко сэкономить столько денег.

Важным примечанием является то, что используемые расширители HP SAS поддерживают SAS 6,0 Гбит/с (для этого вам нужна новейшая прошивка версии 2.02, хотя она была представлена ​​в прошивке версии 1.5x), но только SATA II 3,0 Гбит/с. Кроме того, расширители HP SAS НЕ работают со всеми RAID-контроллерами. Для получения краткой информации см. этот пост. Вы также хотите рассмотреть карту с возможностью поэтапного запуска диска. Вращение более 20 жестких дисков может быть тяжелым для источника питания, если они все вместе подключаются к сети. После вращения количество требуемой мощности намного ниже.

Следующие шаги для этой серии: лучшее решение по питанию (у меня это работает в текущем блоке DAS, подключенном к Big WHS), более эффективное использование пространства 4U, конфигурация, другие параметры. Вскоре я опубликую итерацию 2 этого руководства с этими изменениями.

Часто задаваемые вопросы о расширителях SAS

Расширитель SAS — это технология хранения данных, позволяющая максимально увеличить емкость карты контроллера SAS. Большинство контроллеров SAS могут поддерживать только ограниченное количество жестких дисков, но, как следует из названия, расширитель SAS может помочь увеличить этот предел.

Общие сведения о расширителях SAS

Контроллеры SAS имеют ограниченное количество разъемов SAS на карте, что означает, что они могут использовать только определенное количество дисков SAS или SATA. Расширитель SAS позволяет контроллеру SAS вмещать больше дисков SAS или SATA, чем он мог бы вместить сам по себе.

Например, типичная плата контроллера SAS имеет только один или два разъема, которые могут поддерживать от четырех до восьми дисков.

Использование модулей расширения SAS в сети позволит контроллеру использовать до 128 или 256 устройств в зависимости от карты.

Корпус расширителя SAS может быть размером от 8 до 24 отсеков в зависимости от потребностей вашей сети. Расширитель SAS предлагает лучшую масштабируемость, поскольку он позволяет вам иметь место для будущего расширения.

Преимущества расширителей SAS

Вот некоторые преимущества инвестиций в корпуса расширителей SAS:

• Корпуса расширителей SAS делают вашу сеть более гибкой.
• Вы можете иметь один внешний многожильный кабель на корпус.
• Вам не нужны адаптеры для преобразования внутренних портов во внешние.
• Вы можете подключать и использовать самые последние или самые обновленные контроллеры и приводы.
• С расширителями SAS можно использовать более доступные диски SATA, диски SAS и твердотельные накопители.
• Если ваша карта контроллера поддерживает их, вы можете использовать RAID или JBOD.

Часто задаваемые вопросы о расширителях SAS

Вот некоторые распространенные вопросы о расширителях SAS и сетях:

Что означают 12G, 6G и 3G?

G или Gb/s означает гигабиты. 12G, 6G и 3G — это пропускная способность, предлагаемая спецификациями SAS 3.0, 2.0 и 1.0.

• 12G = 4800 МБ/с
• 6G = 2400 МБ/с
• 3G = 1200 МБ/с

Конечно, эта пропускная способность зависит от различных факторов, таких как тип карты контроллера, расширитель SAS, диски и RAID уровень.

Расширители SAS 12G и платы контроллеров являются относительно новыми и обеспечивают улучшенную производительность по сравнению с продуктами 6G.

Будет ли использование всего одного кабеля MiniSAS ограничивать пропускную способность сети?

MiniSAS являются многоканальными, поэтому в большинстве случаев использование только одного MiniSAS не должно ограничивать пропускную способность. В зависимости от кабеля, контроллера и расширителя каждый кабель может поддерживать четыре линии 12G, 6G или 3G.

Стандартная максимальная скорость передачи для жестких дисков составляет около 135 МБ/с, и потребуется много жестких дисков, чтобы заполнить полосу пропускания одного кабеля.

SSD — это отдельная история. SSD намного быстрее, чем жесткие диски. Для насыщения пропускной способности одного кабеля потребуется меньше твердотельных накопителей.

Поддерживают ли расширители SAS RAID?

Расширители SAS могут поддерживать RAID, если его поддерживает карта контроллера. Расширители SAS могут поддерживать то, что поддерживает плата контроллера. Проще говоря, все зависит от карты контроллера.

Если вы используете RAID с картой контроллера, вы можете подключить все диски в корпусе расширителя SAS в конфигурации RAID. Если у вас есть карта без RAID или HBA, вы можете использовать диски по отдельности, также известные как JBOD или Just a Bunch of Disks.

Какую максимальную длину кабеля можно использовать с расширителем SAS?

С расширителем SAS можно безопасно использовать кабели длиной до 8 м.

Работают ли расширители SAS с картами контроллера SATA?

Нет, вам нужна плата контроллера SAS, поддерживающая расширители.

Совместимы ли расширители SAS со всеми типами контроллеров SAS?

К сожалению, нет. Не все контроллеры SAS поддерживают расширители. Вам необходимо проверить характеристики карты контроллера, прежде чем приобретать ее для своей сети.

Обычно есть индикатор, поддерживает ли карта контроллера расширители. Если в спецификациях указано, что карта контроллера может поддерживать 128 или 256 устройств или несколько устройств, то карта контроллера не может поддерживать без помощи расширителя.

Будет ли установка расширителя SAS работать на любой платформе или ОС?

Да, если ваша плата контроллера поддерживает расширители и имеет драйверы для используемой вами платформы или ОС, установка расширителя SAS будет работать.

Расширителям SAS не нужны драйверы, и они могут работать с операционными системами, совместимыми с вашей картой контроллера.

Можно ли использовать диски SATA или твердотельные накопители с расширителями SAS?

Да, вы можете использовать диски SAS или SATA или твердотельные накопители. Многие предприятия малого и среднего бизнеса используют расширители для емкости SATA.

Заключение

Управление вашей бизнес-сетью включает в себя множество решений, включая использование расширителей SAS для настройки вашей сети.