Интерфейс SAS-2 и контроллер LSI SAS 9211-8i
Знакомство с интерфейсом Serial Attached SCSI на 6 Гбит/с
В начале 2010 года в продаже появились первые жесткие диски и контроллеры с поддержкой интерфейса Serial ATA Rev. 3.0 со скоростью передачи данных 6 Гбит/с. Несмотря на вдвое возросшую скорость интерфейса и некоторые улучшения в обработке очереди команд (NCQ), новинка пока что особых дивидендов в плане производительности не принесла: будучи примененным в традиционных жестких магнитных дисках, даже имеющих огромный буфер 64 МБ (например, Seagate Barracuda XT), интерфейс SATA 6 Гбит/с явно стреноживался во много раз меньшей скоростью линейного доступа к полезной для пользователя информации на магнитных пластинах (150—160 МБ/с против 400—500 МБ/с у интерфейса SATA Rev. 3.0). Между тем, практическая «обкатка» SATA Rev. 3.0 позволила индустрии достаточно оперативно вслед за ним выпустить его «старшего братца» — интерфейс Serial Attached SCSI 2. 0 со скоростью передачи данных 6 Гбит/с. Ведь сигнальный (физический) уровень интерфейсов у них очень похож (у SAS лишь примерно вдвое выше напряжение сигналов, чем у SATA).
В этой статье мы кинем первый взгляд на интерфейс SAS-2 на примере одного контроллера и одного диска, а более детальным исследованиям его возможностей посвятим будущие статьи.
Serial attached SCSI 2.1: что новенького?
Будучи наследником старого доброго параллельного интерфейса SCSI, интерфейс Serial attached SCSI (SAS) изначально задумывался с прицелом на поэтапное удвоение пропускной способности. Первое поколение SAS со скоростью передачи данных 3 Гбит/с появилось в лабораториях еще в 2004 году и широко вышло на рынок в 2005—2006 годах. Спустя «пятилетку», то есть в 2009 году, на-гора был выдан SAS-2 (6 Гбит/с) — устройства с его поддержкой поступили в продажу уже в 2010 году. Наконец, в конце 2012 года индустрия ожидает первых инженерных воплощений SAS-3 со скоростью передачи уже 12 Гбит/с. На рынке устройства с поддержкой третьего поколения SAS следует ждать не ранее 2014 года (см. рис.). Таким образом, у новенького SAS-2 есть как минимум года четыре на окупаемость и «снятие сливок».
План эволюции интерфейса SAS (рисунок с сайта www.scsita.org)
Разрабатывает спецификации интерфейса SAS технический комитет T10 Международного комитета по ИТ-стандартам, или INCITS (International Committee for Information Technology Standards, см. www.incits.org). Практическая разработка и поддержка протокола SAS лежит на SCSI Trade Association (SCSITA или STA, см. www.scsita.org). Разумеется, поколения SAS обратно совместимы, то есть SAS 2.0 поддерживает все функции первого поколения SAS-1.1 со скоростью 3 Гбит/с (полный дуплекс, 10-метровый внешний кабель, расширитель портов до 255 устройств (всего до 65535), поддержку TCQ, совместимость с дисками SATA с NCQ, двухпортовые диски SAS, агрегацию четырех портов с соответствующим увеличением пропускной способности до 24 Гбит/с и мн. др.).
Второе поколение стандарта SAS — это эволюционное развитие предшественника. Стандарт SAS-2.0 вскоре после выхода был усовершенствован до версии 2.1 и нынешние рыночные устройства для SAS 6 Гбит/с поддерживают именно SAS-2.1. Основные нововведения можно свести к следующему:
- Удвоение пропускной способности шины с 3 до 6 Гбит/с (кабель до 10 м).
- Стандартизованное (по SAS-2) зонирование и зонирующий экспандер (см. рисунки ниже) для улучшенной поддержки мультихостинга и функций безопасности.
- Размывание спектра частот (spread spectrum) для уменьшения электромагнитной интерференции (не требуется для соединений на скорости 3 Гбит/с и менее).
- Мультиплексирование соединений (опционально) для увеличения степени использования интерфейса при подключении устройств с SAS-1 и др.
- Разъемы Mini-SAS (SFF-8088 и SFF-8087, см. рис.) для улучшения внешних соединений.
Стандартизованное зонирование по SAS-2
Самоконфигурирующийся зонирующий экспандер SAS-2
Разъем Mini-SAS 4X
Грубо говоря, наиболее важных нововведения в SAS-2, собственно, два — это удвоение скорости передачи и новые зонирующие функции. Именно последние дают возможность создавать такие новые и уникальные пока на рынке модели как, например, первый в индустрии 16-портовый SAS-коммутатор LSI SAS6160 (см. рис.), поступивший в продажу этой осенью по весьма привлекательной для его функциональности цене.
16-портовый SAS-2 коммутатор LSI SAS6160
С его помощью многочисленные серверы можно подключить к одной или нескольким независимым внешним системам хранения данных, используя при этом высочайшую пропускную способность «счетверенного» интерфейса SAS-2. Суммарная же пропускная способность такого коммутатора достигает фантастических 384 Гбит/с. Коммутатор LSI SAS6160 поддерживает до 1000 адресов устройств SAS и SATA в SAS-сетях с зонированием, позволяя пользователям иметь больше соединений и сократить время задержки при обращении к СХД различных классов. Кроме того, поддержка специальных активных кабелей позволяет коммутаторам LSI SAS быть расположенными на расстоянии до 25 м друг от друга, что в четыре раза больше по сравнению с использованием традиционных пассивных медных SAS-кабелей. Впрочем, подробное рассмотрение данного продукта выходит за рамки этой статьи, поэтому вернемся к ее основной теме.
За счет нововведений второе поколение SAS может еще больше потеснить решения на базе Fibre Channel в высокопроизводительных системах хранения данных и шину Infiniband при внешних соединениях модулей СХД. В частности, благодаря более низкой стоимости на один порт и в несколько раз меньшему энергопотреблению на порт (см. слайд).
Преимущества SAS-решений по сравнению с 10 GbE и Fibre Channel
С другой стороны, у SAS-2 улучшена поддержка SATA-накопителей высшей емкости в системах хранения данных (при помощи SATA Tunneling Protocol (STP)/SATA Bridging и Serial SCSI Protocol (SSP)/SATA Bridging, см. www.serialstoragewire.net/Articles/2008_03/opinion28.html), что усиливает универсальность нового интерфейса.
С точки зрения «неискушенного ИТ-потребителя» (которому, впрочем, необязательно связываться с SAS :)) польза от SAS-2, на первый взгляд, не так уж очевидна. Действительно, для обслуживания одиночных накопителей удвоение скорости интерфейса с 280 до 500 с лишним МБ/с по пользовательским данным пока что практически бесполезно — нынешние «магнитные» винчестеры (даже дорогие SAS-диски) едва дотягивают до 200 МБ/с в скорости линейного чтения/записи и им еще как минимум 2—3 года вполне будет хватать скоростей SAS 1.1, особенно если учесть наметившееся в последнее время замедление эволюции (роста плотности) перпендикулярной магнитной записи. Исключение — применение новейших профессиональных SSD со скоростью выше 300 МБ/с (хост SAS-2 поддерживает накопители с SATA 6 Гбит/с), а также активная работа дисков в крупных RAID-массивах, где большая емкость встроенных в диски кэшей вкупе с возросшей скоростью интерфейса способна немного поднять общую производительность. И тут полезно помнить, что узким местом может уже стать шина PCI Express, на которой «сидит» используемый контроллер RAID, — ведь даже PCIe x4 первого поколения в каждом направлении пропустит не более 1 ГБ в секунду (см.
, например, http://en.wikipedia.org/wiki/List_of_device_bandwidths#Computer_buses), что равно одновременной полной загрузке всего лишь двух линий SAS-2. Таким образом, шина PCI Express x8 фактически является минимально разумным требованием для 4-дисковых хост-контроллеров SAS-2. А для 8-дисковых RAID-хостов использование PCIe x8 поколения 2.0 является просто непременным.
Ну а больше пользы от применения SAS-2 можно получить, если активно использовать другие возможности SAS — в частности, расширители и агрегаторы портов. В этом случае, «посадив», скажем, на один порт SAS-2 пару быстрых SAS-винчестеров, мы можем практически не увидеть падения производительности. Аналогично — для внешних СХД при соединении с хостом по SAS-2 (кабелем длиной до 10 м)…
Контроллер LSI SAS 9211-8i
Первое знакомство с SAS-2 имеет смысл начать с недорогого (около 300 долл.) и достаточно простого, то есть HBA (Host Bus Adapter) 8-портового контроллера компании LSI Corporation (www.lsi.com).
8-портовый HBA-контроллер LSI SAS 9211-8i с интерфейсом SAS 6 Гбит/с
LSI SAS 9211-8i не имеет собственной кэш-памяти (если не принимать во внимание не больно-то емкие регистры HBA-чипа) и основан на чипе LSI SAS2008 (ядро PowerPC 440 с частотой 533 МГц; производительность до 290 тыс. операций ввода/вывода в секунду).
Процессор 8-портового HBA-контроллера LSI SAS 9211-8i
Плата LSI SAS 9211-8i имеет низкий профиль (форм-фактор MD2), оснащена двумя внутренними разъемами Mini-SAS 4X (каждый из них позволяет подключать до четырех SAS-дисков), рассчитана на шину PCI Express x8 2.0 и поддерживает простейшие RAID-массивы уровней 0, 1, 1Е и 10, а также динамическую функциональность SAS, включая dual-port drive redundancy, может работать в общей сложности с 256 физическими дисками SAS и SATA (свыше восьми — через порт-мультипликаторы) и мн. др.
8-портовый HBA-контроллер LSI SAS 9211-8i с интерфейсом SAS 6 Гбит/с
Контроллер LSI SAS 9211-8i можно устанавливать как в корпуса ATX и Slim-ATX (для рабочих станций), так и в рэковые серверы формата 1U и 2U (серверы классов Mid- и High-End). Поддержка RAID производится аппаратно — встроенным процессором LSI SAS2008, что снижает общую нагрузку на ЦП рабочей станции или сервера.
Контроллер LSI SAS 9211-8i: основные технические характеристики
Параметр | Значение |
---|---|
Системный интерфейс | PCI Express x8 2.0 (5 Гбит/с), Bus Master DMA |
Дисковый интерфейс | SAS-2 6 Гбит/с (поддержка протоколов SSP, SMP, STP и SATA) |
Число портов SAS | 8 (2 разъема x4 Mini-SAS SFF8087) |
Поддержка RAID | уровни 0, 1, 1E и 10 |
Процессор | LSI SAS2008 (PowerPC 440@533 МГц), до 290 тыс. IOps |
Встроенная кэш-память | отсутствует |
Энергопотребление, не более | 13,5 Вт (питание от +12 В шины PCIe) |
Диапазон температур работы/хранения | 0…+70 °С / −45…+105 °С |
Форм-фактор, габариты | MD2 low-profile, 168×64,4 мм |
Значение MTBF | >2 млн.![]() |
Гарантия производителя | 3 года |
В комплекте поставки в красочной коробке содержатся: плата контроллера, брекеты для ее установки в корпуса ATX, Slim-ATX и пр., два 4-дисковых кабеля с разъемами Mini-SAS на одном конце и обычным SAS (с питанием от Molex) — на другом (для подключения до восьми дисков к контроллеру), а также CD с PDF-документацией и драйверами для Windows, Linux (SuSE и RedHat), Solaris и VMware.
Тестирование
Для первого знакомства с HBA-контроллером нового интерфейса мы решили воспользоваться одиночными дисками SAS-2 и SATA Rev. 3, поддерживающими скорость передачи данных до 6 Гбит/с. Это позволит нам сосредоточиться на анализе интерфейса в чистом виде, оставив «заморочки» с RAID различных уровней на будущее. Первым диском с поддержкой SAS-2 в нашей лаборатории оказался накопитель Toshiba MBF2600RC компактного форм-фактора 2,5 дюйма, но при этом отнюдь не маленькой емкости — 600 ГБ.
Жесткий диск Toshiba MBF2600RC емкостью 600 ГБ с интерфейсом SAS-2
При скорости вращения пластин около 10000 об/мин и восьми головках (в тонком корпусе диска размещается аж четыре магнитных пластины) данный накопитель имеет весьма малое время случайного доступа (около 7 мс, что вдвое лучше, чем у типичных десктопных SATA-накопителей) и предназначен для малогабаритных высокопроизводительных хранилищ данных (в линейке Toshiba MBF2-RC присутствуют также модели на 450 и 300 ГБ). По сравнению с непосредственными предшественниками новинки отличаются не только вдвое большей вместимостью и скоростью интерфейса — в них также заметно улучшена экономичность благодаря применению специальной технологии. В частности, в моменты бездействия вращение пластин диска замедляется и энергопотребление падает на 28%. Заявленные 4,5 Вт в режиме ожидания сравнимы с энергопотреблением экономичных 3,5-дюймовых SATA-накопителей емкостью 1—2 ТБ со скоростью вращения пластин 5-6 тыс. об/мин. Хотя по нынешним временам кэш-память этого диска не очень велика — 16 МБ, — это не является недостатком, поскольку накопители данного класса предназначены преимущественно для задач последовательного чтения и записи информации, например, в системах хранения мультимедийного контента.
Жесткий диск Toshiba MBF2600RC: основные технические характеристики
Параметр | Значение |
---|---|
Форматированная емкость | 600 млрд. байт |
Число пластин/головок | 4/8 |
Скорость вращения пластин | 10 025 об/мин |
Среднее время поиска, чтение/запись | 4 мс / 4,4 мс |
Латентность вращения | 2,99 мс |
Интерфейс | SAS 2.![]() |
Стартовый ток, не более | 1,5 А для +12 В и 1,0 А для +5 В |
Потребление в бездействии, не более | 4,5 Вт |
Диапазон температур работы/хранения | +5… +55 °С / -40… +70 °С |
Емкость кэш-памяти | 16 МБ |
Акустический шум вращения | 29 дБА |
Ударостойкость, работа/хранение | 100 g (1 мс) / 400 g (1 мс) |
Габариты, масса | 100×70×15 мм, 220 г |
Максимальная скорость последовательного чтения/записи полезных данных для Toshiba MBF2600RC составляет около 150 МБ/с (см. график).
График скорости последовательного чтения диска Toshiba MBF2600RC
Безусловно, это гораздо меньше предельных возможностей интерфейса SAS даже первого поколений (3 Гбит/с; около 270 МБ/с по полезным данным), уже не говоря о SAS-2. Тем не менее, благодаря более быстрому случайному доступу и профессиональным алгоритмам кэширования в буфере SAS-диска мы можем надеяться на то, что выгода от подключения этого диска к более скоростному интерфейсу будет более заметна, чем в случае с ранее исследованной нами Seagate Barracuda XT ST32000641AS — первым диском для интерфейса SATA 6 Гбит/с. Впрочем, поскольку последний также поддерживается контроллерами SAS-2 (и LSI SAS 9211-8i в частности), его мы также включили в наше тестирование.
Диск Toshiba MBF2600RC мы испытывали при подключении к двум контроллерам: к LSI SAS 9211-8i по интерфейсу SAS-2 (6 Гбит/с) и к HighPoint RocketRAID 2642 по SAS 1.0 (3 Гбит/с). Дело в том, что в настройках BIOS Setup контроллера LSI SAS 9211-8i не предусмотрено пункта принудительного перевода портов SAS на скорость первого поколения интерфейса — 3 Гбит/с. Поэтому для сравнения двух скоростей SAS нам и пришлось привлечь другой HBA SAS-контроллер примерно той же ценовой категории (вышеназванный HPT RR2642 на популярном чипе Marvell 88SE6445 для шины PCI Express x4). Безусловно, это не является сравнением двух скоростей SAS в чистом виде (на одном и том же контроллере), что было бы полезно с чисто теоретической точки зрения, однако практический смысл имеет немалый, поскольку сопоставляет производительность диска SAS, подключенного к HBA-контроллерам сходного класса производительности старого и нового интерфейсов.
Кроме того, поскольку с HBA-контроллером LSI SAS 9211-8i на практике могут использоваться и SATA-накопители (как одно из целевых применений), мы протестировали его с «семитысячником» Seagate Barracuda XT ST32000641AS, также поддерживающим скорость интерфейса 6 Гбит/с. Для сопоставления Barracuda XT была также протестирована на скорости интерфейса 3 Гбит/с с двумя простыми RAID-контроллерами — вышеупомянутым 4-портовым SAS HighPoint RocketRAID 2642 и 6-портовым SATA, интегрированным в южный мост Intel ICh20R. Это также позволит нам сравнить производительность одного из самых быстрых нынче «семитысячников» на разных популярных контроллерах и скоростях интерфейса.
Тестовая система была основана на процессоре Intel Xeon 3110, материнской плате с чипсетом Intel P45 и 1 ГБ памяти DDR2-800. SAS-контроллеры устанавливались в слот PCI Express x16. Испытания проводились под управлением операционных систем Windows 7 x64 Ultimate и Windows XP SP3 Professional. В качестве тестов использовались программы AIDA64, ATTO Disk Benchmark 2. 41, C’T h3BenchW 4.13, Futuremark PCMark05, Futuremark PCMark Vantage x64, Intel IOmeter 2006, Intel NAS Performance Toolkit 1.7 и др. Все тесты проводились пятикратно и результаты усреднялись. По сравнению с текущей методикой нашего сайта, предназначенной для тестирования десктопных SATA-накопителей, мы здесь добавили определенный круг задач, чтобы лучше выявить разницу между контроллерами и интерфейсами и более разносторонне представить производительность накопителей и контроллеров в приложениях — как профессиональных, так и пользовательских.
Результаты тестирования
Сперва взглянем на «физику» дисков. Оба имеют максимальную скорость чтения/записи полезных данных на пластины около 150 МБ/с, о чем наглядно говорят результаты теста ATTO Disk Benchmark на предельную скорость чтения и записи крупных (256 МБ) файлов большими блоками.
Немного разные результаты этого теста для разных контроллеров объясняются различиями в обработке и кэшировании потоковых данных. Отметим слабость SAS-контроллера HPT RR2642 при работе с SATA-диском (ниже мы убедимся в этом еще неоднократно), хотя с SAS-диском претензий к нему практически нет. Контроллер LSI SAS 9211-8i демонстрирует здесь почти эталонную работу (несколько уступив лишь интеловскому «южнику» с SATA-диском) — возможно, дело как раз в более высокой скорости интерфейса 6 Гбит/с. График скорости последовательного чтения для Toshiba MBF2600RC мы приводили чуть выше, а результаты для Seagate ST32000641AS можно найти здесь.
По среднему времени случайного доступа к информации на дисках закономерно более чем вдвое выигрывает SAS-десятитысячник Toshiba. Причем здесь на контроллере LSI результаты оказываются несколько хуже, чем на хосте HighPoint — возможно, «набегает» латентность от более активного кэширования данных, которое положительно сказалось на результатах потокового чтения/записи (см. выше).
Интересно, что несмотря на вчетверо меньший объем дисковой кэш-памяти у Toshiba MBF2600RC (16 против 64 МБ у Seagate ST32000641AS), эффективность работы алгоритмов отложенной записи при случайных обращениях (определяемое нами по отношению результатов этого теста при чтении и записи) у профессионального SAS-диска существенно выше, чем у десктопного SATA-накопителя — сказывается специфика оптимизации его firmware. Аналогичные результаты получены нами в программах IOmeter и AIDA64.
Теперь о «вкусном» — о скорости самого интерфейса, коль уж мы сравниваем диски и контроллеры при работе по SAS/SATA 3 и 6 Гбит/с. Этот параметр мы измеряли в нескольких программах и здесь демонстрируем результаты для трех из них — AIDA64, HD Tach 3 RW и h3BenchW 4.13.
Как видим, разные утилиты дают порой существенно различающиеся предельные значения скорости интерфейса при чтении. Тем не менее, с уверенностью можно сказать, что 6 Гбит/с работают — и работают при этом не так уж плохо, хотя наблюдаемых в некоторых лабораториях значений в 500 и выше МБ/с мы пока и не получили. Впрочем, и текущих 340-480 МБ/с более чем достаточно для нужд одиночных дисков (как, впрочем, и 250 МБ/с у интерфейсов с 3 Гбит/с). Снова отметим некоторую «заторможенность» HPT RR2642 при работе с SATA-диском, хотя по SAS к нему претензий нет.
Теперь перейдем к тестам производительности дисков в различных пользовательских задачах, которые эмулируются при помощи бенчмарков Intel NASPT, PCMark Vantage и PCMark05, а также тестом приложений из пакета C’T h3BenchW 4. 13. Чтобы не перегружать верстку статьи многочисленными диаграммами, мы здесь приведем лишь усредненные показатели для этих четырех комплексных бенчмарков, а результаты по отдельным паттернам каждого из бенчмарков, также представляющие определенный интерес для анализа, сведем в таблицу.
В популярном PCMark Vantage, ориентированном на типичные применения персонального компьютера, несколько выгоднее смотрится SATA-диск Seagate (у него более эффективна работа с данными, распложенными на пластинах близко друг от друга). Выгоды от использования интерфейсов на скорости 6 Гбит/с здесь практически нет — скорее даже небольшой проигрыш, который, впрочем, легко объяснить более прозаическими причинами: особенностями работы того или иного контроллера (в данном случае HighPoint RR2642 всем дает фору). Если взглянуть на таблицу по паттернам, то видно, что с SAS-диском оба контроллера идут ноздря в ноздрю, а с SATA-винчестером контроллер LSI вырывается вперед в задаче Media Center, но немного отстает в Photo Gallery, Vista Startup, Movie Maker и Media Player.
Чуть иная картинка в стареньком PCMark05: тут LSI на диске SAS вырывается вперед, хотя на поверку «виноват» в этом лишь один паттерн (Virus Scan, который активно использует кэширование, что отлично видно из результата, явно превышающего скорость физического доступа к пластинам как для SAS, так и для SATA-дисков). То есть мы находим подтверждение более активного использования кэширования контроллером LSI SAS 9211-8i. С другой стороны, это несколько снижает его показатели в других тестовых паттернах PCMark05 по сравнению с контроллерами HPT RR2642 и Intel ICh20R.
Особо отметим высокий показатель «южника» Intel в этом тесте (хотя шина DMI, по которой он общается с системой, и не превосходит по скорости PCI Express x4/x8 у обоих SAS-контроллеров) — для персональных применений дисков «южник», видимо, оптимален.
Еще один «трековый» тест дисков — C’T h3BenchW 4.13 — использует достаточно старенькую базу приложений, хотя и оригинальных (см. табл.). Здесь на удивление SAS-диск оказался ниже всякой критики — спишем это на особенности бенчмарка, который, по-видимому, очень критичен к разнице в объеме буфера диска 16 и 64 МБ. Нас в данном случает интересует лишь то, что интерфейсы со скоростью 6 Гбит/с снова не дают дискам никакого заметного выигрыша в производительности, а разница показателей объясняется различиями алгоритмов работы самих контроллеров (снова отметим прыть ICh20R и отставание LSI при работе с SATA).
В более свежем тесте Intel NAS Performance Toolkit, который использует несколько иную, более реалистичную, философию бенчмаркинга, нежели «трековые» PCMark и h3BenchW, а именно: непосредственную работу с файловой системой тестируемого диска, а не воспроизведение заранее записанных (в другой системе) команд обращения к диску внутри предварительно созданного временного файла, — ситуация еще более любопытная.
Здесь контроллер LSI (и его 6-гигабитный интерфейс) явно не в фаворитах. И если с SAS отставание в среднем в 5—6% еще не фатально (особенно страдают паттерны с записью на диск — HD Video Record, Content Creation и File/Dir Copy to NAS), то для SATA проигрыш просто фатальный, что можно списать только на недоработки firmware этого контроллера. Зато радуют показатели HPT RR2642, причем не только для SAS, но и для SATA-диска.
Напоследок для особо пытливых в качестве бонуса (и вне общего зачета) приведем результаты старенького теста приложений WinBench 99 Disk WinMark. Интересен он прежде всего тем, что многие его паттерны в большой степени зависят от кэширования буфером самого диска.
И здесь SATA-накопитель с буфером 64 МБ демонстрирует заметное преимущество, а контроллер LSI, невзирая на вдвое более высокую скорость работы интерфейса, смотрится явным аутсайдером. В лидеры же выходит HPT RR2642 с его «более прозрачными» по отношению к диску алгоритмами работы.
Чтобы подытожить эту часть обзора, приведем усредненный показатель производительности дисков/контроллеров в приложениях (среднее геометрическое по тестам h3BenchW, PCMark05, PCMark Vantage x64 и NAS Performance Toolkit).
Как видим, непосредственной (потребительской) выгоды от применения более скоростного интерфейса 6 Гбит/с с современными одиночными магнитными винчестерами SAS и SATA нет, а разница между контроллерами объясняется скорее алгоритмами их функционирования (архитектурой, прошивкой и драйверами).
Тесты в Intel IOmeter
Отдельную часть нашего обзора посвятим тестам в пакете IOmeter, поскольку они помогут понять некоторые тонкости работы исследуемых интерфейсов, дисков и контроллеров. Для этого мы воспользуемся стандартными серверными паттернами DataBase, File Server и Web Server (более показательными в случае SAS-дисков), а также паттернами на чтение и запись крупных (0,5 МБ) и мелких файлов с очередью команд 1, 4, 16 и 64. Для начала (и в качестве альтернативы предыдущей диаграмме) приведем усредненное значение производительности дисков/контроллеров в этих семи паттернах (геометрически по всем очередям команд всех паттернов с весом 1).
Справедливость, наконец, торжествует — серверный диск Toshiba MBF2600RC более чем вдвое опережает настольный Seagate ST32000641AS с той же линейной скоростью чтения/записи. Более того, налицо положительная разница от применения контроллера LSI SAS 9211-8i с 6-гигабитным интерфейсом. Посмотрим, из чего же складывается этот успех?
В паттерне базы данных с обращениями блоками по 8 КБ для SAS-диска на обоих контроллерах наблюдается полное равенство при очередях команд 1, 4 и 16 с почти линейной зависимостью производительности от глубины очереди. И лишь при очереди 64 контроллер LSI продолжает линейный рост, тогда как для HPT RR2642 виден выход на насыщение — чип Marvell уже не справляется с обработкой такого потока запросов. Более того, для SATA-случая контроллер HPT при неединичной глубине очереди команд вообще демонстрирует заметно более низкую производительность, чем чипы LSI и Intel (последние два здесь примерно равноценны). Это похоже на ситуацию, когда RR2642 не использует NCQ при работе с SATA-диском.
В паттернах File Server и Web Server эта тенденция сохраняется: с SAS-диском контроллер HPT «затыкается» на очередях выше 16, тогда как мощный процессор LSI, как тот заяц, продолжает «работать и работать». В этих серверных паттернах более чем двухкратное преимущество диска Toshiba MBF2600RC над Seagate ST32000641AS по скорости случайного доступа напрямую выливается в 2—3-кратный выигрыш в серверной производительности. Даже несмотря на то, что накопители класса Toshiba MBF2600RC предназначены преимущественно для задач последовательного чтения и записи информации в соответствующих серверах и системах хранения данных (это все же не ультрарезвые 3,5-дюймовые 15-тысячники).
Еще более любопытная картинка — в паттернах чтения и записи крупных (полумегабайтных) файлов (или блоков) случайным образом в пределах всего объема диска.
Если при единичной глубине очереди команд диски Toshiba MBF2600RC и Seagate ST32000641AS не сильно различаются по быстродействию, то уже при глубине очереди, равной четырем, производительность SAS-модели возрастает почти вдвое, тогда как у SATA — остается на прежнем уровне. При дальнейшем увеличении глубины очереди SAS-система сохраняет достигнутый при QD=4 уровень производительности (причем, одинаково эффективно для обоих протестированных нами SAS-контроллеров), тогда как SATA-система начинает заметно тормозить! Впрочем, тут есть одно исключение — если с SATA-диском используется контроллер HPT RR2642, то скорость системы не падает с ростом глубины очереди — это своеобразная реабилитация чипа Marvell после проигрыша в серверных паттернах.
А вот при случайном чтении и записи мелких файлов в пределах всего объема диска мы видим смешанную картину. С одной стороны, при чтении она отчасти напоминает ситуацию в серверных паттернах — насыщение контроллера HPT при QD=64, его индифферентность к глубине очереди с SATA-диском (здесь хост-контроллер Intel даже обходит мощный процессор LSI). А с другой — при записи за счет эффективного кэширования производительность на мелких файлах в 1,5—2 раза опережает таковую при случайном чтении таких же файлов и динамика от глубины очереди сходна с таковой при работе этих систем c крупными файлами. За исключением того, что производительность всех трех контроллеров с SATA-диском практически не меняется от глубины очереди команд (и почти втрое ниже таковой у SAS-диска).
Отдельно отметим, что все эти паттерны практически не выявили никаких преимуществ между системами от применения более скоростного интерфейса 6 Гбит/с — разница либо отсутствует вовсе, либо объясняется собственно архитектурой и алгоритмами работы использованных хост-контроллеров.
Ценовая информация
8-портовый SAS-контроллер LSI SAS 9211-8i с полным комплектом предлагается по цене в районе 300 долларов, что можно считать весьма привлекательным. Четырехпортовый аналог — LSI SAS 9211-4i — стоит еще дешевле. Более точная текущая средняя розничная цена устройства в Москве, актуальная на момент чтения вами данной статьи:
LSI SAS 9211-8i | LSI SAS 9211-4i |
---|---|
$280(25) | $206(30) |
Итак, новый интерфейс SAS 2.1 со скоростью передачи данных 6 Гбит/с и новыми зонирующими функциями в этом году начал уверенно завоевывать рынок. Все новые модели SAS-дисков этого года поддерживают именно эту версию интерфейса, хотя прекрасно работают и с контроллерами SAS-1. В продажу начали поступать и контроллеры для SAS-2. И один из первых таких девайсов в лице недорогого 8-портового Host-Bus-адаптера LSI SAS 9211-8i оказался весьма неплохим продуктом, способным работать на скорости 6 Гбит/с как с SAS-, так и SATA-дисками. Некоторые недостатки нового процессора LSI SAS2008 (особенно при работе с SATA) в задачах потребительского класса с лихвой компенсируются его высокой производительностью на серверных нагрузках при большой глубине команд.
Вместе с тем, можно констатировать, что для одиночных жестких дисков даже SAS-класса применение скорости 6 Гбит/с пока что явно избыточно и не приносит никаких дивидендов по сравнению с 3 Гбит/с. Впрочем, использованный здесь нами SAS-десятитысячник Toshiba MBF2600RC — это не самый топовый диск, и применение более резвых 3,5-дюймовых SAS-накопителей со скоростью вращения шпинделя 15 тыс. об/мин, скоростью чтения/записи пластин свыше 200 МБ/с и буфером 64 МБ, возможно, поможет выявить хоть какое-то положительное влияние удвоение полосы пропускания интерфейса. И, безусловно, преимущества от новой скорости интерфейса следует искать в многодисковых конфигурациях. А новые функции зонирования в SAS-2 позволят сделать многодисковые SAS-системы еще более удобными и гибкими в использовании.
LSI MegaRAID SAS 9361-8i — 12Gb/s SAS/SATA контроллер
- 4 июня 2022
Ещё не сильно древний контроллер 2018 года для серверов и хранилищ данных. Первый с интерфейсом SAS.
Стремительный рост объёма данных в ЦОД обуславливает потребность в высокоскоростных интерфейсах для передачи данных. Вот и Broadcom выпускает на рынок контроллер с поддержкой интерфейса SAS, обеспечивающий передачу данных со скоростью 12 Gb/s, увеличивая производительность вдвое. Аплодисменты.
Одна плата контроллера полностью утилизирует слот PCI Express 3.0. MegaRAID SAS 9361-8i с восемью внутренними портами оснащён двумя процессорными ядрами PowerPC с частотой 1.2 ГГц, 72-разрядным интерфейсом DDR3 с 2 ГБ кэш-памяти. Контроллер работает на базе SAS3108 RAID-on-Chip (ROC), греется как утюг, ничего нового, при сборке сервера уделите особое внимание охлаждению. Сам контроллер с пассивным охлаждением.
Поддерживаются массивы RAID0, RAID1, RAID10, RAID5, RAID6, RAID50, RAID60. Модуль защиты флэш-кэша CacheVault еще больше усиливает возможности защиты данных MegaRAID SAS 9361-8i.
В контроллере реализована новая технология диагностики дисков. Физический накопитель при сбое переводится в состояние защиты (shield), контроллер запускает диагностику диска, чтобы определить, действительно ли накопитель вышел из строя или может быть восстановлен. Это экономит диски, деньги, время и нервы.
Семейство контроллеров MegaRAID SAS поддерживает расширенные программные опции Broadcom, обеспечивающие повышенную производительность и защиту данных. CacheCade Pro 2.0 (опционально) и MegaRAID Fast Path (в комплекте) повышает производительность транзакционного ввода-вывода твердотельных накопителей. А SafeStore обеспечивает повышенную защиту и безопасность данных при работе с устройствами, поддерживающими шифрование.
Низкопрофильная планка в комплекте.
Ссылки
Product Brief
Quick Installation Guide
MegaRAID 93XX 12GB/S SAS storage adapter drive compatibility report selection GUID
CVM02, CVPM02, and CVPM05
Ключевые функции
- Интерфейс SAS, обеспечивающий передачу данных со скоростью 12 Gb/s.
- Поддержка до 128 дисков SAS 12 Gb/s, SATA 6 Gb/s и 3 Gb/s.
- 8 внутренних портов SAS/SATA, это два mini-SAS SFF8643 внутренних коннектора (горизонтальное расположение).
- Контроллер SAS3108: 1.2 GHz PowerPC 476 dual-core 12 Gb/s ROC.
- PCI Express 3.0.
- Опционально кэш:
- 1 GB 1866 MHz DDR3 SDRAM
- 2 GB 1866 MHz DDR3 SDRAM
- RAID 0, 1, 5, 6, 10, 50 и 60.
- Опционально CacheVault CVM02.
Характеристики
- Общие
- Модель: MegaRAID SAS 9361-8i
- Опция: CacheVault Flash Module (LSICVM02) – включает CVFM04, CVPM02, крепление и кабель
- Контроллер: SAS3108 12 Gb/s dual-core ROC
- Спецификация
- Cache Memory: 1 GB 1866 MHz DDR3 SDRAM или 2 GB 1866 MHz DDh4 SDRAM
- Cache Protection: CacheVault
- Поддерживаемые устройства: SAS/SATA 12 Gb/s, 6 Gb/s, 3 Gb/s: 128
- Размеры: MD2 low profile (6.6 in. × 2.536 in.)
- Разъёмы: два mini-SAS SFF8643 (горизонтальное расположение)
- Тип шины: x8 lane PCI Express 3.
0 compliant
- Скорость передачи данных: до 12 Gb/s на порт
- Рабочая температура: от 0 °C до 55 °C
- Рабочее напряжение: +3.3V, +12V
- Гарантия: 3 года
- Наработка на отказ (MTBF): 1343187 часов
- ПО
- MegaRAID Storage Manager
- StorCLI (command-line interface)
- CTRL-R (BIOS configuration utility)
- HII (UEFI Human Interface Infrastructure)
- SSD оптимизация
- MegaRAID CacheCade Pro 2.0 Software leverages SSDs in front of HDD volumes to create high-capacity, high-performance controller cache pools (Optional Upgrade). Ключ LSI00290 приобретается отдельно.
- MegaRAID Fast Path Software provides high-performance I/O acceleration for SSD arrays connected to 6 Gb/s MegaRAID SATA+SAS controllers (Included)
- RAID опции
- RAID levels 0, 1, 5, and 6
- RAID spans 10, 50, and 60
- Online Capacity Expansion (OCE)
- Online RAID Level Migration (RLM)
- Auto resume after loss of system power during array rebuild or reconstruction (RLM)
- Single controller Multipathing
- Load Balancing
- Configurable stripe size up to 1 MB
- Fast initialization for quick array setup
- Check Consistency for background data integrity
- SSD Support with SSD Guard™ technology
- Patrol read for media scanning and repairing
- 64 logical drive support
- DDF compliant Configuration on Disk (COD)
- S.
M.A.R.T. support
- Global and dedicated Hot Spare with Revertible Hot Spare support
- Automatic rebuild
- Enclosure affinity
- Emergency SATA hot spare for SAS arrays
- Enclosure management
- SES (inband)
- SGPIO (sideband)
- Databolt bandwidth optimizer technology support for compatible expander-based enclosures
- Shielded state drive diagnostic technology
- Артикулы:
- MegaRAID SAS 9361-8i (Single Pack, 1 GB Option): MPN: 05-25420-08
- MegaRAID SAS 9361-8i (Single Pack, 2 GB Option): MPN: 05-25420-17
- LSICVM02 CacheVault Kit: MPN: 05-25444-00
Поддерживаемые ОС
- Windows 10, 8.1, 8
- Windows Server 2019, 2016, 2012 R2, 2012
- Ubuntu 18.04 LTS, 16.04.5 LTS, 16.04.3 LTS, 16.04.2 LTS, 16.04.1 LTS
- CentOS 7.6, 7.5, 7.4, 6.10, 6.9
- RedHat Enterprise Linux 8.0, 7.6, 7.5, 7.
4, 7.3, 6.10, 6.9, 6.8, 6.7
- SuSE Linux Enterprise Server 12 SP3, 12 SP2, 12 SP1
- Citrix XenServer 7.6, 7.5, 7.4, 7.1
- Sun Solaris 11, 10
- VMware ESXi 6.7, 6.5, 6.0
Опция LSICVM02 (CVM02)
Набор LSI CacheVault Module 02 (LSICVM02 или CVM02) Kit содержит:
- MegaRAID CacheVault Flash Module 04 (CVFM04)
- MegaRAID CacheVault Power Module 02 (CVPM02)
- крепление
- кабель
- инструкцию по установке
Дополнительно вам может потребоваться приобрести крепеж для батареи аварийного питания LSI BBU-BRACKET-05, он продаётся отдельно.
CVFM04 — это флеш модуль Open NAND Flash Interface (ONFI). Флешка, на которую сбрасываются данные контроллера, когда сервер теряет питание или падает с ошибкой.
- J1 – 9-pin Connector to the Remote CVPM02 Module
- J2 – 80-pin Board-to-Board Connector
CVPM02 — это блок суперконденсаторов, который обеспечивает энергией контроллер в процессе сброса данных из оперативной DRAM памяти на FLASH память модуля CVFM04. Когда основное питание снова подаётся на RAID контроллер, то происходит обратный процесс переноса данных из FLASH в DRAM, а затем контроллер может записать данные на диски сервера.
Принцип подключения прост. Выключаем сервер, извлекаем RAID контроллер из сервера. Работаем с заземлением, чтобы избежать статического электричества. Устанавливаем модуль CVFM04 непосредственно на контроллер, FLASH модуль фиксируется двумя винтами.
На крепеж для батареи аварийного питания LSI BBU-BRACKET-05 устанавливаем крепление батареи. Крепление фиксируется тремя винтами.
В крепление устанавливаем блок суперконденсаторов CVPM02.
Соединяем кабелем CVPM02 с CVFM04.
Устанавливаем RAID контроллер в PCIe слот сервера.
Устанавливаем крепеж для батареи аварийного питания в сервер. Под крепёж используем свободный PCIe слот.
Если в сервере нет свободных слотов PCIe под крепеж, то блок суперконденсаторов без крепления можно установить в свободный дисковый отсек внутрь дисковой заглушки. Если и диска нет, то блок суперконденсаторов можно закрепить подручными средствами в свободном месте корпуса сервера так, чтобы он не соприкасался с деталями, я умудрялся крепить два блока между фронтальными вентиляторами.
CacheVault CVPM02 для контроллера MegaRAID SAS 9380-8i8e
Перегрев контроллера
Как я уже писал ранее, контроллеры LSI очень любят греться, так что охлаждению в серверах стоит уделить большое внимание. По спецификации рабочая температура контроллера от 0 °C до 55 °C. Как добиться такой температуры в серверах Supermicro, я даже и не знаю.
У меня уже был печальный опыт использования RAID контроллеров LSI в 4-юнитовом сервере Supermicro. Там один контроллер нагрелся до 92°C, а второй — до 107°C.
Перегрев RAID контроллера LSI в сервере Supermicro
Контроллер LSI MegaRAID SAS 9361-8i я также планирую использовать в 4-юнитовом сервере Supermicro. Наученный горьким опытом я с самого начала разогнал вентиляторы на максимум.
Supermicro — управление вентиляторами
В BMC Supermicro имеется 4 режима работы вентиляторов:
- Standard
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 50%.
- Зона 1 — в зависимости от температуры PCH вентиляторы вращаются на 50%.
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 50%.
- Optimal
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
- Зона 1 — вентиляторы вращаются на 30%.
- Full
- Зона 0 — вентиляторы вращаются на 100%.
- Зона 1 — вентиляторы вращаются на 100%.
- Heavy IO
- Зона 0 — в зависимости от температуры CPU вентиляторы вращаются на 30%.
- Зона 1 — вентиляторы вращаются на 75%.
Я установил Full, вентиляторы вращаются на 100%. Сервер работает уже несколько недель в таком режиме, можем полюбоваться на график температур за неделю. Видно, что температура чипа в районе 68 — 74 °C.
При этом датчик CacheVault отображает нормальную температуру 26 — 29 °C.
Если учесть, что показатель наработки на отказ (MTBF) в 1343187 часов рассчитан на работу контроллера при температуре 40 °С, то реальный срок службы контроллера в серверах Supermicro со средней температурой контроллера 70 °C будет значительно меньше.
Фотографии
Теги
- Avago
- Broadcom
- LSI
- hardware
- review
True System: SAS коммутатор LSI 6160. Часть 1: обзор и сценарии использования.
Если вы не слышали про замечательный продукт компании LSI — коммутатор 6Гбит SAS LSI SAS6160, то можно начать с сайта LSI.
Вкратце: еcли вы задумывались о создании SAN (сети хранения данных) небольшого масштаба (десятки серверов и СХД) и протяженности (в пределах 20-30 метров), но стоимость инфраструктуры FC или 10Гбит iSCSI вас останавливала — то вас выручит SAS.
До недавнего времени внешний SAS рассматривался исключительно как интерфейс для прямого (DAS) подключения одного-двух серверов к дисковой СХД или подключения JBOD-полки к внутреннему RAID-контроллеру в сервере. Со временем количество портов SAS на СХД начального уровня выросло до четырех на контроллер (например, в HP P2000 G3), что позволяет подключить до восьми серверов, а в dual-path подключении — до четырех. Что делать, если нужно больше? С гигабитным iSCSI может не хватить полосы пропускания, FC и 10Гбит iSCSI дороги: двухпортовый FC HBA стоит порядка $1500, свитчи начального уровня — от $4-5k (за $2-3k можно получить лишь что-нибудь типа 8-портового Qlogic 3000-й серии). Рекомендованная цена LSI 6160 — порядка $2500.
SAS коммутаторы как средство решения данной проблемы появились достаточно давно, уже несколько лет HP и IBM предлагают соответствующие решения для своих блейд-серверов. А в 2010 году произошло важное событие: на рынке появилось большое количество SAS-устройств, поддерживающих стандарт SAS-2. Помимо не всегда критичной большой полосы пропускания (6Гбит на один линк, а в SAS, например, при соединении двух экспандров формируется 4x транк с полосой 4×6=24Гбит), в SAS-2 было стандартизировано зонирование. Т.е. существовало оно и раньше (например, в тех же 3Гбит SAS свитчах HP для блейдов), но стандартом не являлось, и список поддерживаемых устройств был весьма ограничен: тот же самый HP 3Gb SAS Bl switch был предназначен, естественно, только для установки в blade-шасси, работал в сочетании с определенным контроллером, а в качестве СХД — либо JBOD MDS600, либо MSA2000 G2.
С появлением во второй половине 2010 года SAS коммутатора LSI 6160 построение больших топологий SAS стало доступно всем.
Зонирование нам дает важный функционал для создания больших SAS топологий: устройства SAS траслируют таблицу зонирования, т.е. список разрешенных комбинаций доступа для различных SAS-адресов в топологии. Формировать таблицу зонирования можно в экспандере, поддерживающем T10-зонирование SAS-2. Осталось лишь получить возможность этим зонированием как-то управлять — что и было сделано в LSI 6160.
схема коммутатора LSI 6160 |
То есть SAS коммутатор от LSI построен на двух давно известных чипах LSI2x36, которые применяются, например в экспандерных бэкплейнах Supermicro. Экспандеры объединены в отказоустойчивую схему с разделяемой памятью и снабжены дополнительным контроллером, отвечающим за настройку зонирования.
Физически LSI 6160 представляет собой устройство в небольшом металлическом корпусе. На передней панели: разъем RJ-45 для управления коммутатором, 16 разъемов SFF-8088 (внешний 4x SAS), два из которых поддерживают подключение активных 20-метровых кабелей. Охлаждение — два 40мм вентилятора (через утилиту управления, SAS Domain Manager, можно следить за температурными датчиками и частотой вращения вентиляторов), питание — внешний БП «ноутбучного» форм-фактора.
Два коммутатора и блоки питания можно установить в специальный поддон для монтажа в стойку. Конструктив, возможно, не самый изящный, но вполне соответствует цене устройства. Начать можно с одного коммутатора, но настоятельно рекомендую как можно скорее перейти на отказоустойчивую конфигурацию с двумя коммутаторами, тем более, что все внешние SAS HBA имеют сейчас минимум два 4x порта.
Итак, сценарии использования:
- Подключение к SAS СХД нескольких серверов: от банального решения проблемы нехватки портов на самой СХД, до построения недорогой и быстрой SAN на чистом SAS: можно построить топологию с несколькими десятками серверов и СХД.
Стоит упомянуть о том, что зонирование ограничивает доступ на уровне физических линков (phy), индивидуальный доступ к LUN’ам настраивается средствами самой СХД. Об ограничениях по масштабированию я расскажу позже.
- Разделяемый JBOD, т.е. дисковая полка не имеющая собственного RAID-контроллера. Если экспандер в JBOD’е поддерживает зонирование, то возможен следующий сценарий: покупаем относительно недорогой большой JBOD с двухсторонним размещением дисков от Supermicro, например SC417E16-RJBOD1 (88 SFF дисков в 4U) или SC847E1(/2)6-RJBOD1 (45 LFF дисков в 4U), один или два SAS коммутатора, SAS-2 RAID-контроллеры с внешними портами в каждый сервер — получаем возможность управлять распределением отдельных дисков между RAID-контроллерами разных серверов. Подобная схема, конечно, совершенно не подходит для задач, требующих разделяемого LUN’а* (например, vSphere кластер с VMFS), но является намного более эффективной по сравнению с использованием локальной дисковой подсистемы в каждом сервере.
Для зонирования отдельных дисков экспандер в JBOD’е должен поддерживать зонирование (являться т.н. «зонирующим экспандером»), в противном случае все диски автоматически унаследуют зон-группу самого экспандера, т.е. получится отдать только весь JBOD одному серверу целиком.
*Обновление от 14.10.2013. Времена меняются, и утверждение «SAS JBOD — не для кластеров» уже теряет актуальность. С появлением поддержки Parity Spaces для Failover Cluster’а в Microsoft Windows Server 2012 R2 использование Storage Spaces для кластеров Microsoft становится вполне обоснованным. Для vSphere есть VSA и с появлением vSphere 5.5 — еще и VSAN (наследие Virsto).
Плюсы, минусы, ограничения:
- Пропускная способность: 24Гбит на каждый порт, т.е. такой полосы вам хватит практически в любых сценариях, узким местом будут являться диски, HBA и шина PCI-E x8. Ждем дальнейшего удешевления SSD, появления PCI-E 3.0 и SAS-3 (а это оптика до 100м и 48Гбит в каждом 4x-wide порте).
- Латентность — в 20 раз ниже, чем у 10GbE iSCSI и 8Gb FC. В некоторых случая латентность может серьезно повлиять на производительность, в данном случае с этим проблем нет — протокол SAS проще, так же как и устройство коммутатора.
- Стоимость порта. Напрямую сравнивать с FC не имеет смысла — все зависит от масштаба сети. Пока что можно сказать, что стоимость порта при использовании SAS коммутатора сравнима с гигабитным iSCSI: хорошие гигабитные свитчи стоят недешево, цена двухпортовых GbE карточек (например, на чипе Intel 82576) ненамного меньше SAS HBA.
- Репликация. Непосредственно через SAS репликации (пока?) не существует. Так что остается использовать программные решения на стороне хоста.
- Дистанция. Только два порта на LSI 6160 поддерживают активные SAS кабели длиной 10 и 20 метров.
Масштабируемость. Тут действуют несколько простых правил:
- До 6 экспандеров в каскаде, каждый SAS коммутатор считается за один экспандер.
Если каскадируются только коммутаторы, то до 4-х.
- Максимум 64 экспандера в одной топологии.
- Все соединения между инициатором (таргетом) и коммутатором должны быть 4x. Для отказоустойчивых конфигураций необходимо использовать несколько коммутаторов. Пример: каждый порт 2-портового HBA и каждый порт каждого контроллера в СХД подключаются к своему коммутатору.
Вот пока что и все. В следующем посте будет практика: подключим пару серверов к LSI CTS2600 через SAS коммутатор (собственно, это всего лишь тестовая инсталляция — при таком количестве серверов использование коммутатора совершенно не нужно), посмотрим интерфейс SAS Domain Manager’а и как это все отражается на работе VMware ESXi.
SAS коммутатор LSI 6160. Часть 2: подключение.
LSI SAS 2008 RAID Controller/HBA Information
Один из самых популярных серверных RAID-контроллеров и HBA-контроллеров — LSI SAS 2008. LSI SAS 2008 — это контроллер на базе SAS 2 или SATA III с пропускной порты и встроенное подключение PCIe. На форумах мы поддерживали сопоставление контроллеров LSI между контроллерами LSI и их OEM-аналогами. Этот пост будет дополнен как информацией о LSI SAS 2008, в том числе информацией о том, как переключать флэш-карты между режимами IT и IR для режимов целевого инициатора и RAID, так и различными OEM-моделями, обычно встречающимися на рынке. Часто контроллеры LSI SAS 2008 дешевле, если их найти в качестве OEM-компонентов от Intel, Dell, HP, IBM, Supermicro и других, поэтому во многих случаях имеет смысл приобрести OEM-версии карт на базе LSI SAS 2008, таких как 9.211-8и.
Краткие сведения о LSI SAS 2008
- RAID-контроллер поддерживает как SAS 2, так и SATA III на скорости 6,0 Гбит/с
- Приблизительно 9 Вт потребляемой мощности для обычных карт
- Одно ядро PowerPC на частоте 533 МГц
- Нет встроенного кэша
- Интерфейс PCIe 2.0 x8
- Поддерживает расширители SAS (с двойным подключением)
- Использует утилиту sas2flash для прошивки в режиме IT/IR (когда это возможно).
Поддерживаемые режимы HBA
- RAID 0, RAID 1, RAID 1E, RAID 10 и сквозной (не RAID)
Поддерживаемые режимы RAID
- RAID 0, RAID1, RAID 10, RAID 5, RAID 50 и JBOD
Руководства ServeTheHome
- Прошивка IBM ServeRAID M1015, часть 1 (Начало работы)
- Перепрошивка IBM ServeRAID M1015, часть 2 (производительность)
- Перепрограммирование IBM ServeRAID M1015, часть 3 (данные SMART)
- Прошивка IBM ServeRAID M1015, часть 4 (перекрестная прошивка в режиме IT/IR LSI 9211-8и)
Платы на базе LSI SAS 2008
В следующем списке представлены RAID-контроллеры и адаптеры главной шины на базе RAID-контроллера LSI SAS 2008 SAS 2 и SATA III.
LSI SAS 9211-8i
Соглашение об именах: i=внутренний порт(ы), e=внешний порт(ы)
Исходный контроллер LSI на базе SAS 2008, все платы PCIe 2.0 x8, если не указано иное.
Логические карты LSI
Серия LSI9240 использует режим iMR (встроенный MegaRaid)
- LSI9240-4i Поддерживает RAID 0, 1, 10, 5, 50 и JBOD
- LSI9240-8i Поддерживает RAID 0, 1, 10, 5, 50 и JBOD
LSI920x/921x серии представляют собой LSI HBA / Fusion MPT 2. 0, все в режиме IR поддерживают RAID 0, 1, 1e и 10, режим IT = только сквозной
- LSI9200-8e
- LSI9201-16e SAS2116 версия
- LSI9201-16i SAS2116 версия
- LSI9202-16e Двойной контроллер SAS2008 с использованием PCIe 16x
- LSI9210-8i OEM-версия LSI9211, вертикальные порты SAS
- LSI9211-4i Горизонтальные порты SAS
- LSI9211-8i Горизонтальные порты SAS
- LSI9212-4i4e 1×4 внешних порта SAS и 4 одиночных внутренних 7-контактных разъема SAS/SATA
IBM SAS HBA
- IBM ServeRAID M1015 аналогичен LSI 9240-8i, но ServeRAID M1015 не поддерживает RAID 5, если вы не добавите «ключ расширенных функций», чтобы включить его
- IBM ServeRAID M1115 более новая версия IBM ServeRAID M1015
- Оптимизированный для производительности HBA IBM 6 Гбит (46M0912) – LSI-9240-8i (улучшенный твердотельный накопитель)
- Адаптер главной шины IBM 6 Гбит/с SAS (46M0907) — LSI 9212-4i4e — 4 внутренних разъема SAS 2/SATA III и 1 внешний разъем 4 SAS 2 SFF-8088.
Карты Dell
- Dell PERC h300 поставляется с прошивкой IT, но похож на LSI 9211-8i
- Делл Перк h410
Карты Cisco
- Cisco UCSC RAID SAS 2008M-8i
Платы Fujitsu
- Fujitsu D2607 — ребрендинг LSI 9211-8i ?
Карты Oracle (Sun)
- SUN SGX-SAS6-EXT-Z (номер по каталогу 375-3641) – LSI 9200-8e (внешние разъемы)
- SUN SGX-SAS6-INT-Z (кат. № 375-3640) – LSI 9211/10-8i (внутренние разъемы)
Карты Intel RAID
- Intel RS2WC080 внешне идентичен LSI 9240-8i и IBM M1015, но поддерживает RAID 5 и RAID 50, как и 9240-8i.
Собственные карты Intel PCIe x4
- Intel RMS2AF040 (собственные карты PCIe 4x)
- Intel RMS2AF080 (собственный PCIe 4x) То же, что и выше, но 8 портов
HBA-адаптер Hewlett Packard
- Адаптер главной шины HP h320
- Адаптер главной шины HP h321 (2 внешних разъема SFF-8088)
- Адаптер главной шины HP h322
- Адаптер главной шины HP h320i
- Адаптер главной шины HP h310i
Карты UIO собственного формата Supermicro
- SuperMicro AOC-USAS2-L8iR — спецификация 9240-8i, но с 16 МБ кэш-памяти и RAID 5, но без RAID 1E с прошивкой IR (карта UIO!)
- SuperMicro AOC-USAS2-L8E — версия HBA, поэтому она больше всего похожа на 9211-8i с IT-прошивкой (карта UIO!)
- SuperMicro AOC-USAS2-L8i — в спецификации LSI 9240-8i нет RAID 5, но есть RAID 1E с прошивкой IR (карта UIO!)
RAID-контроллеры Lenovo
- Lenovo 67Y1460 — это LSI 9240-8i с незначительным ребрендингом.
Не стесняйтесь вносить свой вклад, размещая сообщения в сообщении LSI Controller Mapping. Нам нужны отзывы сообщества, чтобы сделать это как можно более полезным для всех.
LSI Logic LSI00298 1GB 8 PORT PCIE SAS/SATA 6GBPS CONTRPERTLER
- Описание
- Спецификации
- Состояние
- 70008
LSI LOGIC LSI00298183
LSI LOGIC LSI00298183
LSI LOGIC LSI00298183
LSI LOGIC LSI00298183
LSI LSI00298183
LSI LSI00298183 Logic LSI00298 8-портовый контроллер PCI Express, SAS, Serial ATA 6,0 Гбит/с Logic LSI00298 MegaRAID — новый
Alt MPN: 9285CV-8e
MegaRAID® SAS 9285CV-8e Восьмипортовый RAID-контроллер PCI Express® 6 Гбит/с SATA+SAS с CacheVault™ Защита флэш-кэша
Высочайшая производительность серверного RAID-массива для баз данных и мультимедийных приложений. По мере расширения требований к хранилищу и роста вычислительных нагрузок администраторам становится все труднее добиваться максимальной производительности своих приложений. Новейшая линейка плат контроллеров MegaRAID® 6 Гбит/с SATA+SAS, построенных на двухъядерном контроллере LSI SAS 2208 ROC, обеспечивает непревзойденную производительность ввода-вывода для приложений баз данных и потоковых сред цифрового мультимедиа. В дополнение к производительности, масштабируемости и гибкости конфигурации, предлагаемым контроллерами MegaRAID SATA+SAS, клиенты могут воспользоваться более экологичным и недорогим решением для защиты кэш-памяти с технологией MegaRAID CacheVault. МегаRAID SAS 9Контроллер 285CV-8e с восемью внешними портами оснащен двумя процессорными ядрами PowerPC с тактовой частотой 800 МГц и 72-разрядным интерфейсом DDRIII, который управляет кэш-памятью объемом 1 ГБ. Этот контроллер идеально подходит для конфигурации внешних корпусов хранения с высокопроизводительными жесткими дисками SAS, жесткими дисками SATA большой емкости или твердотельными накопителями (SSD), ускоряющими работу приложений, или для построения более сложных конфигураций с использованием продуктов LSI 6 Гбит/с SAS Switch.
Пользователи могут развернуть контроллер MegaRAID SAS 9285CV-8e в существующих серверных средах на основе жестких дисков для значительного повышения производительности. В качестве альтернативы, для пользователей, внедряющих серверные платформы на основе твердотельных хранилищ, эти контроллеры MegaRAID следующего поколения используют потенциал твердотельных накопителей для непревзойденной производительности и надежности корпоративного класса.
Технология MegaRAID CacheVault™ — защита флэш-кэша MegaRAID CacheVault использует флэш-память NAND с питанием от суперконденсатора для защиты данных, хранящихся в кэше контроллера MegaRAID. Этот модуль устраняет необходимость в литий-ионном аккумуляторе, традиционно используемом для защиты кэш-памяти DRAM на контроллерах PCI RAID. Контроллер RAID автоматически записывает данные в кэш-память во флэш-память при сбое питания, в то время как суперконденсатор поддерживает ток во время процесса. Когда питание возвращается, DRAM восстанавливается из флэш-памяти, и система продолжает работать без потери данных. Преимуществами этой технологии являются устранение обслуживания оборудования, связанного с батареями LiON, более низкая совокупная стоимость владения в течение всего срока службы адаптера и более экологичная защита кэш-памяти.
Поддержка расширенных программных опций — семейство контроллеров Avago MegaRAID 6 Гбит/с поддерживает расширенные программные опции, которые предоставляют партнерам по каналу «белого ящика» повышенную производительность и возможности защиты данных. Эти новые опции программного обеспечения позволяют конечным пользователям решать ключевые бизнес-задачи, обеспечивая при этом более высокую отдачу от своих инвестиций в ИТ. Программное обеспечение MegaRAID CacheCade® и программное обеспечение MegaRAID Fast Path повышают производительность транзакционного ввода-вывода в конфигурациях с твердотельными дисками, а программное обеспечение MegaRAID Recovery и программное обеспечение MegaRAID SafeStore™ обеспечивают улучшенную защиту и безопасность данных.
Интуитивная утилита управления RAID. Программное обеспечение MegaRAID Management Suite™ предоставляет необходимые инструменты для управления продуктами MegaRAID, независимо от того, развернуты они на предприятии или в малом бизнесе. LSI предлагает набор приложений и инструментов, включая утилиту предзагрузочной настройки и полный спектр онлайн-утилит управления RAID. Этот набор приложений позволяет администраторам настраивать представления топологии SAS или SATA от хоста системы, контроллера и дискового массива до уровня логического и физического диска. При расширении до корпоративных развертываний эти инструменты масштабируются для упрощения настройки, мониторинга и управления томами RAID и JBOD локально или по сети LAN.
Ключевые функции
- Восемь внешних 6 ГБ/с SATA+SAS PORTS
- Два внешних разъема Mini-SAS (SFF8088)
- LSI SAS 2208 Dual-Core 6GB/S ROC
- X2 800MHZ PowerPC-процессы 9001
- X2 800MHZ PowerPC-процессов
- X2 800MHZ PowerP Кэш-память DDRIII
- Уровни RAID 0, 1, 5, 6, 10, 50 и 60
- Включена защита флэш-кэша MegaRAID CacheVault
Основные преимущества
- Непревзойденная производительность RAID
- Внешнее расширение до 3 G2b4 JBOD s и 6 Гбит/с SATA и SAS жесткие диски или твердотельные накопители
- Помогает пользователям реализовать потенциал развертывания твердотельных хранилищ
- Включена технология CacheVault для более экологичной защиты кэш-памяти с меньшими общими затратами
- Совместимость с коммутатором SAS 6 Гбит/с
- Поддержка дополнительных опций программного обеспечения
3 Совместимость1:
Эта карта контроллера совместима с любым сервером, имеющим разъемы PCI-E 2. 0.
ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ | |
---|---|
Номер детали | LSI00298 |
Alt Part Number | 9285CV-8e |
Product | MegaRAID SAS 9285CV-8e |
RAID-on-Chip-Controller | LSISAS2208 Dual-Core RAID on Chip (ROC) |
Защита кэш-памяти | Защита флэш-кэша MegaRAID CacheVault (в комплекте) |
Программное обеспечение для управления Raid0053 WebBIOS | |
Physical Dimensions | MD2 Low profile (6.6″ x 2.536″) |
Host Bus Type | x8 lane PCI Express 2.0 |
Cache Memory | 1GB 1333MHz DDR III SDRAM |
Внешние порты | 8 |
Скорость передачи данных | До 6 Гбит/с на порт |
Поддерживаемые устройства | До 240 устройств SATA и/или 902 SAS5 |
Internal Connectors | 2 Mini-SAS SFF8088 |
MTBF | 445,584 hours |
Operating Temperature | Maximum ambient: Controller Card: 60°C, with included CacheVault Module: 55°C |
Операционные системы | Расширенная поддержка включает Microsoft® Windows Vista®, Windows 7®, Windows Server® 2003/2008, Red Hat Linux®, SuSE Linux®, Fedora Core Linux®, FreeBSD® и другие.![]() |
Рабочее напряжение | +3,3 В |
Соответствие стандартам | EN55022, EN55024, EN60950, EN 61000-3-2, EN 61000-3-3; FCC Класс А, Класс Б; УЛ1950; УЛ; CSA C22.2; ВККИ; РРЛ для ВПК; БСМИ; C-Tick |
Нажмите здесь, чтобы просмотреть описание предмета производителя/брошюра
Альтернативный MPN: 9285CV-8E
Вес: 2 LB
.0003
Абсолютно новый
Описание уровней состояния
Совершенно новый продукт.
Гарантия DiscTech сроком на 1 год
Описание гарантийных обязательств на продукт
На продукт распространяется гарантия DiscTech на указанный период времени. Ознакомьтесь с нашей ограниченной гарантией
LSI SAS 2008 и IBM MegaRaid MR10i (LSI SAS 1078) — что использовать
Рототип
Кадет
- #1
Привет,
Я просто собираюсь восстановить свой NAS с новой материнской платой (SuperMicro H8DG6-F), которая имеет встроенный контроллер LSI 2008 SAS, но из моей предыдущей конфигурации у меня также есть IBM MegaRaaid MR10i, который основан на чипсете LSI 1078. На борту есть 6 SATA, и у меня есть 5-сторонняя дисковая корзина с горячей заменой, а также 1 х диск для массовой загрузки (5 ТБ WD Red)) 2 х кэш-диска (256 ГБ SSD, samsung 2.5) и 2 x загрузочных диска (16 ГБ SSD тонкий маленький ) вместе с LSI Nytro WarpDrive 1,86 ТБ, который находится в слоте PCIe-X8, который, вероятно, будет использоваться для буферизации видео. 5 дисков в корзине — 6TG WD Red.
На самом деле мне не нужны все порты на обеих картах SAS (вероятно, у меня все равно будет несколько запасных портов), но мне интересно, получу ли я какое-либо преимущество от использования карты IBM по сравнению со встроенным SAS контроллер? По сути, LSI 1078 быстрее или совместимее, чем LSI 2008? Насколько я вижу, они оба имеют скорость 3 ГБ/с и (смотря на блок-схему материнской платы) оба поступают примерно из одного и того же места. Моя единственная мысль заключалась в том, что в зависимости от того, в какой разъем PCIe я его устанавливаю, я мог бы подключиться ко второму ЦП и снизить нагрузку на первый ЦП — будет ли это иметь какое-либо преимущество в производительности?
NAS в первую очередь предназначен для использования в качестве домашней системы, поэтому абсолютная производительность не будет иметь такого критического значения, просто если одно решение лучше другого, я хотел бы выразить это сейчас, чтобы избавить себя от необходимости делать все это снова позже. Кроме того, не возникнет ли проблем с использованием обоих адаптеров в системе вместе? Другой вариант, который я мог бы использовать, — передать вывод SAS с одной или другой карты на внешний массив дисков для будущего расширения и, возможно, на резервный диск (ленточная библиотека). 932-1 для LBA, что обычно ограничивает размер диска 2,2 ТБ. Их не рекомендовали уже десять лет.
Понятия не имею, что означает «3 ГБ/с» в данном контексте. Вы говорите о скорости соединения SAS? Скорость соединения PCIe? (оба значения измеряются в бит/с, а не в байтах/с) Или скорость передачи? Потому что 2008/2308 — это контроллер SAS 6 Гбит/с.
https://www.ixsystems.com/community/threads/confused-about-that-lsi-card-join-the-crowd.11901/
932-1 для LBA, что обычно ограничивает размер диска 2,2 ТБ. Их не рекомендовали уже десять лет.
Понятия не имею, что означает «3 ГБ/с» в данном контексте. Вы говорите о скорости соединения SAS? Скорость соединения PCIe? (оба значения измеряются в бит/с, а не в байтах/с) Или скорость передачи? Потому что 2008/2308 — это контроллер SAS 6 Гбит/с.
https://www.ixsystems.com/community/threads/confused-about-that-lsi-card-join-the-crowd.11901/
Нажмите, чтобы развернуть…
Спасибо за это, я имел в виду 3 Гбит/с (опечатка), что, как мне сказали, они оба. Похоже, я использую встроенный (2008 г.) тогда… (с ограничением в 2,2 ТБ на 1078, которое полностью исключает его, поскольку все основные диски имеют емкость 5 или 6 ТБ каждый. Знайте всех, кто хочет дешевый IBM MR10i ?)
Это главная причина, по которой я задал этот вопрос здесь, где есть люди, которые разбираются в этом. Я внимательно посмотрю на эту ссылку, мне может понадобиться еще одна, если я в какой-то момент захочу выйти на внешний уровень. Возможно ли иметь 2 адаптера HBA 2008 года в одной системе? Я буду продолжать просматривать существующие сообщения, чтобы увидеть, смогу ли я ответить на это сам.
Еще раз спасибо
Рототип.
jgreco
Резидент Гринч
- #4
Возможно также пригодится:
https://www. ixsystems.com/community/resources/dont-be-afraid-to-be-sas-sy.48/
Продукты
LSI 6 Гбит/с SAS, выбранные ведущими поставщиками систем хранения данных для поддержки внешних платформ хранения данных следующего поколения — Торговая ассоциация SCSI
Пресс-релизы » Релизы участников
Dot Hill, Infortrend, NEC и Xyratex выбирают внешние решения для хранения данных LSI 6 Гбит/с SAS, включая микросхемы контроллеров и расширителей, а также мостовые платы SAS-to-SATA
МИЛПИТАС, Калифорния, 22 июля 2009 г.-LSI Corporation (NYSE: LSI) сегодня объявила о том, что Dot Hill, Infortrend, NEC и Xyratex выбрали решения LSITM SAS 6 Гбит/с для реализации своих внешних платформ хранения данных следующего поколения. Являясь лидером в сегменте SAS с более чем 13 миллионами ИС SAS, поставленными по всему миру, LSI предлагает единственный в отрасли комплексный портфель продуктов SAS 6 Гбит/с для приложений внешнего хранения, включая контроллеры SAS и ИС расширителей, а также мостовые карты SAS-to-SATA. .
«Предлагая OEM-клиентам полное готовое к производству семейство решений для внешних хранилищ, LSI способствует развитию технологии интерфейса SAS во внешних хранилищах, — сказал Стив Фингерхат, старший директор по маркетингу Storage Components Group, LSI. «И поскольку наш портфель SAS 6 Гбит/с опирается на наши проверенные продукты SAS 3 Гбит/с, мы можем предоставить OEM-производителям меньший риск и предложить преимущество во времени выхода на рынок».
LSI предлагает 8-портовый контроллер SAS+SATA 6 Гбит/с, предназначенный для блейд-серверов, серверов начального и среднего уровня, а также внешних систем хранения; семейство расширителей SAS 6 Гбит/с (24, 28 и 36 портов), которые позволяют нескольким хостам и целевым устройствам подключаться через коммутируемое устройство для большей масштабируемости; и мостовые карты SAS-to-SATA, которые позволяют расширить существующие 2,5-дюймовые и 3,5-дюймовые диски SATA в корпоративных средах хранения данных с помощью основных функций корпоративного класса. Продукты поставляются серийно и поддерживаются полным спектром готового программного обеспечения, предназначенного для минимизации затрат на интеграцию OEM и ускорения выхода на рынок.
Согласно отраслевым оценкам, внедрение SAS на 6 Гбит/с на рынке начнется с выпуска отдельных компонентов и устройств SAS и будет набирать обороты по мере того, как ведущие OEM-производители начнут массовое производство серверов с поддержкой SAS 6 Гбит/с и внешних систем хранения данных. Ожидается, что к концу года произойдет широкое распространение на рынке серверов с поддержкой SAS 6 Гбит/с, а в начале-середине 2010 года появятся внешние системы хранения данных.
С момента создания SAS компания LSI поставляет передовые продукты в своем портфолио микросхем контроллеров, расширителей, хост-шины и адаптеров MegaRAID®, решений RAID на материнской плате и систем хранения данных. Предлагая лучшие в своем классе технологии SAS, широкие возможности взаимодействия и поддержку от одного поставщика, LSI является предпочтительным поставщиком комплексных систем для OEM-производителей, которые хотят поставлять широкий спектр решений для хранения данных.
Более подробная информация о полном портфолио LSI SAS доступна на сайте www.lsi.com/sas.
О компании LSI
Корпорация LSI (NYSE: LSI) является ведущим поставщиком инновационных микросхем, систем и программных технологий, позволяющих создавать продукты, органично объединяющие людей, информацию и цифровой контент. Компания предлагает широкий спектр возможностей и услуг, включая заказные и стандартные ИС, адаптеры, системы и программное обеспечение, которым самые известные мировые бренды доверяют ведущие решения на рынках хранения данных и сетей. Более подробная информация доступна на сайте www.lsi.com.
Цитаты компании:
«Dot Hill использует высокомодульную динамическую архитектуру хранения, чтобы расширить возможности своих OEM-производителей на рынке объемных хранилищ», — сказал Энди Миллс, вице-президент по маркетингу Dot Hill. «Мы полагаемся на надежных партнеров, таких как LSI, которые помогут нам в разработке новых технологий, таких как SAS 6 Гбит/с. Конечным результатом для наших клиентов является технологическое лидерство и проверенные решения». (www.dothill.com)
«Infortrend играет ведущую роль в технических инновациях в решениях для хранения данных RAID, и LSI является одним из ключевых партнеров, с которыми мы работаем, чтобы поставлять на рынок высококачественные решения для хранения данных SAS 6 Гбит/с, — сказал Томас Као, директор по планированию продуктов и глобальный маркетинг в Infortrend Technology Inc. «Мы разделяем стремление помочь пользователям удовлетворить строгие требования приложений и, в свою очередь, получить большую отдачу от бизнеса с лучшими в своем классе решениями для хранения данных». (www.infortrend.com)
«Компания LSI и лидирующая на рынке технология SAS со скоростью передачи данных 6 Гбит/с позволяют NEC разрабатывать продукты для хранения данных, отвечающие требованиям наших заказчиков по всему миру к производительности, масштабируемости и надежности, — сказал Тетсуюки Хишикава, главный менеджер подразделения системных систем хранения данных NEC. «Наши ценные традиции сотрудничества приносят пользу обеим компаниям и обеспечивают наилучшие возможные решения для наших клиентов». (www.nec.com)
«Xyratex имеет опыт предоставления ведущих в отрасли решений для хранения данных, и наша поддержка технологии моста LSI SAS-to-SATA продолжает эту традицию инновационных продуктов», — сказал Пол Фогт, старший директор по управлению продуктами, Networked Storage Solutions, Xyratex. «Мы рассчитываем на сотрудничество с LSI для усовершенствования технологии SAS/SATA 6 Гбит/с, что позволит нам предоставлять экономичные, высокопроизводительные и надежные системы, обеспечивающие успех наших клиентов». (www.xyratex.com)
Примечания редактора:
- Все информационные бюллетени LSI (о финансах, приобретениях, производстве, продуктах, технологиях и т. д.) выпускаются исключительно PR Newswire и сразу после этого размещаются на внешнем веб-сайте компании http://www.lsi.com.
- LSI, MegaRAID и логотип LSI & Design являются товарными знаками или зарегистрированными товарными знаками корпорации LSI.
- Все другие торговые марки или названия продуктов могут быть товарными знаками или зарегистрированными товарными знаками соответствующих компаний.
Опубликовано 22 июля 2009 г. редактором —
Сравнение контроллера VMware LSI Logic SAS с контроллером PVSCSI — SQLpassion
В сегодняшней публикации блога я хочу подробнее рассказать о различиях между LSI Logic SAS и контроллером VMware Paravirtual (PVSCSI), которые вы можете использовать в своем виртуальном Машины для прикрепления файлов VMDK.
Контроллер LSI Logic SAS
Если вы добавляете файлы VMDK на виртуальную машину, VMware vSphere по умолчанию использует контроллер LSI Logic SAS. Причина этого в том, что он поддерживается различными операционными системами из коробки без установки пользовательских драйверов. Поэтому вы видите, что контроллер LSI Logic SAS очень часто используется для загрузочного диска операционной системы.
К сожалению, контроллер LSI Logic SAS не обеспечивает высокой пропускной способности в отношении IOPS (операций ввода-вывода в секунду), а также обеспечивает более высокую загрузку ЦП по сравнению с контроллером PVSCSI.
Чтобы доказать это, я протестировал LSI Logic SAS и контроллер PVSCSI в своей домашней лаборатории на базе VMware vSAN. Чтобы создать некоторую рабочую нагрузку, связанную с хранилищем, для подсистемы ввода-вывода, я использовал утилиту Diskspd, которую вы можете бесплатно загрузить с сайта Microsoft. Моя тестовая виртуальная машина (которая не охватывает узлы NUMA) была настроена следующим образом:
- 8 ядер процессора
- 64 ГБ ОЗУ
- С: диск
- Драйвер LSI Logic SAS
- Э: диск
- Паравиртуальный драйвер VMware
- Ф: Диск
- Драйвер NVMe
Я использовал следующий шаблон рабочей нагрузки с diskspd:
- Размер блока: 8K
- Продолжительность: 60 секунд
- Выполненные запросы: 8
- Рабочие потоки: 8
- Прочитано: 70%
- Пишет: 30%
Это преобразуется в следующую командную строку:
diskspd. exe -b8K -d60 -o8 -h -L -t8 -W -w30 -c2G c:\test.dat
На следующем рисунке показаны выходные данные diskspd при выполнении на диске C, который использует контроллер LSI Logic SAS и где базовый файл VMDK хранится в хранилище данных vSAN с методом FTT (Failure to Tolerate), установленным на 1:
Как видно из рисунка выше, здесь я смог сгенерировать чуть более 34000 операций ввода-вывода в секунду со средней задержкой около 1,8 мс. Но, как видите, загрузка ЦП была на отметке 67%, что довольно много! Попробуем то же самое с контроллером PVSCSI.
Контроллер VMware Paravirtual (PVSCSI)
В отличие от контроллера LSI Logic SAS, контроллер PVSCSI поддерживает виртуализацию и обеспечивает более высокую пропускную способность при меньшей нагрузке на ЦП и поэтому является предпочтительным драйвером, когда вам нужна максимально возможная производительность хранилища. В моем случае я настроил диск E своей тестовой виртуальной машины на использование контроллера PVSCSI. Я снова запустил ту же командную строку Diskspd, что и раньше:
diskspd.exe -b8K -d60 -o8 -h -L -t8 -W -w30 -c2G e:\test.dat
На следующем рисунке показаны результаты теста:
Сразу видно, что я смог сгенерировать больше операций ввода-вывода в секунду, а именно 36457, а средняя задержка также снизилась примерно до 1,7 мс, что также является незначительным улучшением. Но посмотрите на загрузку процессора — она упала до 48%! Это огромная разница почти на 20% по сравнению с драйвером LSI Logic SAS!
Но мы еще не закончили. Контроллер PVSCSI также можно настроить в гостевой операционной системе для повышения производительности. Контроллер PVSCSI имеет Длина очереди виртуального диска по умолчанию из 64 и Длина очереди адаптера по умолчанию ч из 254. Эти свойства можно увеличить до 254 и 1024. Поэтому давайте изменим эти настройки на их максимальные значения, выполнив следующую командную строку в Windows:
REG ADD HKLM\SYSTEM\CurrentControlSet\services\pvscsi\Parameters\Device /v DriverParameter /t REG_SZ /d «RequestRingPages=32,MaxQueueDepth= 254”
После необходимого перезапуска Windows я снова запустил Diskspd и получил следующие результаты:
Как вы видите, теперь мы получаем более 39000 операций ввода-вывода в секунду со средней задержкой 1,6 мс! Загрузка процессора почти такая же, как и раньше, даже немного уменьшилась. По сравнению с контроллером LSI Logic SAS по умолчанию мы добились улучшения на 6000 операций ввода-вывода в секунду и снизили загрузку ЦП на 20%. Не так уж плохо!
Контроллер NVMe
Помимо моего хранилища данных на основе vSAN, у меня также есть в каждом сервере HP DL 380 G8 выделенное хранилище данных на основе NVMe, где я использую один твердотельный накопитель Samsung 960 PRO M.2 емкостью 1 ТБ.
Во время написания этой записи в блоге я подумал, что было бы неплохо протестировать этот удивительно быстрый диск в сочетании с контроллером NVMe , который был представлен с ESXi 6.5. Поэтому я запустил следующую командную строку Diskspd для моего диска F:, который представляет собой файл VMDK, хранящийся локально в хранилище данных NVMe:
diskspd.exe -b8K -d60 -o8 -h -L -t8 -W -w30 -c2G f:\test.dat
И вот результаты:
Как видите, я добился этого более 140000 IOPS со средней задержкой всего 0,4 мс!!! Но, с другой стороны, загрузка ЦП по-прежнему была выше — примерно до 67%. Вот также некоторые показатели, которые диспетчер задач Windows сообщил во время тестового запуска:
Общая пропускная способность чтения и записи составила более 1,2 ГБ в секунду! Кому больше нужны вращающиеся приводы? 🙂
Резюме
Если вы хотите получить максимальную производительность хранилища от вашей виртуальной машины, необходимо использовать контроллер PVSCSI для подключения различных файлов VMDK к вашей виртуальной машине. Как вы видели в этой записи блога, контроллер LSI Logic SAS обеспечивает гораздо меньше операций ввода-вывода в секунду при более высокой загрузке ЦП.
К сожалению, я не вижу так много ВМ в полевых условиях, которые используют контроллер PVSCSI — к сожалению. И если используется контроллер PVSCSI, он используется с длинами очередей по умолчанию, что также может быть ограничивающим фактором, особенно для рабочих нагрузок, связанных с SQL Server.
Если вы хотите узнать больше о том, как проектировать, развертывать и оптимизировать рабочие нагрузки SQL Server на VMware, я настоятельно рекомендую ознакомиться с моим онлайн-курсом, который за 18 часов покажет вам, как добиться максимальной производительности от SQL. Сервер работает поверх VMware!
Спасибо за ваше время,
-Клаус
BSD Now Episode 240: TCP Blackbox Recording
Новые возможности ZFS для FreeBSD, MAP_STACK для OpenBSD, как писать более безопасный код C с помощью дезинфицирующего средства адресов Clang, Майкл В. Лукас о подарках спонсоров, устройстве записи черного ящика TCP и взломе дисковой системы Dell.
Заголовки
[На этой неделе во FreeBSD появилось несколько функций ZFS Upstream]
9188 увеличить размер кэша dbuf, чтобы уменьшить непрямую декомпрессию блоков
Со сжатым ARC (6950) мы используем до 25% нашего ЦП для распаковки непрямых блоков при рабочей нагрузке случайного чтения из кэша. Чтобы уменьшить эту стоимость декомпрессии, мы хотели бы увеличить размер кэша dbuf, чтобы больше непрямых блоков можно было хранить в несжатом виде. Если мы кэшируем целые большие файлы размером записи = 8 КБ, непрямые блоки используют 1/64 объема памяти, чем блоки данных (при условии, что они имеют одинаковую степень сжатия).
Мы предлагаем сделать кэш dbuf равным 1/32 всей памяти, чтобы в этом сценарии мы могли держать все непрямые блоки распакованными в кэше dbuf. (Мы хотим, чтобы это было больше, чем 1/64, которое будут использовать косвенные блоки, потому что нам нужно кэшировать и другие вещи в кеше dbuf.) В реальных рабочих нагрузках это не поможет так сильно, как в приведенном выше примере, но мы считаем, что оно того стоит, поскольку риск снижения производительности невелик. Потенциальное негативное влияние на производительность заключается в том, что мы немного уменьшим размер ARC (примерно на 3%).
9166 контрольная точка пула хранения zfs
Идея Storage Pool Checkpoint (также известная как контрольная точка zpool) связана именно с этим. Его можно рассматривать как «снимок всего пула» (или вариант экстремальной перемотки назад, который не повреждает ваши данные). Он запоминает все состояние пула на момент его взятия, и пользователь может вернуться к нему позже или отказаться от него.
Его общий вариант использования — администратор, который собирается выполнить ряд деструктивных действий с ZFS в рамках критической процедуры. Она берет контрольную точку пула перед выполнением действий, затем перематывается обратно к ней, если одно из них дает сбой или переводит пул в неожиданное состояние. В противном случае она отбрасывает его. Предполагая, что никто другой не вносит модификации в ZFS, она фактически оборачивает все эти действия в «транзакцию высокого уровня».
Дополнительная информация
8484 Реализовать совокупную сумму и использовать для счетчиков дуги
Стремясь повысить производительность многоядерных систем, мы должны внедрить разветвленные счетчики и использовать их для повышения производительности некоторых статистических данных дуги. Эта статистика обновляется очень часто и может потреблять значительное количество процессорного времени.
И небольшое исправление ошибки, автором которого я являюсь:
- 9321 arc заимствование сжатие buf() может увеличивать arc заимствование байт на неправильное значение
arcloan сжато buf() увеличивает arc безоговорочно одалживает байт на psize В случае zfs сжимает arc enable=0, когда buf возвращается через arc возвращает buf(), если ARC BUF COMPRESSED (buf) ложно, то дуга , выделенная взаймы байт, уменьшается на lsize, а не на psize.
Переключиться на использование дуги 9X также появился в некоторых адресных пространствах нашего ядра. Фундаментальная концепция заключается в том, что объект должен иметь только необходимые разрешения, и любая другая операция должна привести к ошибке. Единственное разделение разрешений, которое у нас есть, — это ядро и пользовательское пространство, а затем чтение, запись и выполнение. Как насчет того, чтобы добавить еще одно новое разрешение! Это не аппаратное разрешение, а программное. Это оппортунистически обеспечивается ядром. разрешение — MAP STACK. Если вы хотите использовать память в качестве стека, вы должны mmap с этим флаговым битом. Ядро делает это автоматически для области стека стека процесса. Встречаются два других типа стеков: стеки потоков и стеки альтернативных сигналов. Они обрабатываются умными способами. Когда происходит системный вызов, мы проверяем, указывает ли регистр указателя стека на такую страницу. Если это не так, программа убита. Мы ужесточили ABI.
Вы больше не можете указывать свой стековый регистр на нестековую память. Вы будете убиты. Этот код проверки — MI, поэтому он работает для всех платформ. Поскольку права доступа к страницам обычно устанавливаются на границах страниц, необходимо предостеречь, что потоки и альтернативные стеки теперь должны иметь размер страницы и выравниваться по страницам, чтобы мы могли обеспечить соблюдение MAP 9.0748 Атрибут STACK корректен. Возможно, несколько портов нуждаются в некотором массаже, чтобы удовлетворить этому условию, но мы пока не нашли никаких поломок. Был добавлен syslog_r, чтобы мы могли идентифицировать эти случаи сбоев. Кроме того, случаи сбоев на данный момент довольно подробные, чтобы помочь определить программы, которые нам нужно восстановить.
**iXsystems**
Написание Safer C с помощью Clang Address Sanitizer
Мы хотели улучшить наш алгоритм надежности пароля и решили использовать стандартный zxcvbn, созданный людьми из Dropbox.
Наш веб-интерфейс будет использовать библиотеку Javascript по умолчанию, а для мобильных и настольных компьютеров мы решили использовать реализацию C, поскольку это был наименьший общий знаменатель для всех платформ. Бутстрапирование всего этого вместе было сделано довольно быстро. Я поигрался с несколькими примерами паролей, поэтому решил проверить их с помощью набора тестов, который у нас был для предыдущего оценщика надежности паролей. Тест генерирует большое количество случайных паролей по разным правилам и предполагает, что надежность будет находиться в заданном диапазоне. Но средство запуска тестов продолжало падать из-за ошибок сегментации. Оказывается, в библиотеке есть много случаев переполнения буфера, которые обычно «безвредны», но в конечном итоге приводят к сбою вашей программы, когда вы слишком часто запускаете функцию оценки. Я начал исправлять случаи, которые мог видеть, но чтение чужих алгоритмов для отслеживания крошечных ошибок памяти довольно быстро надоело. Мне нужен был инструмент, чтобы помочь мне.
Именно тогда я подумал о Clang’s Address Sanitizer. AddressSanitizer — быстрый детектор ошибок памяти. Он состоит из инструментального модуля компилятора и библиотеки времени выполнения. Давайте попробуем дезинфицирующее средство на простой программе. Мы выделим буфер в куче, скопируем в него каждый символ строки и выведем на стандартный вывод. + Сайт проходит через простой пример, который содержит ошибку, пишет за конец буфера + Код работает как положено, ничего плохого не происходит. Должно быть хорошо… + Затем они снова компилируют его с активным дезинфицирующим средством адресов Итак, что мы можем собрать из этой кучи гексагонов? Давайте пройдемся по нему строчка за строчкой. AddressSanitizer обнаружил переполнение буфера кучи по адресу 0x60200000ef3d, по-видимому, действительному адресу (не NULL или любому другому явно ошибочному значению). + ASAN указывает непосредственно на строку кода, вызывающую проблему В этой инструкции мы пишем вне кучи. А у AddressSanitizer его нет.
Это определенно один из моих любимых индикаторов. В дополнение к информации о том, какая строка в коде вышла из строя и где в памяти произошел сбой, вы получаете полное описание ближайшей выделенной области в памяти (вероятно, это та область, к которой вы пытались получить доступ). + Затем они комбинируют это с lldb, отладчиком Clang, чтобы фактически в интерактивном режиме проверить состояние проблемы, когда происходит недопустимый доступ к памяти. Вернемся к моему практическому делу: как я использовал дезинфицирующее средство для адресов с пользой? Я просто запустил набор тестов, скомпилированный с помощью дезинфицирующего средства, с помощью lldb. Разумеется, он останавливался на каждой строке, которая могла вызвать сбой. Оказывается, было много случаев, когда zxcvbn-c записывал за конец выделенных буферов, в кучу и в стек. Я исправил эти случаи в библиотеке C и снова провел тесты. Не segfault в поле зрения! Я использовал инструменты памяти в прошлом, но они обычно были громоздкими или снижали производительность настолько, что были бесполезны в любом реальном случае.
Средство очистки адресов от Clang оказалось подробным, надежным и на удивление простым в использовании. Я слышал о чудесах Valgrind, но macOS почти не поддерживает его, что затрудняет его использование на моем MacBook Pro. В сочетании со статическим анализатором Clang AddressSanitizer станет обязательной остановкой для оценки качества кода. Это также будет первый инструмент, который я возьму, когда столкнусь с запутанными проблемами с памятью. Есть еще много случаев, когда я мог бы использовать ранние сбои и историю памяти для отладки своего кода. Например, если программа дает сбой при доступе к элементу освобожденного объекта, мы можем легко отследить событие, вызвавшее освобождение, сэкономив часы на добавлении и чтении журналов, чтобы отследить, что именно произошло.
Обзор новостей
О спонсорских подарках
Обратите внимание на небольшую стопку таможенных бланков в стороне. Как будто я извлёк урок, стоя у почтового отделения и заполняя эти дурацкие формы.
Спонсоры должны получить свои книги в ближайшее время.
Кажется, это подходящий момент, чтобы поговорить о том, что я делаю для спонсоров печати. Я говорю, что посылаю им «подарок», но что это на самом деле означает? Очевидно, что отправить им копию книги, которую я написал. Однако прямая продажа печатных книг в Интернете имеет налоговые последствия.
Спонсоры могли догадаться, что они получат копию книги. Но я отправил им книгу в твердом переплете, что не является моей обычной практикой.
Это потому, что я посылаю спонсорам подарок. Поскольку это подарок, я могу выбрать, что отправить. Я хочу послать им что-нибудь приятное, чтобы побудить их спонсировать еще одну книгу. Для меня нет смысла посылать спонсору Singing Wedgie-O-Gram. (Ну, может быть, пара спонсоров. Вы знаете, кто вы.)
Бедные ублюдки, купившиеся на мою аферу, спонсировавшие мою безымянную книгу, понятия не имеют, что их ждет. На данный момент их разумные догадки крайне неполны.
Будущие книги? Они могут получить копию книги. Они могут получить книгу плюс что-то. Они могут просто получить что-то. Люди, которые спонсируют книгу о тюрьмах, могут получить торт с файлом внутри. Кто знает?
Это подарок. Моя работа состоит в том, чтобы сделать этот подарок достойным.
И чтобы развлечься. Потому что иначе какой смысл?
Регистратор черного ящика TCP
«` Добавьте «TCP Blackbox Recorder», который мы обсуждали у разработчика. саммитов BSDCan и BSDCam в 2017 году. TCP Blackbox Recorder позволяет фиксировать события в TCP-соединении. в кольцевом буфере. Он хранит метаданные с событием. Он опционально хранит заголовок TCP, связанный с событием (если событие связано с package), а также опционально хранит информацию о сокетах. Он поддерживает установку идентификатора журнала для TCP-соединения и использование его для корреляции несколько подключений с общим идентификатором журнала.
Вы можете регистрировать соединения в различных режимах. Если вы проводите скоординированную тест с определенным соединением, вы можете указать системе вставить его в режим 4 (непрерывный сброс). Или, если вы просто хотите отслеживать ошибки, вы можно перевести его в режим 1 (кольцевой буфер) и сбросить все связанные кольцевые буферы с идентификатором соединения, когда мы получаем сигнал об ошибке для этого соединения Я БЫ. Вы можете установить режим по умолчанию, который будет применяться к определенному соотношению. входящих подключений. Вы также можете вручную установить режим, используя сокет вариант. Этот коммит включает только базовые проверки. rrs@ добавил довольно много зондов в его работе по развитию TCP. Он планирует совершить их в ближайшее время. Есть программы пользовательского пространства, которые мы планируем зафиксировать как порты. Они читают данные из журнала устройства и выходные файлы pcapng, а затем позвольте вам анализировать данные (и метаданные) в файлах pcapng.
Отзыв: gnn (предыдущая версия) Получено от: Netflix, Inc. Отношения: да Дифференциальная версия: https://reviews.freebsd.org/D11085 «`
**Цифровой океан**
Не по пути, KDE4
KDE4 был грубо отодвинут в сторону во FreeBSD. Он по-прежнему устанавливается (используйте x11/kde4) и должен обновляться без проблем, но это еще один шаг к добавлению современного KDE (Plasma 5 и приложений) в официальное дерево портов FreeBSD. Это заняло много времени, в основном по административным причинам, чтобы выровнять все биты, чтобы люди, придерживающиеся KDE4 (которыми на данный момент были бы все, кто использует KDE из официальных портов и пакетов на FreeBSD), не получили сломанный рабочий стол. Мы этого не хотим. Но теперь, когда все, что основано на Qt4 и kdelibs4, было отодвинуто в сторону путем добавления к ним суффикса -kde4, у нас есть свободные имена без суффиксов, указывающие на самые последние и лучшие из апстрима.
Пользователи KDE4 увидят множество пакетов, перемещаемых и переименовываемых, но никаких функциональных изменений. Любопытно, что рабочий стол KDE4 зависит от Qt5 и KDE Frameworks 5 — и уже довольно давно, потому что значки Oxygen используются совместно с KDE Frameworks, но прежде всего потому, что FileLight некоторое время назад был обновлен до современной версии KDE Applications (KDE4 версии были серьезные ошибки, хотя я не могу вспомнить, какие они были). Теперь, когда имена подчищены, мы можем подумать о том, чтобы вернуть пользователям KDE4 версию с ошибками.
С этого момента у нас выстроились следующие вещи:
- Над Qt 5.10 ведутся работы, за исключением WebEngine (это слишком сильно замедлит обновление), потому что Plasma скоро захочет Qt 5.10.
- CMake 3.11 находится на этапе -rc, так что он настраивается.
- Ветка kde5-import в копии KDE-FreeBSD дерева портов FreeBSD (например, Area51) готовится и полируется для нескольких больших коммитов SVN, которые добавят все новые биты.
Итак, мы годами говорили «Настоящее Скоро Сейчас™», но теперь все стало «Реальнее Рано Сейчас™».
Взлом дисковой системы Dell FS12-NV7 и других серверов 2U (например, C6100)
Некоторое время назад я делал обзор Dell FS12-NV7 — стоечного сервера высотой 2U, который продают дешево все и вся. Это мощная коробка даже по современным меркам, но одним из ее больших недостатков является дисковая система, с которой она поставляется. Но этого не должно быть.
Есть два жизнеспособных решения, в зависимости от того, что вы хотите сделать. Вы можете использовать объединительную плату SAS, используя диски SAS и/или SATA, или вы можете использовать меньше дисков SATA и освободить один или несколько слотов PCIe в качестве плана Б. Вероятно, у вас есть FS12, потому что он хорошо подходит для создания диска. массив (или даже FreeNAS), поэтому сначала я разберусь с планом А.
Как и большинство серверов Dell, он поставляется с контроллером Dell PERC RAID SAS, точнее, PERC6/i.
Это «я» означает, что у него есть внутренние связи; /E такой же, но его сокеты внешние.
PERC подключается к объединительной плате с двенадцатью слотами, образуя массив дисков в передней части корпуса. Подробнее о объединительной плате позже; вам нужно беспокоиться о PERC.
PERC6 на самом деле представляет собой карту LSI Megaraid 1078, и это именно то, что вам нужно, если вы используете операционную систему, такую как Windows, которая не поддерживает диспетчер томов, чередование и другие взрослые вещи. Или если в вашей ОС есть эти функции, но вы просто не доверяете им. Если вы используете такую ОС, вы также можете придерживаться PERC6, и удачи вам. Если вы используете BSD (включая FreeNAS), Solaris или дистрибутив Linux, который работает с дисковыми массивами, читайте дальше. PERC6 — это решение проблемы, которой у вас, вероятно, нет, но во всех других отношениях это индейка. Вам действительно нужен простой HBA (адаптер главной шины), который позволяет вашей умной операционной системе напрямую взаимодействовать с дисками.
Любая карта SAS на базе 1078 (например, PERC6), скорее всего, будет иметь проблемы с дисками емкостью более 2 ТБ. Я не совсем уверен, почему, но подозреваю, что это относится только к SATA. К сожалению, у меня нет очень больших дисков SAS, чтобы проверить эту теорию. Ограничение в 2 ТБ на самом деле не является такой проблемой, когда вы говорите о высокопроизводительном массиве, поскольку в любом случае лучше использовать множество небольших дисков. Но это имеет значение, если вы создаете очень большое хранилище данных и не возражаете против более медленного доступа и значительного времени резервного копирования при замене диска. А для больших хранилищ данных очень большие диски SATA сэкономят вам много денег. Наилучшее соотношение емкости и стоимости у дисков SATA 5 Гбит
Некоторые Dell PERC можно повторно прошить микропрограммой LSI и использовать как обычный HBA. К сожалению, PERC6 не является одним из них. Я считаю, что PERC6 / R может быть, но те, что я видел в FS12, просто слишком устарели.
Поэтому первое, что вам нужно сделать, это выбросить их на переработку или попытаться продать на eBay.
Фактически в большинстве машин установлено две карты PERC6, каждая из которых поддерживает восемь каналов SAS через два разъема SFF-8484 на каждой плате. Учитывая наличие двенадцати слотов для дисков, один из PERC используется только наполовину. Иногда у них есть кабель, идущий к аккумулятору, расположенному рядом с вентиляторами. Это используется в отчаянной попытке сохранить данные в кеше карты в безопасности, чтобы избежать дыр записи, повреждающих NTFS во время сбоя питания, хотя данным в кешах на диске не так повезло. Если вы используете такую файловую систему, убедитесь, что у вас есть ИБП для всей партии.
Но мы собираемся избавить PERC от наших страданий и заменить их новыми хорошими адаптерами LSI HBA, которые будут выполнять требования нашей операционной системы и позволять ей взаимодействовать с дисками так, как ей лучше всего известно. Но что выбрать? Сначала нам нужно знать, что мы подключаем.
В передней части корпуса расположены двенадцать металлических слотов для дисководов с задней панелью. Dell производит машины либо с объединительными панелями, либо с расширителями. Объединительная плата имеет канал SAS 1:1 для подключения привода; расширитель берет один канал SAS и мультиплексирует его (обычно) на четыре диска. Вы всегда можете заменить черную панель на расширитель, но мне нравится характер объединительной платы 1:1. Это быстрее, особенно если вы настроены как массив. И, кроме того, мы не хотим тратить больше денег, чем нам нужно, иначе мы бы не гонялись за дешевым сервером 2U, во-первых, — экспандеры дорогие. Как ни странно, адаптеры HBA дешевы по сравнению с ними. Итак, нам нужно двенадцать каналов SAS, которые будут подключаться к разъемам на задней панели.
HBA, который вы, вероятно, захотите использовать, — это LSI, так как они отлично поддерживаются ОС. Другие карты доступны, но убедитесь, что драйверы также доступны. Очевидным выбором для поклонников SAS является LSI 9211-8i, который имеет восемь внутренних каналов.
Он основан на чипе LSI серии 2000, 2008, который является стандартом де-факто. Существует также четырехканальная версия -4i, так что вы можете получить свои двенадцать каналов, используя по одному из каждого, но в наши дни разница в цене невелика, поэтому вы можете купить две карты -8i. Если вы хотите дешевле, есть эквивалентные карты на основе 1068, и они отлично работают примерно за половину цены. Они, вероятно, не будут работать с большими дисками, работают только на 3Gb и оригинальном стандарте SAS. Тем не менее, серия 2000 стоит всего около 25 фунтов стерлингов и дает вам больше возможностей для будущего. Хорошая инвестиция. И наоборот, последние карты серии 3000 могут делать некоторые дополнительные вещи (особенно с активными кабелями), но я не вижу большого преимущества в том, чтобы платить мегабаксы за одну, если вы не собираетесь действительно высокого класса — в этом случае NV12 не коробка для вас в любом случае. И вам понадобятся очень быстрые диски и более быстрая объединительная плата, чтобы увидеть какое-либо преимущество в скорости.
И, возможно, новая материнская плата….
Я не знаю, можно ли использовать 6Gb SAS2 9211-8i на объединительной плате, которая была разработана для 3Gb. Если это так важно для вас, вам, вероятно, нужно потратить намного больше денег. Массив дисков с прямым 3Gb на каждый диск будет достаточно быстро переключаться для большинства целей.
После того, как вы удалили PERC и подключили современные адаптеры главной шины 9211, следующей проблемой станет кабель. Как PERC, так и объединительная плата имеют многоканальные разъемы SFF-8484, которые вы можете не узнать. SAS — это система «точка-точка», такая же, как SATA, а многополосный кабель — это просто четыре одиночных кабеля в жгуте с одним штекером. (В более новых версиях SAS их больше). Многополосные разъемы SFF-8484 довольно редки (но, к сожалению, это не делает их ценными, если вы надеялись продать их на eBay). Мир быстро переключился на SFF-8087 для многополосных SAS. Сигналы электрически одинаковы, но разъем не тот.
Создайте и вставьте сюда свой рекламный код. Если оставить поле пустым, место размещения рекламы будет выделено на страницах вашего блога с напоминанием о необходимости ввести код. Середина поста Итак, с этой объединительной платой есть две загвоздки. Во-первых, он предназначен для работы с контроллерами PERC; во-вторых, у него старые разъемы SFF-8484 сзади, а любые кабели SAS, которые вы найдете, скорее всего, имеют SFF-8087.
Перво-наперво — на объединительной плате есть перемычка, которая указывает, взаимодействует ли она с PERC или стандартным LSI HBA. Все, что вам нужно сделать, это найти его и изменить его. К счастью, перемычек на выбор очень мало (например, две), и вы знаете, что ссылка уже не в том месте. Так что пробуйте их по одному, пока не сработает. Тот, который вам нужен, может быть помечен как J15, но я бы не хотел говорить, что он одинаков для всех вариантов.
Вторая проблема: кабель. Вы можете получить кабели с SFF-8087 на одном конце и SFF-8484 на другом.
Это должно работать. Но обычно они довольно дорогие. Если вы хотите сделать свой собственный, это PITA, но, по крайней мере, у вас уже есть разъемы (при условии, что вы не привязывали их к кабелям PERC).
Я не знаю, какой комитет разработал кабельные соединители SAS, но простота конструкции не была на первом месте в их коллективном сознании. По сути, вы припаиваете витую пару к крошечной печатной плате. Это, конечно, механический мусор, так как малейшее усилие на тросе поднимет гусеницу. Поэтому принято покрывать весь стык затвердевшей массой (технический термин) для его защиты. Перемонтировать разъемы SAS определенно непросто.
Я пробовал различные способы припаивания к ним, ни один из которых не был удовлетворительным или полезным. Один из способов заключается в том, чтобы закрепить все оголенные провода, которые вы хотите припаять, с помощью зажима типа «бульдог», чтобы они были выровнены по горизонтали, а затем нажать и отрегулировать зажим, чтобы они аккуратно прижались к дорожкам на плате, внося окончательные корректировки.
с сильным увеличительным стеклом и тонким пинцетом. Затем вы можете либо припаять их тонким утюгом с регулируемой температурой, либо предварительно покрыть контактные площадки паяльной пастой и прошить ее с помощью паяльной станции SMD. Я хотел бы знать, как они на самом деле производятся — с использованием прецизионного приспособления, как я полагаю.
«Легкий» способ — вообще не припаивать разъемы; просто разрежьте существующие кабели пополам и соедините один с другим. Для этого я использовал макетную матричную плату. Зачистите и скрутите проводники, протолкните их через отверстие и припаяйте. Это делает вещи компактными, но управляемыми. Здесь мы имеем дело с витой парой, поэтому держите витки как можно ближе к плате — на самом деле это работает довольно хорошо.
Тем не менее, теперь я нашел источник соответствующего кабеля по разумной цене, поэтому я больше этим не занимаюсь. Свяжитесь со мной, если вам нужно в Великобритании.
Остается только подключить HBA к объединительной плате, вставить несколько дисков и готово.
Если вы находитесь на этом этапе, это «просто работает». Индикаторы доступа для всех дисков делают свое дело, как и должны. Единственная загадка заключается в том, как вы можете заставить загореться светодиод идентификации; этим может управлять PERC, когда он обнаруживает сбой, используя так называемый канал боковой полосы, или он может управляться электроникой на объединительной плате. Боюсь, его работа до сих пор остается загадкой — на борту слишком много электроники, чтобы быть полностью пассивной объединительной платой.
План Б: SATA
Если вы планируете использовать только диски SATA, особенно если вы не собираетесь использовать более шести, то вообще нет смысла заморачиваться с SAS. Материнская плата Gigabyte поставляется с полдюжиной отличных каналов SATA 3 Гбит/с, а если вам нужно больше, вы всегда можете поставить еще один контроллер в слот PCIe или даже USB. Преимущества заключаются в более низкой стоимости, и вы можете освободить два слота PCIe для более интересных вещей.
Недостатком является то, что вы не можете использовать объединительную плату SAS, но вы можете использовать монтажные отсеки.
Снятие объединительной панели выглядит сложно, но на самом деле это не так, если приглядеться поближе. Сначала выньте вентиляторы (удерживаемые резиновыми блоками), открутите пару винтов, и он просто поднимется и выскользнет. Затем вы можете вставить и зафиксировать диски и подключить разъемы SATA непосредственно к задней части дисков. Вы даже можете выдвинуть их снова, не открывая корпус, если кабель достаточно длинный и вы вручную отсоединяете кабель, когда он вынимается. И давайте смотреть правде в глаза — диски, скорее всего, прослужат долгие годы, поэтому даже с полдюжиной не так уж сложно время от времени открывать корпус.
Далее идет мощность. Блок питания имеет специальный разъем для объединительной платы и два стандартных разъема питания SATA. Вы можете разделить эти три пути с помощью адаптера, но если у вас много дисков, вы можете перемонтировать кабели, идущие к штекеру объединительной платы.