Iscsi протокол: iSCSI и другие

Содержание

iSCSI и другие

Вступление

С появлением Fibre Channel и SAN, построенных на нем, мир storage сделал ставку на сетевой доступ к системам хранения. Практически все в один голос заявили, что за сетями хранения данных — будущее. На протяжении нескольких лет FC интерфейс оставался безальтернативным стандартом для их построения, но уже сегодня многие понимают, что наступает время перемен. В SAN на основе FC есть пара серьёзных недостатков — это цена и проблемы доступа к географически (на расстоянии больше сотен км) отдаленным устройствам. В последнее время возник ряд инициатив, которые находятся на этапе стандартизации и призваны решить или же обойти указанные проблемы. Интереснейшая из них — iSCSI.

Буквосочетание iSCSI все чаще попадает на страницы газет и проспекты ведущих производителей систем хранение данных. Загляните на ресурсы, посвященные storage, и вы обязательно его увидите. Но, просмотрев статьи и новости, вы скорее всего найдете массу абсолютно противоположных утверждений: одни преподносят iSCSI как неопровержимого лидера для сетей хранения данных уже в недалеком будущем, другие поставили на нем крест еще до его рождения.

Sun стала в оппозицию к ІP Storage

Sun стала в оппозицию к IP Storage. Sun Microsystems не будет выпускать систем хранения данных с доступом по IP. Марк Канепа, вице-президент Sun, ответственный за производство всех систем хранения данных, заявил на днях, что IP Storage был всего лишь «мечтой», сообщает Byte and Switch.

Канепа сказал, что «непрактично применять TCP/IP для организации SAN из-за большей задержки в таких сетях. Даже если у сетей хранения на основе IP есть будущее, то наступит оно через три-пять лет, а возможно, не наступит никогда. Поток от систем хранения данных не может работать поверх стека протоколов общего назначения, у него есть особые потребности. Технологические трудности внедрения TCP/IP намного более велики, чем многие думают. Именно поэтому мы в Sun делаем ставку на Fibre Channel», сказал он. До сих пор никто из производителей систем хранения данных не занимал столь четкой позиции против IP Storage. Конкуренты Sun, компании Hewlett-Packard и IBM, более или менее активно поддерживают эти технологии.

17 декабря, 2001: www.ustar.kiev.ua

HP обещает поддержку iSCSI

«Окончательная версия новой технологии должна появиться в первом квартале 2002 года, — сообщил руководитель подразделения систем сетевого хранения HP Марк Томпсон. Корпорация намеревается представить широкий спектр продуктов, которые поддерживают стандарт, іSCSI, предназначенный для объединения систем хранения в ІP-сетях…»

В HP признают, что пользователи систем Fibre Channel чувствуют себя достаточно комфортно и большее тяготеют к модернизованной технологии FCIP, чем к іSCSI. Но, в то же время, в HP верят, что опыт работы с решениями, основанными на протоколе ІP, и в особенности с Ethernet, сделает продукты іSCSI привлекательными для многих заказчиков.

Computerworld, #35/2001: «Федеративные системы хранения»

IBM выпускает продукт на базе iSCSI

IBM TotalStorage IP Storage 200i обеспечивает прямое подключение накопителей Ethernet LAN. Эта высокоскоростная система хранения данных поддерживает новый промышленный стандарт iSCSI, что обеспечивает передачу SCSI протокола поверх IP.

Ну что ж, столь противоречивые сообщения не оставляют нам другого выбора кроме как разобраться самим и самостоятельно взвесить все «ЗА» или «ПРОТИВ».

iSCSI

«iSCSI (Internet Small Computer System Interface) — это протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами».

Определение SNIA — IP Storage Forum: www.snia.org

iSCSI описывает:

  • Транспортный протокол для SCSI, который работает поверх TCP
  • Новый механизм инкапсуляции SCSI команд в IP сети
  • Протокол для новой генерации систем хранения данных, которые будут использовать «родной» TCP/IP

Сразу возникает негодование, хочется все разложить по отдельным кучкам. Как говорил один мой преподаватель: «Котлеты отдельно, мухи отдельно». Дело в том, что правила доставки пакетов в IP и SCSI абсолютно противоположные. В IP пакеты доставляются получателю без соблюдения строгой последовательности, он же и восстанавливает данные, на что затрачиваются определенные ресурсы. В то же время, по спецификации SCSI, как канального интерфейса, все пакеты должны передаваться один за другим без задержки, а нарушение этого порядка приводит к потере данных. Несмотря на то, что, по мнению некоторых специалистов, эта проблема вносит неоднозначность в практическое использование технологии iSCSI, на сегодня уже реализован ряд устройств, которые подтверждают ее жизнеспособность. Инженеры, которые работали над iSCSI, смогли определенным образом решить эту проблему. Спецификация iSCSI требует увеличения размеров заголовка пакета. В заголовок включается дополнительная информация, которая значительно ускоряет сборку пакетов.

По мнению одного из болельщиков iSCSI, Хеймора, старшего системного инженера университета штата Юта, основным препятствием для распространения Ethernet как базовой технологии построения сетей хранения данных является относительно большое время задержки (близкое к 75 микросекундам), которое возникает из-за особенностей стека TCP/ІР. В High-End системах при одновременном обращении к тысячам файлов это может стать серьезной проблемой.

Специалисты, которые работают над iSCSI, осознают значение проблемы задержки. И несмотря на то, что разрабатывается масса средств для уменьшения влияния параметров, которые служат причиной задержки при обработке IP пакетов, технология iSCSI позиционируется для построения систем среднего уровня.

iSCSI развивается очень быстро. Потребность в новом стандарте ощущалась так сильно, что буквально за 14 месяцев с момента предложения по созданию iSCSI, с которым в феврале 2000 года выступила IETF, появилось достаточно много устройств, чтобы продемонстрировать возможности по их взаимодействию. В июле 2000-го был опубликован Draft 0 по iSCSI, который стал началом работ по реализации технологии. В январе 2001 года в рамках SNIA (Storage Networking Industry Association) был создан IP Storage форум, который через полгода уже насчитывал 50 членов, а в апреле этого же года был представлен продукт, который в скором времени выиграл награду «Enterprise Networking Product».

Что же такого замечательного в iSCSI, что он находит поддержку среди грандов компьютерной индустрии, не считаясь с существующими внутри стандартам противоречиями.

Некоторые из важнейших прикладных задач и функций, реализуемые с использованием систем хранения данных, это:

Задачи, которые эффективно реализуются современными методами:

    · Консолидация систем хранения данных · Резервирование данных · Кластеризация серверов · Репликация (дублирование) · Восстановление в аварийных ситуациях

Новые возможности, которые эффективно реализуются с использованием IP Storage:

    · Географическое распределение SAN · QoS · Безопасность

Вместе с этим, новые системы хранения данных, для которых iSCSI будет родным протоколом, сформируют еще массу преимуществ:

    · Обеспечивается единая технология для подсоединения систем хранения, серверов и клиентов в рамках LAN, WAN, SAN · Наличие значительного опыта индустрии в Ethernet и SCSI технологиях · Возможность значительного географического отдаления систем хранения · Возможность использовать средства управления TCP/IP сетями

Причем, для передачи данных на storage с интерфейсом iSCSI можно использовать не только носители, коммутаторы и маршрутизаторы существующих сетей LAN/WAN, но и обычные сетевые карточки на стороне клиента. Правда, при этом возникают значительные накладные расходы процессорной мощности на стороне клиента, который использует такую карточку. По утверждению разработчиков, программная реализация iSCSI может достичь скоростей среды передачи данных Gigabit Ethernet при значительной, до 100% загрузке современных CPU. В связи с чем, рекомендуется использование специальных сетевых карточек, которые будут поддерживать механизмы разгрузки CPU от обработки стека TCP. На момент написания статьи (Июнь 2002 года), такие карточки производила компания Intel.

Intel PRO/1000T IP Storage Adapter предлагается компанией Intel по цене 700USD за штуку. Это устройство содержит мощный процессор Xscale, 32M памяти и осуществляет передачу вычислений, связанных с протоколами iSCSI и TCP/IP, а также расчет контрольных сумм кадров TCP, IP на интегрированный процессор. Его быстродействие, согласно внутренним тестам компании, может достигать 500Mbit/s при 3-5% загрузке CPU host системы.

Давайте рассмотрим iSCSI повнимательней


Рисунок 1. IP сеть с использованием iSCSI устройств

В примере, изображенном на рисунке 1, каждый сервер, рабочая станция и накопитель поддерживают Ethernet интерфейс и стек протокола iSCSI. Для организации сетевых соединений используются IP маршрутизаторы и Ethernet коммутаторы.

С внедрением SAN мы получили возможность использовать SCSI протокол в сетевых инфраструктурах, обеспечивая высокоскоростную передачу данных на уровне блоков между множественными элементами сети хранения данных.

Internet Small Computer System Interface тоже обеспечивает блочный доступ к данным, но не самостоятельно, а поверх сетей TCP/IP.

Архитектура обычного SCSI базируется на «клиент»/«серверной» модели. «Клиент», например сервер, или рабочая станция, инициирует запросы на считывание или запись данных с исполнителя — «сервера», например системы хранения данных. Команды, которые выдает «клиент» и обрабатывает «сервер» помещаются в Command Descriptor Block (CDB). «Сервер» выполняет команду, а окончание ее выполнения обозначается специальным сигналом. Инкапсуляция и надежная доставка CDB транзакций между инициаторами и исполнителями через TCP/IP сеть и есть главная задача iSCSI, причем ее приходится осуществлять в нетрадиционной для SCSI, потенциально ненадежной среде IP сетей.

Перед вами модель уровней протокола iSCSI, которая дает возможность понять порядок инкапсуляции SCSI команд для передачи их через физический носитель.


Рисунок 2. Модель нижних уровней протокола iSCSI

iSCSI протокол осуществляет контроль передачи блоков данных и обеспечивает подтверждение достоверности завершения операции ввода/вывода. Что, в свою очередь, обеспечивается через одно или несколько TCP соединений.

іSCSI имеет четыре составляющие:

  • Управление именами и адресами (iSCSI Address and Naming Conventions).
  • Управление сеансом (iSCSI Session Management).
  • Обработка ошибок (iSCSI Error Handling).
  • Безопасность (iSCSI Security).
Управление именами и адресами
Так как iSCSI устройства являются участниками IP сети, они имеют индивидуальные Сетевые Сущности (Network Entity). Сетевая Сущность может содержать одних или несколько iSCSI Узлов.


Рисунок 3. Модель сетевых сущностей

iSCSI узел является идентификатором SCSI устройств (в Сетевой Сущности), доступных через сеть. Каждый iSCSI узел имеет уникальное iSCSI имя (длиной до 255 байт), которое формируется по правилам, принятым для обозначения узлов в Internet. Например: «fqn.com.ustar.storage.itdepartment.161». Такое название имеет удобную для восприятия человеком форму и может обрабатываться Сервером Доменных Имен (DNS). Таким образом, iSCSI имя обеспечивает корректную идентификацию iSCSI устройства вне зависимости от его физического местонахождения. В то же время, в процессе контроля и передачи данных между устройствами удобнее пользоваться комбинацией IP адреса и TCP порта, которые обеспечиваются Сетевым порталом (Network Portal). iSCSI протокол дополнительно к iSCSI именам обеспечивает поддержку псевдонимов, которые, как правило, отображаются в системах администрирования для удобства идентификации и управления администраторами системы.

Управление сеансом

iSCSI сессия состоит из фаз аутентификации (Login Phase) и фазы обмена (Full Feature Phase), которая звершается специальной командой.

Фаза аутентификации iSCSI аналогична процессу Fibre Channel Port Login (PLOGI). Она используется для того, чтобы согласовать разнообразные параметры между двумя Сетевыми Сущностями и подтвердить право доступа инициатора. Если фаза аутентификации iSCSI завершается успешно, исполнитель подтверждает login инициатору, иначе логин не подтверждается, а TCP соединение закрывается.

Как только login подтвердится, iSCSI сессия переходит к фазе обмена. Если было установлено более одного соединения TCP, iSCSI требует, чтобы каждая пара команда/ответ проходила через одно TCP соединение. Такая процедура гарантирует, что каждая отдельная команда считывания или записи будет осуществляться без необходимости дополнительно отслеживать каждый запрос по поводу его прохождения по разным потокам. Однако разные транзакции могут одновременно передаваться через разные TCP соединения в рамках одной сессии.


Рисунок 4. Пример iSCSI Write

В завершение транзакции инициатор передает/принимает последние данные, а исполнитель отправляет ответ, который подтверждает успешную передачу данных.

В случае необходимости закрыть сессию, используется команда iSCSI logout, которая передает информацию о причинах завершения сессии. Она также может передать информацию о том, какое соединение следует закрыть в случае возникновения ошибки соединения, чтобы закрыть проблемные TCP связи.

Обработка ошибок

В связи с высокой вероятностью возникновения ошибок при передаче данных в некоторых типах IP сетей, в особенности WAN реализациях, в которых может функционировать iSCSI, протокол предусматривает массу мероприятий по обработке ошибок.

Для того, чтобы обработка ошибок и восстановление после сбоев функционировали корректно, как инициатор, так и исполнитель должны иметь возможность буферизации команд до момента их подтверждения. Каждое конечное устройство должно иметь возможность выборочно восстановить утраченный или испорченный PDU в рамках транзакции для восстановления передачи данных.

Иерархия системы обработки ошибок и восстановление после сбоев в iSCSI включает:

  1. На наиболее низком уровне — определение ошибки и восстановление данных на уровне SCSI задачи, например, повторение передачи утраченного или поврежденного PDU.
  2. На следующем уровне — в TCP соединении, которое передает SCSI задачу, может произойти ошибка, а именно, TCP соединение может повредиться. В этом случае осуществляется попытка восстановить соединение.
  3. И наконец, сама iSCSI сессия может испортиться. Терминация и восстановление сессии, как правило, не требуется, если восстановление корректно отрабатывается на других уровнях, однако может произойти обратное. Такая ситуация требует закрытия всех TCP соединений, завершения всех задач, недовыполненных SCSI команд и перезапуска сессии через повторный login.
Безопасность

В связи с использованием iSCSI в сетях, где возможен несанкционированный доступ к данным, спецификация предусматривает возможность использования разнообразных методов для повышения безопасности. Такие средства шифрования, как IPSec, которые используют нижние уровни, не требуют дополнительного согласования, так как являются прозрачными для верхних уровней, в том числе для iSCSI. Для аутентификации могут использоваться разнообразные решения, например такие, как Kerberos, или обмен Частными Ключами, в качестве репозитария ключей может использоваться iSNS сервер.

Другие (iFCP, FCIP)

В рамках работы над сетевыми технологиями хранения данных в Internet Engineering Task Force (IETF) была создана рабочая группа IP Storage (IPS) по направлениям:

  • iSCSI (Internet Small Computer Systems Interface)
  • FCIP (Fibre Channel over TCP/IP)
  • iFCP (Internet Fibre Channel Protocol)
  • iSNS (Internet Storage Name Service)

А также, как уже отмечалось, в январе 2001 в рамках SNIA (Storage Networking Industry Association) был организован IP Storage форум. Сегодня форум включает три подгруппы: FCIP, iFCP, iSCSI. Каждая из которых представляет протокол, который находится под протекцией IETF.

FCIP — созданный на базе TCP/IP туннельный протокол, функцией которого является соединение географически отдаленных FC SAN без какого-либо влияния на FC и IP протоколы.

iFCP — созданный на базе TCP/IP протокол для соединения FC систем хранения данных FC сетей хранение данных, используя IP инфраструктуру совместно или вместо FC коммутационных и маршрутизирующих элементов.

iSCSI — рассматривается выше…

Для лучшего понимания позиционирования этих трёх протоколов приведем структурную схему сетей, построенных с их использованием.


Рисунок 5. Блок-схема IP Storage сетей

Fibre Channel over IP

Наименее революционным из трех названых выше является протокол Fibre Channel over IP. Он не вносит практически никаких изменений в структуру SAN и в организацию самых систем хранения данных. Главная идея этого протокола — реализация возможности объединения географически отдаленных сетей хранения данных.

Вот так выглядит стек протокола FCIP:


Рисунок 6. Нижние уровни протокола FCIP

FCIP помогает эффективно решить задачу территориального распределения, и объединения SAN на больших расстояниях. Его основными преимуществами является то, что этот протокол полностью прозрачен для существующих FC SAN сетей и ориентирован на использование инфраструктуры современных MAN/WAN сетей. Таким образом, для обеспечения новой функциональности пользователям, которые ищут возможности связать между собою географически отдаленные FC SAN, будет нужен всего лишь FCIP шлюз и подключение к MAN/WAN сети. Географически распределенная SAN, построенная с помощью FCIP, воспринимается SAN устройствами как обычная FC сеть, а для MAN/WAN сети, к которой она подключенная, она представляет обычный IP трафик.

Draft стандарт рабочей группы IETF IPS — FCIP определяет:

  • правила инкапсуляции FC кадров для передачи через TCP/IP;
  • правила использования инкапсуляции для создания виртуальной связи между FC устройствами и элементами FC сети;
  • окружение TCP/IP для поддержки создания виртуальной связи и обеспечение тунелирования FC трафика через IP сеть, включая безопасность, целостность данных и вопрос скорости передачи данных.

Среди прикладных задач, которые можно качественно решить с использованием FCIP протокола: удаленное резервирование, восстановление данных и общий доступ к данным. При использовании высокоскоростных MAN/WAN коммуникаций можно также с успехом применять: синхронное дублирование данных и общий распределенный доступ к системам хранения данных.

iFCP

Internet Fibre Channel Protocol — это протокол, который обеспечивает передачу FC трафика поверх TCP/IP транспорта между шлюзами iFCP. В этом протоколе, транспортный уровень FC замещается транспортом IP сети, трафик между FC устройствами маршрутизируется и коммутируется средствами TCP/IP. Протокол iFCP предоставляет возможность подключать существующие FC системы хранения данных к IP сети с поддержкой сетевых сервисов, которые нужны этим устройствам.

Стек протокола iFCP имеет такой вид:


Рисунок 7. Нижние уровни протокола iFCP

iFCP, согласно спецификации:

  • накладывает кадры FC для их транспортирования на предварительно определенное TCP соединение;
  • FC сервисы передачи сообщений и маршрутизации перекрываются в шлюзовом устройстве iFCP, таким образом, сетевые структуры и компоненты FC не сливаются в общую FC SAN, а управляются средствами TCP/IP;
  • динамично создает IP туннели для FC кадров

Важной особенностью iFCP является то, что этот протокол обеспечивает FC device-to-device связь (связь между устройствами) через IP сеть, которая является значительно более гибкой схемой, если сравнивать ее со связью SAN-to-SAN. Так, например, если iFCP имеет TCP связь между парами портов N_Port двух FC устройств, такая связь может иметь свой собственный уровень QoS, который будет отличаться от уровня QoS другой пары FC устройств.

Заключение

Подводя итоги, хочется выразить свою твёрдую уверенность в том, что Fibre Channel в ближайшее время никуда не исчезнет, рынок FC SAN будет расти и развиваться. В то же время, IP Storage протоколы предоставят возможность эффективно использовать сети хранения данных в тех прикладных задачах, для которых FC не может обеспечить эффективной реализации. Используя протоколы FCIP и iFCP, сети хранения данных станут географически распределенными. А внедрение iSCSI в свою очередь, даст возможность использования преимуществ SAN в сферах, которые до сих пор остаются нереализованными, или реализуются неэффективно в рамках распространенных сегодня технологий.

P.S.

Бурное развитие сетей хранения данных стало основой формирования концепции World Wide Strorage Area Network. WWSAN — всемирная сеть хранения данных и предусматривает создание инфраструктуры, которая обеспечит высокоскоростной доступ и хранение данных, распределенных по всему миру. Концепция очень близкая к существующей сегодня WWW, но имеет в своей основе другие сервисы. Одним из оригинальных примеров является обслуживание «менеджера», который ездит по всему миру с презентациями. WWWSAN предусматривает прозрачное перемещение «мобильных» данных вслед за персональным перемещением их собственника по всему миру. Таким образом, где бы ни находился «менеджер», он всегда будет иметь возможность получить высокоскоростной доступ к нужным ему данным, работа с которыми не будет требовать сложной, временами очень неэффективной синхронизации через WWW.

Можно с уверенностью утверждать, что концепция построения всемирной сети хранения данных идеально вписывается в развитие современных технологий IP Storage.

Термины и сокращения:
  • SAN — Storage Area Network, Сеть Хранения Данных
  • CDB — command descriptor block, протокол дескриптора (описания) команды.
  • PDU — Protocol Data Unit протокольная единица обмена, модуль данных протокола.
  • QoS — сокр. от Quality of Service качество и класс предоставляемых услуг передачи данных (обычно описывает сеть в терминах задержки и полосы сигнала).
  • SNIA — Storage Networking Industry Association, ассоциация индустрии сетевых систем хранения данных.
  • DNS — Domain Name Server, сервер доменных имен.
  • PLOGI — Fibre Channel Port Login.
  • iSCSI — Internet Small Computer Systems Interface
  • FCIP — Fibre Channel over TCP/IP
  • iFCP — Internet Fibre Channel Protocol
  • iSNS — Internet Storage Name Service
  • WWSAN — World Wide Strorage Area Network, всемирная сеть хранения данных
Литература:
  • «SAN после Fibre Channel», — Лукас Мериан. 12.02.2002: Computerworld, #05/2002;
  • IP Storage Tutorial, — SNIA;
  • iSCSI Technical White Paper, — SNIA;
  • Internet Fibre Channel Protocol (iFCP) — A Technical Overview, — SNIA;
  • Storage Forum, — HP EMEA, 12-13 июня 2002 года.

Данную статью можно также прочитать в журнале «Сети и Телекоммуникации» №6, 2002

Преимущества iSCSI, соединения и сессии

Протокол iSCSI впервые был предложен компанией Cisco в 2001 г. В 2004 году протокол был стандартизован IETF в RFC 3720.

iSCSI создан для переноса протокола SCSI (Small Computer Systems Interface), который работал на сети Fibre Channel (FC), в сеть TCP/IP. То есть, iSCSI – это транспортный протокол SCSI для отображения блочного хранилища через сеть TCP/IP.

Методы организации сетевых распределенных хранилищ

Существует три основных метода организации сетевых распределенных хранилищ:

  • FC SAN со SCSI;
  • NAS;
  • iSCSI.

FC SAN очень популярен из-за своей высокой производительности, высокой дальности передачи, возможности работать с данными на уровне блоков, широкого диапазона масштабирования. Недостатки FC SCSI SAN: сложность, высокая стоимость оборудования и обслуживания.

NAS позволяет подключать накопители непосредственно к существующей сети Ethernet. NAS проще и дешевле, но медленнее FC SAN. Транспорт данных в NAS работает на файловом уровне, а не блочном, как в SAN, что существенно замедляет работу таких приложений, как серверы баз данных. По мере увеличения устройств хранения в NAS начинают возникать проблемы масштабирования и управления.

Сравнение методов организации распределенного хранения: FC SAN, NAS и iSCSI SAN (источник: SNIA)

iSCSI дает возможность получать универсальный доступ к накопителям и сетям SAN через Ethernet-сеть с протоколом TCP/IP. Эта сеть может быть как выделенной, так и с работающими на ней другими приложениями. Кроме того, могут быть также добавлены маршрутизаторы и/или коммутаторы сети WAN (wide-area LAN network, не путать с WLAN), чтобы расширить IP-сеть хранения данных для глобальной сети (wide area network) для таких приложений, как удаленное резервирование данных (синхронное или асинхронное) или архивирование на ленточные библиотеки.

Для переноса файлов по IP-сети используется файловая система NFS для распределенных систем хранения. Это дает возможность общего доступа к файлам по многим системам.

В сетях WAN протокол TCP обеспечивает надежность хранения данных, позволяет регулировать перегрузку каналов сети, а также использовать возможности TCP по повторной передачи пакетов, в случае потери пакетов или их задержке на больших дальностях передачи по сети WAN.

Преимущества iSCSI

  • IP-протокол и промежуточное ПО (middleware) для управления, безопасности и качества сервиса QoS (quality of service) могут быть использованы в сетях SAN.
  • Компетенции и опыт пользователя в IP-сетях LAN (local-area network) могут быть применены к сетям SAN на базе IP.
  • За счет использования стандартной IP-инфраструктуры, продуктов и сервисов может быть получена значительная экономия при создании сетей хранения SAN, основным недостатком которых являлась сложность проектирования, недостаточная совместимость и дороговизна развертывания, в то время как iSCSI может существенно сократить эти затраты.
  • Гигабитные Ethernet коммутаторы могут повысить быстродействие SAN, уменьшить число ошибок, могут контролировать параметры потоков. Таким образом, можно обеспечить оптимальные скорости передачи через локальные сети LAN, глобальные WAN, и городские MAN (metropolitan-area networks).
  • iSCSI совместим с существующей инфраструктурой Ethernet и IP WAN, а также с множеством других существующих и будущих IP-протоколов.
  • Единая транспортная технология для сетей хранения, серверов и клиентов в сетях LAN, WAN, SAN.
  • Возможность географического распределения систем хранения
  • Возможность использовать средства управления TCP/IP сетями.

iSCSI может обеспечить хорошие параметры работы блочного хранилища при низких затратах. Этот протокол поддерживается большинством операционных систем и гипервизоров и может работать через стандартные сетевые адаптеры или через специализированные адаптеры HBA (Host Bus Adapters). Кроме того, iSCSI поддерживается большинством корпоративных СХД, где работают приложения второго уровня (Tier 2), которые требуют хорошего, но не превосходного качества работы блочных СХД, а также в СХД, которые используют много хостов одновременно.

iSCSI также популярен среди крупных облачных провайдеров, там часто используются блочные хранилища, которые работают поверх Ethernet.

Стек протоколов iSCSI

Соединения в iSCSI

Для традиционного SCSI, работающего по сети Fibre Channel, существует сервис простых доменных имен (Simple Name Server), работающий с сотнями и тысячами устройств. Однако в сетях IP, устройств может быть гораздо больше.

В IP используется два механизма обнаружения устройств iSCSI.

  • SLP (service locator protocol), позволяющий осуществлять автоматическую настройку ресурсов.
  • Internet Simple Name Server, где принципы Simple Name Server для Fibre Channel были расширены для IP сетей.

Сессия iSCSI

iSCSI сессия состоит из фаз:

  • аутентификации (Login Phase)
  • обмена (Full Feature Phase).

Фаза аутентификации используется для подтверждения права доступа и согласования параметров между iSCSI-инициатором и iSCSI- получателем. Если фаза аутентификации iSCSI завершается успешно, получатель (target) подтверждает доступ инициатору, в противном случае, TCP-соединение прерывается.

После подтверждения доступа iSCSI сессия переходит к фазе обмена. Если было установлено несколько TCP-линков, протокол iSCSI требует, чтобы каждая пара «команда/ответ» проходила через одно и то же TCP-соединение, а не так, чтобы команда проходит через одно ТСР, а ответ – через другое. Такая процедура гарантирует, что каждая отдельная команда считывания или записи будет осуществляться без необходимости дополнительно отслеживать каждый запрос на предмет его прохождения по разным потокам. Однако, в рамках одной сессии несколько транзакций могут одновременно передаваться через несколько ТСР-линков.

Сессии и соединения в iSCSI (источник: SNIA)

Когда транзакция завершается, происходит последний обмен между инициатором и получателем, который подтверждает успешность передачи. Сессия закрывается командой iSCSI logout, передаваемой в конце фазы обмена. Эта команда также передает информацию о причинах завершения сессии. Она также может содержать информацию о том, какой ТСР-линк следует закрыть в случае возникновения ошибки.

Обработка ошибок

Поскольку при передаче по IP-сети (в особенности, WAN) возможны ошибки при передаче, протокол iSCSI содержит много средств по обработке ошибок.

Как инициатор, так и получатель (target) iSCSI должны иметь буфер команд, чтобы получать подтверждения их выполнения, а также они должны иметь возможность восстановления утраченного или испорченного блока данных IP-пакета (PDU) для восстановления сеанса передачи данных.

Средства обработки ошибок и восстановление в iSCSI включают:

  • На низком уровне — определение ошибки и восстановление данных на уровне сеанса связи, например, повторение передачи утраченного или поврежденного PDU.
  • На среднем уровне — при повреждении TCP-линка оба узла iSCSI пытаются восстановить соединение.
  • На высоком уровне – при повреждении сессии iSCSI. Если восстановление корректно отрабатывается на других уровнях, то прерывания сессии, как правило, не требуется. Но если сессию восстановить не удается, то требуется закрытие всех TCP-линков, прерывание всех задач, отмена невыполненных SCSI команд и перезапуска сессии через повторный login.

Особенности iSCSI

При создании iSCSI SAN в той же сети TCP/IP, по которой передаются данные между серверами и рабочими станциями пользователей, могут возникнуть задержки и зависания приложений. Поэтому сети СХД, в общем, должны быть логически изолированы от других систем в рамках LAN или WAN, или даже созданы в виде отдельной коммутируемой сети. Но если пользователей в сети iSCSI немного (небольшая рабочая группа, например), то этим правилом можно пренебречь.

Следует также учесть, что, в случае использования обычных сетевых адаптеров, iSCSI создает нагрузку на процессор сервера, поскольку предусматривает упаковку команд и данных SCSI в пакеты TCP/IP, а также распаковку этих пакетов. Чтобы снизить нагрузку на сервер, можно использовать плату TCP Off-load Engine (TOE) или хост-адаптер iSCSI. В отличие от обычных сетевых плат, эти устройства сами обрабатывают протокол TCP/IP-вычисления на своем процессоре.

Так Fibre Channel или iSCSI?

Подводя итог, можно провести сравнение двух наиболее популярных технологий для сетей хранения: FC или iSCSI.

Fibre Channel, благодаря высокой производительности и надежности, долгое время рассматривался как стандартная технология для корпоративных SAN. Но FC SAN довольно дороги и сложны в развертывании и управлении.

iSCSI SAN стали набирать популярность, поскольку производительность IP-сетей выросла, и стала достаточной для компаний с ограниченным бюджетом. Более того, iSCSI SAN позволяет переиспользовать традиционные сетевые компоненты Ethernet для коннективности между хостами и устройствами хранения, что значительно снижает стоимость развертывания.

Поэтому выбор между двумя этих технологиями зависит от требований компании. FC SAN дают выигрыш в производительности, задержках и IOPS, а iSCSI SAN – проще и дешевле.

Таблица 1. Сравнение FC SAN и iSCSI SAN

Fibre Channel или iSCSI

Сеть

FC SAN

iSCSI SAN

Стоимость

Оптика

Ethernet

Полоса

Высокая

Ниже, чем FC

Производительность

Высокая

Ниже, чем FC, но для небольших компаний достаточна

Накопители

SCSI и FC, производительность и надежность

SATA и SAS, высокая емкость и низкая стоимость

Инструкция по настройке iSCSI хранилища на Windows Server 2012

iSCSI — это сетевой протокол для работы с системами хранения данных (СХД). Он позволяет взаимодействовать по сети с различными системами хранения данных. В упрощенном виде она состоит из следующих частей:

  • iSCSI-target (таргет) — это ресурс, к которому осуществляется доступ посредством протокола iscsi
  • iSCSI-initiator (инициатор) — это хост который инициирует (устанавливает) iSCSI-соединение
  • IQN (iSCSI Qualified Name) — это полный уникальный идентификатор устройства iSCSI, однозначно определяющий данное устройство (есть и у таргета и у инициатора)

Такая система хранения данных может быть организована на практически любой ОС, так как строится на логическом уровне и не требует обязательного наличия специальных устройств хранения данных (дисков, дисковых контроллеров). В большинство ОС эта функция уже включена, и может быть достаточно легко активирована.

Не является исключением и ОС Windows, где компоненты iSCSI являются дополнительными компонентами системы.

Установка iSCSI-таргета.

Для создания таргета нам необходимо через мастер добавления ролей и компонентов диспетчера серверов добавить роль “Сервер цели iSCSI” из раздела “Файловые службы и службы хранилища”.

Для этого необходимо нажать комбинацию клавиш Win-R и в командную строку ввести compmgmt.msc.

Далее запустить мастер установки ролей и компонентов нажав кнопку “добавить роли и компоненты”.

Откроется страница приветствия. Можно просто нажать “Вперед”, а также поставить галочку “Пропускать эту страницу по умолчанию”, если вы не хотите постоянно видеть эту страницу при запуске мастера установки ролей и компонентов, так как эта страница чисто информационная.

После этого, ОС задаст уточняющий вопрос.Выберем установку ролей и компонентов.

Укажем на какие сервера устанавливать роли и компоненты. Выберем интересующий нас сервер и нажмем далее.

Выбираем необходимые из списка ролей сервера. Надо раскрыть Файловые службы и поставить галочку “Сервер цели iSCSI”.

Установка дополнительных компонентов — добавляем нажатием соответствующей кнопки.

После этого выбранная роль отметится галочкой и можно переходить к следующему этапу нажатием кнопки “Далее”.

Установку компонентов можно пропустить, так как они нам в данный момент не нужны, нажав кнопку далее.

После этого, предупреждение о готовности роли к установке. Нажимаем “Установить”. Можно также поставить галочку “Автоматический перезапуск конечного сервера, если требуется” чтобы не перезапускать сервер вручную. Следует иметь ввиду, что нажатие этой галочки перезапускает конечный сервер после установки без дополнительных предупреждений, поэтому используйте ее с осторожностью.

После нажатия кнопки установить запустится процесс установки, можно закрыть это окно нажатием соответствующей кнопки. Следует иметь ввиду что это действие не отменяет процесс установки, а только скрывает текущее окно.

Заходим последовательно в “Диспетчер серверов”-”Файловые службы и службы хранилища”-”Тома”-”Диски”.

Выбираем на каком томе будет храниться наш таргет и в контекстном меню пустого тома выбираем “Создать виртуальный диск iSCSI”.

На первой странице еще раз определяем том на котором будет храниться таргет.

Задаем имя и по желанию описание нашего диска и жмем далее.

Вводим размер диска и определяем как будет выделяться под него пространство — сразу или динамически. Доступный размер под iSCSI-диск показан в самом верху.

Определяем создавать ли новый таргет или присоединить диск к существующему (если они есть).

Задаем имя и описание нового таргета.

Выбираем инициаторы которым можно подключаться к данному таргету (может быть переопределено) посредством кнопки “добавить”. Можно добавить инициаторы через поиск, выбрать из кеша, если ранее инициаторы уже подключались или задать вручную через IQN, DNS-имя, ip или mac-адрес. Как минимум один инициатор должен быть задан. Введем например IQN вручную.

Нам стала доступна кнопка далее.

Можно включить дополнительную проверку подлинности если это необходимо (например таргет публикуется в сети интернет).

На последнем шаге выводится сводная информация по таргету. Проверяем и нажимаем “Создать”.

Начнется процесс создания таргета.

После этого можно подключаться к данному таргету инициатором, заданным на этапе создания.

Спасибо за Вашу оценку! К сожалению, проголосовать не получилось. Попробуйте позже

Jit System

01.04.2019

Подготовьтесь к окончанию поддержки Windows Server 2008

14 января 2020 г. прекращается поддержка Windows Server 2008 и 2008 R2.

08.06.2017

Анонсировано HCI решение от NetApp

Решение построено на основе SolidFire. На начальном этапе поддерживается только VMware.

04.04.2017

VMware: что нового

Что нового в vSphere 6.5 связанного с хранением данных.

22.08.2016

СХД All-Flash получает широкое распространение

По данным опроса ИТ-профессионалов, проведенного IDG Research Services, 75% респондентов уже перешли на массивы all-flash.

02.03.2015

VMWare Enterprise Solution Provider

Компания Джит Систем повысила партнерский статус VMware до уровня Enterprise Solution Provider с компетенцией Server Virtualization.

02.07.2014

Новая система хранения данных HP MSA 1040

Повышение производительности на 50% с уменьшением начальной стоимости на 25% и реализацией 4-го поколения технологий.

19.06.2014

Гибридный массив СХД NetApp FAS2500

Гибридный массив NetApp FAS2500 улучшает показатели окупаемости, уменьшает эксплуатационные расходы и сводит до минимума риски, связанные с ростом.

19.05.2014

Новые системы хранения HP D3000

Дисковая полка HP D3600 с 12 жесткими дисками SAS емкостью 2 Тбайта доступна к заказу.

24.03.2014

Ультрабук HP EliteBook Folio 1040 со склада

Ультрабук HP EliteBook с элегантным дизайном является самым тонким среди Ultrabook™ для бизнеса. HP Elitebook Folio 1040 и оснащен такими функциями бизнес-класса, как док-станция и первоклассная безопасность для высокой производительности и безопасного хранения данных.

27.02.2014

Повышение производительности и гибкости благодаря новым серверам HP ProLiant Gen8 с поддержкой Ivy Bridge-EN

HP представила новую линейку серверов ProLiant Gen8 с поддержкой самых современных процессоров Intel® Xeon® E5-2400 v2 (Ivy Bridge-EN)

12.12.2013

NetApp представляет новые системы EF550 Flash Array, E2700 и обновленную E5500

Высокая скорость, надежность и производительность

08.12.2013

Backup Solution! Одновременная поддержка vSphere 5.5 и Windows Server 2012 R2

ЕДИНСТВЕННОЕ решение для резервного копирования, которое поддерживает одновременно vSphere 5.5 и Windows Server 2012 R2

18.10.2013

Новые рабочие станции HP Z Workstation – в формате ультрабука!

08.07.2013

Cisco pxGrid Framework, архитектура обмена данными в экосистеме сетевой безопасности

Компания Cisco объявила о новых совместных разработках и методах обмена информации в рамках Cisco Security Technology Partner Ecosystem. Эта экосистема использует новую архитектуру обмена данными под названием Platform Exchange Grid (pxGrid).

25.06.2013

Новинка от QNAP – высокопроизводительный 12-дисковый накопитель TS-1270U-RP!

Недавно анонсированная новинка от QNAP – высокопроизводительный 12-дисковый накопитель TS-1270U-RP – уже на складе.

20.05.2013

Мультисенсорный монитор Dell S2340T появился в России

Корпорация Dell представляет на российском рынке 23-дюймовый сенсорный монитор S2340T, оптимизированный для работы под управлением ОС Windows 8. Теперь российские пользователи смогут в полной мере воспользоваться преимуществами новой операционной системы и использовать заложенные в ней функции, подключив монитор к своему устройству: ноутбуку, планшету или ПК.

19.03.2013

Новинка! Коммутаторы серии HP 2920 для поддержки мобильности и возможностей мультимедиа

Благодаря коммутаторам HP 2920 организации могут смело расширять свою инфраструктуру для внедрения новых мобильных приложений и приложений мультимедиа. Коммутаторы HP 2920 — это полностью управляемые коммутаторы доступа Gigabit Ethernet Basic Layer 3 нового поколения.

19.02.2013

Самая совершенная в мире инфраструктура блейд-серверов стала еще лучше!

19 февраля 2013 г. компания HP анонсировала выпуск новой системы HP BladeSystem, самой совершенной в мире инфраструктуры блейд-серверов, созданной на базе технологии нового поколения, что обеспечивает защиту инвестиций.

08.01.2013

Таможенная пошлина на импортные ПК и моноблоки

Таможенные пошлины на ввоз моноблоков и настольных персональных компьютеров с 26 января 2013 года будут повышены с 0% до 10% от таможенной стоимости.

01.01.2013

Dell Project Ophelia – компактное устройство для доступа к облаку

Корпорация Dell анонсировала новый тип клиентского облачного решения – портативное устройство для доступа к облаку Dell Wyse Project Ophelia с поддержкой мультимедийных возможностей. Это устройство размером чуть больше USB-флэшки превращает телевизор или монитор в интерактивный персональный дисплей без использования компьютера, смартфона или планшета.

Выполняю установку, настройку, сопровождение серверов. Для уточнения деталей используйте форму обратной связи

Начну в порядке от самой простой реализации до самой сложной.

Читать далее →

Запись опубликована автором skeletor в рубрике FreeBSD, Linux, Solaris.

Если вам надоели сообщения от iDRAC’a такого плана:

Login attempt alert for root from X.X.X.X using SSH, IP will be blocked for 60 seconds.

То отключить это можно следующим образом: Alerts -> Alerts and Remote System Log Configuration и листаем странички до того, пока не найдём категорию Audit и Alert с именем User Tracking. Дальше снимаем галочку с уведомления в соответствующем столбце, например Email. Нажимаем apply и на этом всё.

Запись опубликована автором skeletor в рубрике Dell.

Сразу скажу, что пишу эту заметку не про стандартное поведение, а про не совсем явное. На всякий случай, уточню, что речь идёт о mysql 8, и, если права позволяют это делать, то проблема в том, что данного пользователя может не существовать, для которого пытаются дать права.

Всё дело в том, что в 8-ой версии процесс создания пользователя и наделения его правами разделили. Теперь нельзя одновременно создать пользователя и дать права. Обязательно как минимум 2 операции.

Запись опубликована автором skeletor в рубрике Базы данных.

Сетевого анализатор sniffglue 0.14.0 , выполняющий анализ трафика в пассивном режиме и использующий многопоточность для распределения работы по разбору пакетов по всем ядрам процессора. Проект нацелен на безопасную и надёжную работу при перехвате пакетов в сетях не заслуживающих доверия, а также на вывод наиболее полезной информации в конфигурации по умолчанию. Код продукта написан на языке программирования Rust и распространяется под лицензией GPLv3+. Поддерживается работа на системах Linux и macOS.

Читать далее →

Запись опубликована автором skeletor в рубрике Разное, мелочи, Шлюз, инет.

Недавно появилась задача использовать собственные маршруты при подключении через OpenVPN на MacOSX. Если это сделать по аналогии с OpenVPN — просто добавить в конфиг параметр up/route-up, то в логе вы увидите, что не удалось выполнить из-за дубликата параметра. Что за ересь? Идём на сайт tunnelblick’a в раздел документации и видим, что нужно использовать специфические имена скриптов. Но куда их ложить?

Нашёл в интернете заметку, где сказано, что ложить их нужно по такому пути /Library/Application Support/Tunnelblick/Users/<user_name>/<config_name>.tlbk/Contents/Resources/, если у вас личный когфиг, или по такому /Library/Application Support/Tunnelblick/Shared/<config_name>.tblk/Contents/Resources, если общий.

Примечание. Если tunnelblick после изменений спросит «обезопасить ли конфигурацию» — отвечайте нет, иначе он удаляет папку с конфигом (а значит и все скрипты) и создаёт заново.

Запись опубликована автором skeletor в рубрике MacOSX, Разное, мелочи, Шлюз, инет.

Да, именно с таким сообщением начала падать kafka спустя некоторое время после запуска. Включение режима debug немного увеличило «понятность»


ERROR Error while accepting connection (kafka.network.Acceptor)
java.net.SocketException: Invalid argument
at sun.nio.ch.Net.setIntOption0(Native Method)
at sun.nio.ch.Net.setSocketOption(Net.java:341)
at sun.nio.ch.SocketChannelImpl.setOption(SocketChannelImpl.java:190)
at sun.nio.ch.SocketAdaptor.setBooleanOption(SocketAdaptor.java:271)
at sun.nio.ch.SocketAdaptor.setTcpNoDelay(SocketAdaptor.java:306)
at kafka.network.Acceptor.accept(SocketServer.scala:654)
at kafka.network.Acceptor.run(SocketServer.scala:579)
at java.lang.Thread.run(Thread.java:748)

Читать далее →

Запись опубликована автором skeletor в рубрике FreeBSD, Linux, Solaris, www, Разное, мелочи.

Что бы запустить скрипт разово, существует несколько методов:

Читать далее →

Запись опубликована автором skeletor в рубрике FreeBSD, Linux, Solaris, Разное, мелочи.

Данная заметка была найдена на просторах интернета, но что бы не потерялась, добавлю себе. И так, если получаем ошибку:

genunix: [ID 702911 kern.notice] basic rctl process.max-stack-size (value 8388608) exceeded by process 938819 uid 80 ...

Читать далее →

Запись опубликована автором skeletor в рубрике Solaris, Разное, мелочи.

Данная ошибка начала возникать после обновления simpleSAML. Причём появляется только на один из ресурсов на который настроено SSO и не у всех, а у нескольких человек. С чем конкретно связано — пока неясно. Начал исследовать, что общего у этих проблемных человек — только то, что работают с одним внешним ресурсом и всё. Не густо…

Читать далее →

Запись опубликована автором skeletor в рубрике www, Программирование, Разное, мелочи.

Данная заметка будет дополняться по мере возникновения таковых и будет содержать особенности, которые мало где описаны и не всегда очевидны.

Читать далее →

Запись опубликована автором skeletor в рубрике Разное, мелочи.

Протокол ISCSI — Русские Блоги

Во-первых, ISCSI.

ISCSI (Интернет SCSI) поддерживает команды SCSI от клиента (инициатора) к устройству хранения SCSI (цель) на удаленном сервере через IP. Имя определения ISCSI используется для определения инициатора и целей, а также использовать iqn.yyyy-мм {ОБРАТНЫЕ ДОМЕННЫЙ}:. Формат этикетки. По умолчанию, сеть связь представляет собой простой текст порта 3260 / TCP на целевом устройстве.

  • ISCSI инициатора: Необходимо получить доступ к исходной SAN сохраненную клиента.
  • ISCSI Target: Удаленный диск жесткий диск, входящий с сервера ISCSI, или «целевой портал»
  • ISCSI Target Portal: Сервер, который обеспечивает цель через сеть.
  • IQN: «ISCSI ограниченное имя». Каждый инициатор и цель требует уникального имени, чтобы определить, лучший способ — использовать имя, которое может быть уникальным в Интернете

Во-вторых, конфигурация службы ISCSI

1. Установите TargetLi и включите службу



2. Новый раздел



## Синхронный раздел таблица PartPProbe

3. Настройте iSCSI.

Сервер

Настройте целевой конец


(1) названный блок устройств


(2) генерировать общее оборудование


(3) Создайте ключ к общему устройству


(4) Создание общего устройства к точке на локальное устройство


(5) Добавление портов совместно используемых устройств


(6) Результат шоу


(7) В открытом состоянии брандмауэра вам нужно добавить порт 3260


Клиент

(1) Установите ISCSi-Itiator-utils

(2) Открытое обслуживание


(3) Перезапустите службу после изменения (ключа шифрования сервера) ключа


(4) Тест 172.25.254.2 хоста Sharing Disk


(5) Connect 172.25.254.2 Host Hard Disk


(6) Посмотреть общий диск


        Диск был общим, вы можете использовать его как правило,

(7) Создание разделов FDISK / DEV / SDA

   

   

           ## Таблица синхронного раздела: PartProbe

## Формат: mkfs.xfs / DEV / sda1


## Временное крепление: mount / dev / sda1 / mnt


## постоянно монтаж

(1) Просмотр UUID

        

     (2)vim   /etc/fstab

     

(3) крепление

     

Удалить клиента

1. Установите услуги дерева


2. Запрос оборудования


3. Временно удалить оборудование



После перезагрузки службы устройство также существует


4. Постоянно удалить


5. Удалить файлы конфигурации на постоянной установке


Удаление услуг

Запрос конфигурации Target


2. Удаление конфигурации


Типы подключения систем хранения данных: DAS, NAS, SAN, Unified

Direct Attached Storage (DAS)

Системы хранения данных с прямым подключением (DAS) реализуют самый известный тип соединения. При использовании DAS сервер имеет персональную связь с СХД и почти всегда является единоличным пользователем устройства. При этом сервер получает блочный доступ к системе хранения данных, то есть обращается непосредственно к блокам данных.

Недостатком прямого способа подключения является небольшое расстояние между сервером и устройством хранения. Типичный интерфейс DAS — SAS 12Gbit. Системы хранения данных такого типа стали терять свою популярность и замещаться оборудованием с SAN подключением.

Network Attached Storage (NAS)

Сетевые системы хранения данных (NAS), также известные как файловые серверы, предоставляют свои сетевые ресурсы клиентам по сети в виде совместно используемых файлов или точек монтирования каталогов. Клиенты используют протоколы сетевого доступа к файлам, такие как SMB (CIFS) или NFS. Файловый сервер, в свою очередь, использует протоколы блочного доступа к своему внутреннему хранилищу для обработки запросов файлов клиентами. Так как NAS работает по сети, хранилище может быть очень далеко от клиентов. Множество сетевых систем хранения данных предоставляет дополнительные функции, такие как снятие образов хранилища, дедупликация или компрессия данных и другие.

Storage Area Network (SAN)

Сеть хранения данных (SAN) предоставляет клиентам блочный доступ к данным по сети (например, Fibre Channel или Ethernet). Устройства в SAN не принадлежат одному серверу, а могут использоваться всеми клиентами сети хранения. Возможно разделение дискового пространства на логические тома, которые выделяются отдельным хост-серверам. Эти тома не зависят от компонентов SAN и их размещения. Клиенты обращаются к хранилищу данных с использованием блочного типа доступа, как и при DAS подключении, но, так как SAN использует сеть, устройства хранения данных могут располагаться далеко от клиентов.

В настоящее время SAN архитектура использует протоколы SCSI (Small Computer System Interface) и NVMe для передачи и получения данных. Fibre Channel (FC) SAN инкапсулирует протоколы SCSI или NVMe в Fibre Channel фреймы. Сети хранения данных, использующие стандартные TCP/IP пакеты, работают с протоколами iSCSI (Internet SCSI) и iWARP (Internet Wide Area Remote Direct Memory Access (RDMA) Protocol).

До появления All Flash СХД велись множество обсуждений по поводу выбора FC или iSCSI для построения сети хранения данных. Некоторые компании фокусировались на невысокой стоимости первоначального развертывания iSCSI SAN, другие выбирали высокую надежность и доступность Fibre Channel SAN. Хотя low-end решения iSCSI дешевле, чем Fibre Channel, с ростом производительности и требований к надежности ценовое преимущество iSCSI SAN исчезает.

Небольшие компании чаще выбирают iSCSI из-за низкого ценового порога входа, при этом они получают возможность для дальнейшего масштабирования SAN. Базовые и нишевые решения используют среду подключения 1/10GBase-T (системы видеонаблюдения, архивы, хранение резервных копий восстановления). Возможно создание недорогих инсталляций на базе интерфейсов 10GbE, но при расширении часто узким местом становятся бюджетные сетевые коммутаторы. Высокоскоростные инсталляции с низкими задержками на базе интерфейсов 10/25GbE не имеет экономических преимуществ по сравнению с FC, но могут быть выбраны по личным предпочтениям.

С появлением All Flash СХД одним из основных требований к сетевой инфраструктуре стали низкие задержки, что является существенным преимуществом FC. NVMe-over-FC поддерживается любым актуальным FC оборудованием и современными операционными системами.

Большинство крупных организаций, которые используют сети хранения данных, выбирают Fibre Channel. Эти компании обычно требуют проверенную технологию, имеют необходимость в высокой пропускной способности и обладают бюджетом для покупки самого надежного и производительного оборудования. Кроме того, они располагают персоналом для управления сетью хранения данных. Некоторые из таких компаний планируют продолжать инвестиции в Fibre Channel инфраструктуру, другие же инвестируют в решения iSCSI, особенно 25/50GbE, для своих HCI решений.

Unified Storage

Универсальные системы хранения данных (Unified Storage) совмещают в себе технологии NAS и SAN в едином интегрированном решении. Эти универсальные хранилища позволяют использовать как блочный, так и файловый тип доступа к общим ресурсам, кроме того, управление такими устройствами проще благодаря ПО, обеспечивающему централизованное управление.

Что такое iSCSI? | SNIA

Словарь SNIA определяет интерфейс малых компьютерных систем Интернета (iSCSI) как транспортный протокол, который обеспечивает передачу протокола SCSI по IP-сети на основе TCP, стандартизированный инженерной группой Интернета и описанный в RFC 3720.

iSCSI — это блочный протокол для сетей хранения данных, который запускает очень распространенный протокол хранения SCSI через сетевое соединение, которым обычно является Ethernet.

iSCSI, как и Fibre Channel, можно использовать для создания сети хранения данных (SAN).Трафик iSCSI может передаваться через общую сеть или выделенную сеть хранения. Однако iSCSI не поддерживает файловый доступ к сетевому хранилищу (NAS) или доступ к объектному хранилищу (они используют разные транспортные протоколы).

Для iSCSI можно использовать несколько транспортов. Наиболее распространенным является TCP / IP через Ethernet, но удаленный прямой доступ к памяти (RDMA) также можно использовать с iSER, который является расширениями iSCSI для RDMA. При использовании iSER транспортным средством является RoCE или InfiniBand, а базовой сетью является Ethernet (для RoCE) или InfiniBand (для транспорта InfiniBand).

iSCSI предлагает хорошую производительность блочного хранилища при невысокой стоимости. Он также широко поддерживается всеми основными операционными системами и гипервизорами и может работать на стандартных сетевых картах или специализированных адаптерах шины хоста (HBA). Он также поддерживается почти всеми корпоративными массивами хранения. По этим причинам он был популярен для приложений так называемого уровня 2, которым требуется хорошая, но не лучшая производительность блочного хранилища, а также для хранилища, которое совместно используется многими хостами. Он также очень популярен среди гипермасштабируемых компаний и крупных поставщиков облачных услуг, когда им требуется решение для блочного хранения, работающее через Ethernet.

iSCSI также можно ускорить с помощью сетевых адаптеров с аппаратной разгрузкой iSCSI и / или TCP Offload Engine (TOE). В первом случае аппаратный адаптер (или HBA) разгружает функцию инициатора iSCSI с ЦП сервера. В последнем случае адаптер разгружает обработку TCP с ядра сервера и процессора.

Быстрый рост более высоких скоростей Ethernet, таких как 25G, 50G и 100G, наряду с увеличением поддержки управления перегрузками и качества обслуживания трафика (QoS) на коммутаторах Ethernet, значительно повысил потенциальную производительность, надежность и предсказуемость iSCSI как хранилища. протокол.

Узнайте больше об iSCSI в нашей образовательной библиотеке


Что такое iSCSI, преимущества протокола iSCSI

Что такое iSCSI, преимущества протокола iSCSI

iSCSI — наиболее экономичное решение

Интерфейс системы малых компьютеров в Интернете, обычно называемый iSCSI, стал одним из самые популярные протоколы сети хранения данных (SAN) благодаря упрощенному управлению и интеграции на основе Интернет-протокола (IP).iSCSI обеспечивает все преимущества блочного хранилища с совместимостью с TCP / IP и позволяет консолидировать хранилище в массивы хранения центра обработки данных, создавая для хостов иллюзию локально подключенных дисков.

iSCSI решает проблемы расстояния, полосы пропускания и стандартизации и делает это с гораздо меньшими затратами. Протокол iSCSI отображает команды SCSI в сети TCP / IP и использует относительно недорогие сетевые компоненты Gigabit Ethernet (GigE) для отправки блоков данных по IP-сети.В результате iSCSI предоставляет ИТ-персоналу альтернативу существующим решениям, таким как Fibre Channel SAN, сочетая при этом знакомство, пропускную способность и низкую стоимость Ethernet с эффективной, быстрой производительностью блочной передачи данных SAN.

Промышленная поддержка

Поддерживается такими крупными компаниями, как Microsoft, IBM, Cisco и Intel, а также утвержденными стандартами Internet Engineering Task Force (IETF), iSCSI готов предоставить технологию SAN следующего поколения простоты, доступности и управляемости.

Благодаря внедрению iSCSI организации теперь имеют возможность использовать инвестиции в существующую сетевую инфраструктуру, одновременно извлекая выгоду от будущего распространения сетевых хранилищ на основе IP.

Преимущества iSCSI:

  • Повышенное использование хранилища и управляемость позволяют снизить общие эксплуатационные расходы.
  • Это снижает начальные затраты и затраты на приобретение оборудования, поскольку в нем используется то же стандартизированное недорогое оборудование Ethernet, что и в локальной сети (LAN).
  • Нет затрат на обучение ИТ-персонала, поскольку он использует знакомую технологию TCP / IP и не требует квалифицированного персонала для установки, настройки и управления сетями, в отличие от Fibre Channel.
  • IP — это универсальная непатентованная технология, используемая во всем мире в течение последних 30 лет. Следовательно, различное сетевое оборудование хранения от разных производителей может работать вместе без проблем.
  • Как протокол на основе IP, iSCSI использует преимущества взаимодействия TCP / IP и Ethernet.
  • Благодаря стандартизации продуктов, совместимых с iSCSI, среды iSCSI SAN можно легко развернуть, используя существующее сетевое оборудование и другие компоненты.
  • iSCSI SAN предлагает гораздо более простые решения для сетевого хранения данных.
  • Используя сетевые компоненты Gigbit Ethernet, организации могут значительно упростить свои сетевые среды хранения данных

iSCSI: протокол для сетей хранения данных на основе IP / Ethernet


Рисунок 1.Типичный iSCSI SAN.

Термин «iSCSI» вызвал много дискуссий (и немало путаницы) за последний год. Этот относительно новый протокол для технологии хранения данных предлагает множество неоспоримых преимуществ, включая высокую производительность и возможность недорогого создания сети хранения данных (SAN) с использованием стандартных компонентов Ethernet.

Но что такое iSCSI? Возможно, сначала будет полезно кратко коснуться того, чем не является iSCSI. Это не подключенное к сети хранилище (NAS).Для этого не требуются диски с интерфейсом малых компьютерных систем (SCSI). Это не протокол обмена файлами, который используется серверами Mac и Windows. Это не протокол Internet Fibre Channel (iFCP), протокол, используемый для соединения островов SAN Fibre Channel (FC) на больших расстояниях. Это также не Fibre Channel Over Internet Protocol (FCIP), протокол туннелирования, используемый для расширения или соединения сетей FC.

iSCSI очень близок к протоколу FC, который разработан для передачи больших объемов данных с низкими накладными расходами и низкой задержкой.Для тех, кто уже знаком с FC, iSCSI можно условно обозначить как «Fibre Channel over Ethernet».

По определению, iSCSI (Internet SCSI или «SCSI over IP») — это стандарт сети хранения данных, который позволяет передавать данные блочного ввода-вывода по IP-сети. iSCSI заменяет архитектуру прямого подключения кабелей SCSI сетевой структурой. По сути, протокол работает, инкапсулируя команды SCSI в пакеты и передавая их через TCP / IP. Другими словами, сеть Ethernet теперь может стать SAN.И как прямой результат этой повсеместной стандартизованной инфраструктуры Ethernet появилось множество интересных функций и преимуществ, которые в противном случае были бы невозможны. Некоторые могут возразить, что простота является ключевым преимуществом использования iSCSI перед FC для развертывания SAN. Причина: iSCSI SAN не обязательно требует специальных знаний об оборудовании, которые считаются необходимым условием для FC. Уже имеется определенный уровень знакомства с различными сетевыми компонентами Ethernet. Таким образом, компания, у которой нет специального штата технических специалистов по сетям хранения, должна чувствовать себя более опытной в обслуживании и устранении неполадок iSCSI SAN.

Где это подходит? Хотя iSCSI, безусловно, может дополнять многие другие технологии хранения, он особенно хорошо подходит для значительной части среднего рынка, то есть для массы пользователей, которым:

  • Требуется значительно большая пропускная способность, чем у NAS или клиент / сервер. предоставлять.
  • Желайте преимуществ SAN.
  • Определили, что FC несколько избыточен для их нужд.

iSCSI SAN может быть здесь решением, поскольку она обеспечивает сравнительно отличную пропускную способность, предоставляет преимущества консолидированного хранилища и требует меньше ресурсов в целом, чем FC, с точки зрения людей и затрат.Цена и производительность реализаций iSCSI для аудио- и видеоприложений могут сильно различаться. При сравнении аналогичных компонентов FC можно ожидать экономии от 40 до 60 процентов с использованием iSCSI. Возможно, можно будет использовать существующие сетевые карты (NIC), коммутаторы и т. Д., Что приведет к дополнительной экономии. Производительность имеет первостепенное значение, когда ожидается, что сеть хранения данных будет передавать большие объемы аудио или видео, т. Е. Производство или публикация с использованием таких приложений, как Digidesign Pro Tools или Apple Final Cut Pro.Здесь iSCSI может преуспеть, тогда как экстремальные требования к пропускной способности обычно заставляют NAS и клиент / сервер использовать push / pull.

Преимущества iSCSI

Уровни пропускной способности, достигнутые в хорошо настроенной сети Gigabit Ethernet (GbE) iSCSI SAN, вызывают удивление. Это особенно очевидно по сравнению с производительностью общих протоколов обмена файлами в аналогичной сети. Протоколы клиент / сервер и NAS, используемые для общего доступа к файлам, редко соответствуют по эффективности протоколам блочного уровня, таким как iSCSI или FC.Важно понимать, что эти протоколы на уровне файлов лучше подходят для пользователей или приложений, которым необходим доступ к определенному файлу, тогда как протоколы на уровне блоков оптимальны для пользователей или приложений, которым постоянно требуется самый быстрый доступ к данным.

В общем, протокол — ключевая причина, по которой чистая «скорость передачи данных» почти никогда не достигается. Ограничением является не доступная пропускная способность (в данном случае 1 Гбит / с). Это накладные расходы используемого протокола. Используя более эффективный протокол, можно более полно использовать полосу пропускания канала.И наоборот, если «узким местом» является труба, более эффективный протокол не поможет. Еще одно существенное преимущество перед FC заключается в том, что iSCSI SAN изначально может охватывать большие расстояния. Сетевые хранилища обычно располагаются на значительном расстоянии от потребителей. Он может быть расположен в коридоре или заперт в каком-нибудь дата-центре. iSCSI, безусловно, удобен в локальной сети.

Но задача безопасного расширения хранилища, особенно хранилища SAN, может стать сложной за пределами университетского городка.iSCSI делает это намного проще. Для безопасного расширения iSCSI SAN через WAN можно использовать не только виртуальную частную сеть (VPN), но также iSCSI поддерживает протокол аутентификации Challenge / Handshake Authentication Protocol (CHAP). CHAP — это расширенный механизм аутентификации, который может помочь гарантировать, что у пользователя или сервера есть действительные учетные данные для подключения к определенному ресурсу в SAN. VPN и CHAP можно использовать вместе или независимо, в зависимости от желаемого уровня безопасности. Вот несколько приложений для iSCSI Storage WAN (SWAN):

  • Удаленное зеркалирование.
  • Выездной архив / резервное копирование.
  • Аварийное восстановление.
  • Доставка контента.

Совместимость iSCSI с существующими программными приложениями практически гарантирована. Это связано с тем, что хранилище iSCSI представляется ОС так, как если бы оно было подключено локально, а не как общий сетевой ресурс. А поскольку хранилище iSCSI рассматривается на уровне блоков, на этих устройствах можно использовать собственную файловую систему операционной системы. Некоторые приложения просто не будут работать в хранилище, которое представлено как общий сетевой ресурс.Это не проблема в среде iSCSI.

Аппаратные требования На базовом аппаратном уровне никаких специальных сетевых компонентов не требуется. (См. Рис. 1.) Однако сомнительно, что многого можно добиться, используя что-то меньшее, чем высококачественные компоненты GbE. Начиная с самого компьютера и заканчивая физическим хранилищем, первый компонент, который следует учитывать, — это сетевой интерфейс. Встроенная сетевая карта GbE, установленная на большинстве компьютеров, обычно достаточна для подключения к сети SAN.Если производительность становится проблемой, подумайте об обновлении сетевой карты. Альтернативой является использование механизма разгрузки TCP / IP (TOE) на сетевом адаптере или адаптере главной шины (HBA).


Рис. 2. Типичная архитектура iSCSI

Это касается дополнительного потока TCP, что снижает вероятность того, что центральный процессор хоста станет узким местом ввода-вывода. По поводу оптимального решения ведутся жаркие споры. Одна сторона поддерживает концепцию ОО; другой считает, что стоимость ОО следует просто применить к более быстрому процессору.Никаких специальных кабелей, кроме тех, которые необходимы для GbE, не требуется. Рекомендуется качественный кабель категории 5e. Хотя это обычно более дорогой кабель, его следует использовать, если этого требуют правила техники безопасности или нормы соответствия.

Управляемого коммутатора Ethernet уровня 3 достаточно для большинства сетей хранения данных iSCSI. Конфигурация самого переключателя имеет первостепенное значение. В качественном коммутаторе GbE могут быть тысячи настроек. Как и в большинстве случаев, чтение руководства и изучение «тонкостей» устройства может быть разницей между беспрецедентным успехом и жалким провалом.

iSCSI подробнее iSCSI работает, инкапсулируя команды SCSI и передавая их через TCP / IP. На противоположных концах сети находятся столпы iSCSI: инициатор и цель. Инициатор, который может быть в виде оборудования или программного обеспечения, установлен на хосте. Основные обязанности инициатора — установить соединение с целью iSCSI и начать передачу информации к ней и от нее. (См. Рис. 2.)


Инициатор iSCSI, устанавливающий первое подключение к цели iSCSI.

Настроить инициатор так, чтобы он мог подключаться к заданной цели, довольно просто. (Пример показан на снимке экрана.) Информацию о подключении можно сделать постоянной, так что настройку нужно будет выполнять только один раз для каждой цели.

Основная функция цели iSCSI — отвечать на запросы, запущенные инициатором. Эта задача выполняется посредничеством запросов инициатора к физическому хранилищу. Целевой объект iSCSI чаще всего принимает физическую форму устройства хранения, хотя также доступны только программные продукты.Независимо от формата цель iSCSI действует как мост между сетью и дисками — обычно это RAID-массив дисков Serial ATA.

Часто возникает вопрос, следует ли реализовать отдельную сеть для трафика iSCSI. Правильный ответ на этот вопрос требует тщательного изучения предполагаемого назначения и ожидаемой пропускной способности iSCSI SAN.

В небольших установках, ограниченных бюджетом, часто нет другого выбора, кроме как использовать существующую инфраструктуру. В этом случае следует признать, что любое решение на основе IP может пострадать из-за существующего трафика в сети.Следовательно, iSCSI SAN по-прежнему будет работать лучше, чем доступные альтернативы, просто из-за эффективности протокола iSCSI.

Чтобы гарантировать высочайшую производительность и стабильность, рекомендуется реализовать выделенную IP-инфраструктуру для iSCSI SAN. Компромисс между этими двумя подходами заключается в реализации виртуальной LAN (VLAN) для изоляции трафика iSCSI в существующей инфраструктуре.

Реализация Вполне вероятно, что вещательная компания уже имеет набор технологий хранения и сетевых технологий.Некоторые из них могут быть предназначены для вспомогательных функций, а некоторые — для медиа-сетей. При правильном развертывании iSCSI может дополнять существующие системы хранения / сети.

iSCSI не следует рассматривать как решение типа «либо / или». Нигде это не так, как с ФК. Рассмотрим, например, гибридную сеть SAN FC / iSCSI. Это открывает дверь в многоуровневую сеть хранения. (См. Рис. 3.) Здесь можно расширить FC только для тех, кому требуется наивысшая производительность, при маршрутизации FC SAN через iSCSI к остальным пользователям или серверам.Доступно несколько устройств моста и маршрутизации, которые могут расширять возможности подключения iSCSI для различных протоколов.


Рисунок 3. Пример многоуровневой сети хранения данных

Согласно прогнозам, в ближайшие несколько лет спрос на iSCSI будет неуклонно расти. Трудно игнорировать преимущества SAN, не говоря уже о том, что реализовано на общих сетевых компонентах. Дело в том, что iSCSI прочно стоит на вершине двух наиболее распространенных сетевых стандартов: TCP / IP и Ethernet.Его ценностное предложение становится еще более очевидным с осознанием того, что экономика Ethernet теперь может быть применена к стратегии SAN организации.

Некоторые даже предсказывали, что iSCSI сигнализирует о прекращении существования FC. Более вероятный результат (по крайней мере, в ближайшем будущем) состоит в том, что iSCSI найдет свое применение во многих реализациях FC. Но, возможно, ничто так не укрепит позиции iSCSI, как массовое внедрение 10GbE. Имея в пять раз большую пропускную способность, чем у большинства проданных сегодня продуктов FC, 10GbE в настоящее время незаметно находится на заднем плане — неизбежный гигант в ожидании.

Эрик Ньюбауэр — операционный директор Studio Network Solutions.

Разъяснение iSCSI

Интернет SCSI

Определение: iSCSI или Internet SCSI явно недооценены и являются используемым стандартом на основе IP. для соединения устройств хранения данных по сети и обеспечения передачи данных путем переноса Команды SCSI по IP-сетям.

iSCSI — это протокол на основе TCP / IP, который включает транспортный протокол для SCSI, который операционная поверх ПТС.Он предлагает механизм для захвата команд SCSI на IP-сеть. Это протокол для систем хранения данных, которые изначально используют TCP / IP. Пакет доставка по SCSI отличается от доставки по IP. Доставка пакетов по IP не является фиксированной.

Поскольку iSCSI использует повсеместный Ethernet, он предлагает огромный потенциал для недорогая централизация хранения.

При использовании SCSI в качестве интерфейса канала пакеты доставляются в последовательности и нарушение последовательности может привести к потере данных.Кроме того, iSCSI требует более объемного пакета. head, которая содержит дополнительную информацию для ускорения сборки пакетов. В задержка / задержка, возникающая при передаче данных по Ethernet, является одним из основных причины, сдерживающие коммерческое продвижение iSCSI. Тем не менее, такие методы, как Механизм разгрузки TCP (TOE) оказался полезным для сокращения накладных расходов, связанных с с протоколом TCP / IP. Высокая скорость Ethernet побуждает организации развернуть гигабитные и 10-гигабитные сети.

Привлекательность iSCSI заключается в преимуществах, которые он предлагает.К ним относятся консолидация систем хранения данных; резервное копирование данные; эффективный серверные кластеры; простота тиражирования и восстановление. IP-хранилище позволяет реализовать такие возможности, как QoS, улучшенное безопасность и географическое распространение SAN. Системы хранения данных с собственным предложением iSCSI преимущества с точки зрения предоставления единой технологии, которая соединяет системы хранения, серверы и клиенты, существующие в LAN, WAN, SAN. Системы хранения не обязательно должны быть внутри географическая близость к приложениям.

С интерфейсом iSCSI можно передавать данные на устройства хранения, используя не только носители информации и коммуникаторы, но и сетевые карты на стороне клиента. Тем не мение, использование сетевых карт может потреблять значительную мощность процессора на стороне клиента.

iSCSI — отличный способ доступа к дискам по локальной сети. Это избавляет от необходимости покупать, развертывать, устанавливать, изучать, управлять и обновлять новую сетевую инфраструктуру. Поскольку диск сами диски не имеют подключения к Ethernet, интеллектуальные контроллеры используются для действуют как целевые устройства iSCSI, чтобы пакеты SCSI передавались через кабели GiGE. преобразуются в язык, совместимый с дисководом.Контроллеры также кешируют Операции ввода-вывода в памяти, так что задержки, присущие накопителю, маскируются.

Основные компоненты iSCSI:

Соглашения об адресах и именах iSCSI. Управление сеансом iSCSI. Обработка ошибок iSCSI. Безопасность iSCSI.

Устройства SCSI, доступные в сети, идентифицируются через узлы iSCSI с именами согласно правилам, принятым для именования интернет-узлов. Имя iSCSI позволяет быстро идентификация устройства iSCSI независимо от его физического местоположения.

Управление сеансом с помощью iSCSI состоит из двух этапов: этапа входа в систему и полнофункционального фаза. Процесс входа в порт Fibre Channel и этап входа в iSCSI идентичны.

Протокол iSCSI обеспечивает меры по обработке ошибок из-за высокого вероятность ошибок при доставке данных по IP-сетям. Протокол также предоставляет меры безопасности для защиты данных в сетях, подверженных несанкционированному доступу.

Безопасность iSCSI является серьезной проблемой для ИТ-администраторов из-за легкодоступности Устройства, работающие через Ethernet.Передовые методы обеспечения безопасности iSCSI включают разделение iSCSI SAN, чтобы хранилище iSCSI не было доступно в открытой локальной сети. Массив iSCSI должен быть подключен только к серверы хранения данных и предпочтительно физически изолированный iSCSI Должен быть создан остров SAN.

Интерфейс управления должен быть защищен от несанкционированного доступа хакеров. Это особенно актуально для веб-инструментов настройки, к которым можно получить доступ из в любом месте. Такие службы, как DHCP, DNS и WIN, излишни в iSCSI SAN и должен быть отключен.Аутентификация, такая как CHAP, и шифрование, например IPSec, должны работать там, где это необходимо.

Развитие iSCSI набирало обороты после того, как оно было одобрено в качестве отрасли стандарт в 2003 году. В настоящее время в большинстве развертываний используются программные инициаторы iSCSI и стандартные сетевые карты Ethernet; однако наблюдается увеличение потребность в адаптерах iSCSI с включенной разгрузкой TCP (TOE). Справка адаптеров TOE управлять средами хранения с высоким трафиком.

Дисковое серверное программное обеспечение доступно в разных ценовых категориях, которые подходят для среды разного размера и типа необходимых функций.С этим подход, вы платите только за то, чем пользуетесь; это позволяет начать с минимальный набор программного обеспечения, необходимый для вашего хранилища, а затем обновите его, когда требуются новые функции. Важная функция, которую можно добавить позже, — это Подключения хоста Fibre Channel вместе с портами iSCSI для более высокого и большего детерминированная производительность ввода-вывода, необходимая для более крупных хостов.

Включая программные дисковые серверы в свое решение iSCSI, вы добавляете гибкость и производительность вашей установки.Вы можете выбирать из целого ряда аппаратных средств платформы, ценовые категории и дополнительные функции, которые могут быть недоступны на специализированные устройства или массивы.



Использование протокола iSCSI для предоставления удаленного блочного хранилища

Протокол iSCSI работает в знакомой конфигурации клиент-сервер. Клиентские системы настраивают программное обеспечение инициатора для отправки команд SCSI в целевые хранилища удаленных серверов. Доступ к цели iSCSI отображается в клиентской системе как локальные, неформатированные блочные устройства SCSI, идентичные устройствам, подключенным с помощью кабеля SCSI, прямого подключения FC или коммутируемой матрицы FC.Давайте посмотрим, как можно использовать протокол iSCSI для предоставления удаленного блочного хранилища.

Internet Small Computer System Interface (iSCSI) — это протокол на основе TCP / IP для эмуляции высокопроизводительной локальной шины хранения SCSI по IP-сетям, обеспечивающий передачу данных и управление на удаленные блочные устройства хранения. В качестве протокола сети хранения данных (SAN) iSCSI расширяет SAN через локальные и глобальные сети (LAN, WAN и Интернет), обеспечивая получение данных из хранилища независимо от местоположения с помощью серверов и массивов дистрибьюторов.

Набор протоколов SCSI предоставляет набор команд блока дескриптора команд (CDB) по протоколу связи шины устройства. В исходной топологии SCSI использовались физические кабели с ограничением 20 метров для всех устройств на канал (кабельная шина). Устройства использовали уникальные числовые идентификаторы цели (0-7 или 0-15, с двумя каналами). Физические диски SCSI устарели из-за популярной реализации оптоволоконного канала (FC), который сохранил набор команд SCSI CDB, но заменил диск и шину протоколами для более длинных и быстрых оптических кабелей.

Протоколы iSCSI также сохраняют набор команд CDB, обеспечивая обмен данными по шине между системами iSCSI, инкапсулированными через стандартный TCP / IP. Серверы iSCSI эмулируют устройства SCSI, используя файлы, логические тома или диски любого типа в качестве базового хранилища (backstore), представленного в качестве целей. Служба iSCSI обычно реализуется в программном обеспечении над стеком TCP / IP операционной системы или механизмом разгрузки TCP (TOE) — специализированной сетевой интерфейсной картой (NIC) Ethernet, которая включает сетевые уровни TCP / IP для повышения производительности.iSCSI также может быть реализован на оборудовании в виде адаптера главной шины (HBA) для повышения производительности.

Для сетей SAN

корпоративного уровня требуется выделенная инфраструктура трафика. Независимые оптические кабели и переключатели FC гарантируют изоляцию. iSCSI также должен быть реализован на кабелях, которые не зависят от стандартного трафика LAN, поскольку производительность может упасть из-за перегрузки полосы пропускания в общих сетях. И Интернет, и FC теперь предлагают варианты медных и оптических кабелей, позволяющие консолидировать сеть в сочетании с классификацией трафика.

Сетевой трафик области хранения обычно не зашифрован, поскольку физические кабели между сервером и системой хранения обычно проходят внутри защищенных центров обработки данных. Для обеспечения безопасности WAN iSCSI и оптоволоконный канал через Ethernet (FCoE) могут использовать Internet Protocol Security (IPSec), который представляет собой набор протоколов для защиты сетевого трафика IP. Выбранное сетевое оборудование (предпочтительные сетевые адаптеры, TOE и HBA) может обеспечивать шифрование. iSCSI предлагает имена пользователей и пароли протокола аутентификации Challenge-Handshake (CHAP) в качестве механизма аутентификации для ограничения возможности соединения между выбранными инициаторами и целями.

До недавнего времени iSCSI не считался вариантом хранилища корпоративного уровня, в первую очередь из-за использования более медленных 100 Мбит / с и 1000 Мбит / с Ethernet по сравнению с оптической инфраструктурой 4 Гбит / с. С текущим FC 10 Гбит / с или 40 Гбит / с доступность полосы пропускания теперь одинакова для обоих.

Использование iSCSI расширяет сеть SAN за пределы возможностей локальной кабельной разводки, облегчая консолидацию хранилищ в локальных или удаленных центрах обработки данных. Поскольку структуры iSCSI логичны, новые распределения памяти выполняются с использованием только программных конфигураций, без необходимости в дополнительных кабелях или физических дисках.iSCSI также упрощает репликацию, миграцию и аварийное восстановление данных с использованием нескольких удаленных центров обработки данных.

Основы iSCSI

Протокол iSCSI работает в знакомой конфигурации клиент-сервер. Клиентские системы настраивают программное обеспечение инициатора для отправки команд SCSI в целевые хранилища удаленных серверов. Доступ к цели iSCSI отображается в клиентской системе как локальные, неформатированные блочные устройства SCSI, идентичные устройствам, подключенным с помощью кабеля SCSI, прямого подключения FC или коммутируемой матрицы FC.

Рисунок 1: Интерактивный режим Targetcli , показанный с помощью команды ls Рисунок 2: Создан блок для логического тома / dev / myvg / mylvm Рисунок 3: IQN создан для целевого

Терминология компонента iSCSI

1. Инициатор: Это клиент iSCSI, обычно доступный как программное обеспечение, но также реализованный как HBA-адаптеры iSCSI. Инициаторам должны быть присвоены уникальные имена.

2. Цель: Это ресурс хранения iSCSI, настроенный для подключения с сервера iSCSI.Цели должны иметь уникальные имена. Цель предоставляет одно или несколько пронумерованных блочных устройств, называемых логическими модулями. Сервер iSCSI может одновременно предоставлять множество целей.

3. ACL: Список управления доступом (запись) — это ограничение доступа, использующее IQN узла (обычно имя инициатора iSCSI) для проверки прав доступа для инициатора.

4. Обнаружение: Это включает запрос целевого сервера для получения списка настроенных целей. Использование целей требует дополнительных шагов доступа.

5. IQN: Полное имя iSCSI, это всемирное уникальное имя, используемое для идентификации как инициаторов, так и целей, в следующем обязательном формате именования:

 Iqn.YYYY-MM.com.reversed.domain [: optional_string] 

IQN означает, что это имя будет использовать домен в качестве идентификатора. ГГГГ-ММ — это первый месяц владения доменным именем. com.reversed.domain — это обратное доменное имя организации, создающей имя iSCSI. optional_string — это необязательная строка с префиксом двоеточия, назначаемая владельцем домена по желанию, при этом оставаясь уникальной во всем мире.Он может включать двоеточия для разделения границ организации.

6. Login: Это аутентифицирует цель или LUN, чтобы начать использование клиентского блочного устройства.

7. LUN: Номер логического устройства, он нумерует блочные устройства, подключенные к цели и доступные через нее. Один или несколько LUN могут быть присоединены к одной цели, хотя обычно цель предоставляет только один LUN.

8. Узел: Это инициатор iSCSI или цель iSCSI, идентифицированная своим IQN.

9. Портал: Это IP-адрес и порт цели или инициатора, используемые для установления соединений. В некоторых реализациях iSCSI термины портал и узел взаимозаменяемы.

10. TPG или Target Portal Group: Это набор интерфейсных IP-адресов и TCP-портов, которые будет прослушивать конкретная цель iSCSI. Целевую конфигурацию можно добавить в TPG для согласования настроек нескольких LUN.

iSCSI использует ACL для маскирования LUN, управляя доступностью соответствующих целей и LUN для инициаторов.Доступ к целям также может быть ограничен аутентификацией CHAP. Списки контроля доступа iSCSI аналогичны использованию в FC мировых номеров устройства (WWN) для ограничения управления программным зонированием, хотя принудительные ограничения портов на уровне коммутатора FC (жесткое зонирование) не имеют сопоставимых механизмов iSCSI. Сети Ethernet VLAN могут обеспечить аналогичную изоляцию.

В отличие от локальных блочных устройств, блочные устройства с доступом к сети iSCSI могут быть обнаружены многими удаленными инициаторами. Типичные локальные файловые системы (ext4, XFS) не поддерживают одновременное монтирование нескольких систем, что может привести к значительному повреждению файловой системы.Кластерные файловые системы разрешают доступ к нескольким системам с помощью глобальной файловой системы (GFS2), которая предназначена для обеспечения распределенной блокировки файлов и одновременного многорежимного монтирования файловой системы. Подключенное блочное устройство iSCSI отображается как локальное блочное устройство SCSI (sdx) для использования под локальной файловой системой, пространством подкачки или необработанной установкой базы данных.

Рисунок 4: Список управления доступом был создан для клиента Рисунок 5: LUN, созданный для резервного хранилища Рисунок 6: Портал был создан для прослушивания IP-адреса и порта

Обзор цели iSCSI

В исходной терминологии протокола SCSI целью является одно подключаемое запоминающее устройство или устройство вывода, однозначно идентифицируемое на шине SCSI.В iSCSI, в котором шина SCSI эмулируется через IP-сеть, целью может быть выделенное физическое устройство в корпусе сетевого хранилища (NAS) или логическое устройство, настроенное с помощью программного обеспечения iSCSI на сервере сетевого хранения. Целевые объекты, такие как HBA и инициаторы, являются конечными точками связи по шине SCSI, передавая блоки дескрипторов команд для запроса или предоставления транзакций хранения.

Чтобы обеспечить доступ к устройству хранения или вывода, цель конфигурируется с одним или несколькими номерами логических устройств (LUN).В iSCSI LUN отображаются как последовательно пронумерованные диски целевого устройства, хотя у целевых устройств обычно только один LUN. Инициатор выполняет согласование SCSI с целью для установления соединения с LUN, который отвечает как эмулированное дисковое блочное устройство SCSI, которое можно использовать в необработанном виде или отформатировать с файловой системой, поддерживаемой клиентом.

Предупреждение: Не монтируйте файловые системы одной системы в несколько систем одновременно. iSCSI обеспечивает доступ к общей цели и LUN с нескольких узлов-инициаторов, что требует использования файловой системы с поддержкой кластера, такой как GFS2.Одновременное монтирование стандартных файловых систем, предназначенных для доступа к одной локальной системе (например, ext3, ext4, FAT32, XFS и ZFS) из нескольких систем, приведет к повреждению файловой системы.

iSCSI обеспечивает маскирование LUN ​​с помощью списков контроля доступа, чтобы ограничить доступ к LUN определенным инициаторам, за исключением случаев, когда предполагается совместный доступ. ACL могут гарантировать, что только назначенный клиентский узел может войти в систему с определенной целью. На целевом сервере списки ACL могут быть настроены на уровне TPG для защиты групп LUN или могут быть установлены индивидуально для каждого LUN.

Целевая конфигурация iSCSI

Давайте рассмотрим конфигурацию целевого сервера.

targetcli — это утилита командной строки и интерактивная оболочка, в которой можно создавать, удалять и настраивать целевые компоненты iSCSI. Целевые стеки сгруппированы в иерархическое дерево объектов, что обеспечивает удобную навигацию и контекстную настройку. В этой оболочке используются знакомые команды Linux. К ним относятся cd, ls, pwd и set .

Оболочка targetcli также поддерживает завершение TAB. Администратор может использовать TAB для выполнения частично набранных команд или просмотра списка допустимых ключевых слов в текущем месте в команде.

Рисунок 7: Окончательная конфигурация Рисунок 8: Клиентский IQN обновлен Рисунок 9: Цель была обнаружена, и был получен успешный вход в систему

Настройка целевого сервера

Установите targetcli с помощью следующей команды:

 # yum –y install targetcli.

Запустите targetcli без параметров для входа в интерактивный режим:

 # targetcli 

Создать резервное хранилище (backstores). Существует несколько типов резервного хранилища, перечисленных ниже:

  • Блок: На сервере определено блочное устройство. Это диск, раздел диска, логический том, многопутевое устройство или любые файлы устройств, определенные на сервере, которые относятся к типу b.
  • fileio: Создает файл заданного размера в файловой системе сервера.Этот метод аналогичен использованию файлов изображений для хранения образов дисков виртуальных машин.
  • pscsi: Physical ISCSI, это позволяет передавать данные на физическое устройство SCSI, подключенное к серверу. Этот тип backstore обычно не используется.
  • Ramdisk: Это создает устройство ramdisk указанного размера в памяти на сервере. Этот тип хранилища не может хранить данные постоянно. Когда сервер перезагружается, определение RAM-диска вернется, когда будет создан целевой объект, но все данные будут потеряны.

Примечание: Для таких случаев был создан логический том: / dev / myvg / mylvm, хотя можно создать и простой раздел.

Примеры включают использование существующего логического тома, раздела диска и нового файла указанного размера. Бэксторы отображаются как деактивированные.

Затем создайте IQN для цели. Этот шаг также создаст TPG по умолчанию под IQN.

Администратор может использовать команду create без указания IQN для создания. targetcli сгенерирует IQN, подобный следующему:

 iqn.2018-01.com. Пример: сервер. 

Указание значения IQN дает администратору возможность использовать значимое пространство имен для своих IQN.

Затем в TPG создайте ACL для клиентского узла, который будет использоваться позже. Поскольку для глобального параметра auto_add_mapped_luns установлено значение true (по умолчанию), любые существующие LUN ​​в TPG отображаются на каждый ACL по мере его создания.

ACL настраивает цель для приема соединений инициатора только от клиента, представляющего iqn.2018-01.com.example: клиент в качестве IQN инициатора, также известный как имя инициатора.

Затем в TPG создайте LUN ​​для каждого существующего backstore. Этот шаг также активирует каждое backstore. Поскольку ACL существуют для TPG, они будут автоматически назначены каждому созданному LUN.

Количество LUN, назначенных цели, означает, что, когда инициатор подключается к цели, он получит n устройств SCSI.

Теперь, все еще внутри TPG, создайте конфигурацию портала, чтобы назначить IP-адрес и порты для прослушивания.Создайте портал, используя интерфейс общедоступных сетей системы. Без указания используемых портов TCP при создании портала по умолчанию используется стандартный порт iSCSI 3260.

Затем просмотрите всю конфигурацию, затем выйдите из targetcli, которая автоматически сохранится при выходе. Результирующий постоянный файл конфигурации сохраняется в формате JavaScript Object Notation (JSON).

Теперь добавьте исключение порта в брандмауэр по умолчанию для порта 3260, стандартного порта iSCSI, как показано ниже:

 # брандмауэр-cmd --add-port = 3260 / tcp

# firewall-cmd --add-port = 3260 / tcp --permanent.

На последнем этапе активируйте модуль target.service systemd . Target.service воссоздает целевую конфигурацию из json-заливки при загрузке. Если этот шаг пропустить, любая цель конфигурации будет работать, пока машина не будет перезагружена. Однако после перезагрузки сервер не будет предлагать никаких целей.

 # systemctl enable target. 

Аутентификация

В дополнение к проверке узла ACL может быть реализована аутентификация на основе пароля.На этапе обнаружения iSCSI может потребоваться аутентификация, и она может быть однонаправленной или двунаправленной.

Аутентификация CHAP не использует надежное шифрование для передачи учетных данных. Хотя CHAP предлагает дополнительный фактор аутентификации, помимо правильно настроенного имени инициатора, настроенного в ACL, его не следует рассматривать как достаточно безопасный, если безопасность данных iSCSI вызывает беспокойство. Контроль сетевой стороны протокола — лучший метод обеспечения безопасности.Предоставление выделенной изолированной сети или виртуальных локальных сетей для передачи трафика iSCSI будет более безопасной реализацией протокола.

Рисунок 10: Новая доступная цель

Знакомство с инициаторами iSCSI

В Red Hat Enterprise Linux инициатор iSCSI обычно реализован в программном обеспечении и функционирует аналогично аппаратному iSCSI HBA для доступа к целям с удаленного сервера хранения. Использование программных инициаторов iSCSI требует подключения к существующей сети Ethernet с достаточной пропускной способностью для передачи ожидаемого трафика хранилища.

iSCSI также может быть реализован с использованием аппаратного инициатора, который включает необходимые протоколы в выделенный адаптер главной шины. HBA-адаптеры iSCSI и механизмы разгрузки TCP, которые включают сетевой стек TCP на сетевом адаптере Ethernet, и переносят обработку служебных данных iSCSI или TCP и прерываний Ethernet на оборудование, снижая нагрузку на системные процессоры.

Доступ к хранилищу iSCSI

1.) Подготовьте клиентскую систему к тому, чтобы она стала узлом инициатора iSCSI, установив утилиты инициатора, задав уникальное имя клиента iSCSI и запустив службу клиента iSCSI.

Установите RPM-пакет iscsi-initiators-utils, если он еще не установлен, следующим образом:

 # yum –y install iscsi-initiators-utils 
  • Создайте уникальное полное имя iSCSI для инициаторов клиента, изменив параметр InitiatorName в /etc/iscsi/initiatorname.iscsi . Используйте клиентскую систему в качестве дополнительной строки после двоеточия.
  • Включите и запустите клиентскую службу iSCSI следующим образом:
 # systemctl включить iscsi

# systemctl start iscsi 

2.) Найдите и войдите в настроенную цель с целевого сервера iSCSI.

  • Обнаружьте и настройте цель iSCSI, предоставленную порталом целевого сервера iSCSI, как показано ниже:
 # iscsiadm –m discovery –t st –p 172.25.X.XX 
  • Войдите в представленную цель iSCSI, как показано ниже:
 # iscsiadm –m node –T .2018-01.com.example: server –p 172.25.X.XX 
  • Определите новый доступный блок, созданный целевой учетной записью iSCSI, как показано ниже:
 # lsblk 
Обзор

iSCSI SAN — видеоурок

В этом руководстве по SAN и NAS-хранилищу я рассмотрю протокол SAN iSCSI (Internet Small Computer System Interface).iSCSI работает в сетях Ethernet и изначально был разработан как менее дорогая альтернатива Fibre Channel.

Он имеет более высокие накладные расходы на пакеты и традиционно считается имеющим более низкую надежность и производительность, чем Fibre Channel. Прокрутите вниз до видео, а также текстового руководства.

Хотите полный курс? Щелкните здесь, чтобы получить курс «Введение в SAN и NAS Storage» бесплатно

Обзор
iSCSI SAN — видеоурок

Я рекомендую вам сначала ознакомиться с моей серией обзоров Fibre Channel, чтобы получить хорошее представление об общих основах SAN, прежде чем переходить к iSCSI.Серия из трех видеороликов доступна здесь:

Часть первая — Адресация FCP и WWPN

Часть вторая — Зонирование, маскирование LUN ​​и вход в матрицу

Часть третья — Резервирование и многолучевость

Трафик

iSCSI может проходить через традиционные карты сетевого интерфейса Ethernet (NIC) или карты TCP Offload Engine (TOE) на наших хостах. Карты TOE — это специализированные сетевые адаптеры, которые разгружают обработку TCP / IP хранилища с центрального процессора сервера. Они также известны как адаптеры шины хоста iSCSI (HBA).

Что такое iSCSI?

iSCSI — это протокол транспортного уровня, работающий по TCP / IP. Этот стандарт сети хранения на основе IP позволяет передавать данные на уровне блоков на хосты с помощью протокола SCSI.

iSCSI связывает средства хранения данных и обеспечивает TCP восстановление после потери пакетов. Он также поддерживает шифрование и дешифрование сетевых пакетов.

Сети iSCSI

iSCSI может совместно использовать существующую сеть передачи данных Ethernet или иметь собственную выделенную сетевую инфраструктуру.

На схеме ниже показан пример выделенной сетевой инфраструктуры для трафика нашего хранилища iSCSI.

Выделенная сеть iSCSI

У нас есть веб-сервер «Сервер 1» в середине диаграммы и клиент вверху, который хочет открыть веб-страницу, размещенную на Сервере 1. Клиент отправляет свой HTTP-запрос на Сервер 1 через наш стандартная локальная сеть вверху.

Затем

Server 1 загружает веб-страницу из своего хранилища iSCSI внизу, используя отдельную выделенную сеть Ethernet, которая используется только для хранения.

Сервер 1 имеет резервные сетевые подключения. У него есть две сетевые карты Ethernet, подключенные к сети передачи данных вверху, обращенные к клиенту, и пара сетевых адаптеров или карт TOE, подключенных к сети хранения данных внизу.

На следующей диаграмме ниже у нас есть общая сетевая инфраструктура для обоих серверов для хранения и трафика между серверами и клиентами. Наши обычные данные и трафик нашего хранилища проходят через одни и те же коммутаторы и могут использовать одни и те же сетевые карты на наших конечных хостах.

Общая сеть iSCSI SAN

Если вы попытались сделать это в те времена, когда у нас был только 1 Gigabit Ethernet, у вас могли бы возникнуть проблемы, но теперь это более осуществимо, когда у нас есть 10 Gigabit Ethernet и даже более высокие скорости.

Если мы используем общую инфраструктуру, то лучше всего разделить наши данные и трафик хранилища по разным VLAN для повышения производительности и безопасности.

iSCSI SAN с виртуальными локальными сетями

На сервере мы могли бы иметь два разных физических порта для трафика данных и хранилища, или мы могли бы объединить обе сети VLAN в одну и ту же физическую часть.

Чтобы коммутатор мог переключать трафик, мы должны соответствовать передовой практике физического разделения «Fabric A / Fabric B» для трафика хранилища. Коммутаторы, вероятно, будут перекрестно подключены для трафика данных. По этой причине у нас будут отдельные порты для трафика данных и хранилища, а также для повышения производительности и безопасности.

Обратите внимание, что у нас здесь половина инфраструктуры по сравнению с тем, когда мы использовали выделенную сеть хранения. В выделенной сети хранения у нас было 4 сетевых порта на сервере и 4 кабеля, которые были подключены к 4 коммутаторам.

С общей инфраструктурой у нас есть 2 сетевых порта, 2 кабеля и 2 коммутатора. Наличие выделенной инфраструктуры увеличивает стоимость оборудования и требует больше места, мощности и охлаждения, но может дать нам большую надежность и более простую конфигурацию VLAN.

Основные компоненты iSCSI

Инициатор iSCSI может быть аппаратным устройством или программным обеспечением, находящимся на главном компьютере в сети хранения данных, который обрабатывает обмен данными по IP-сети.Инициатор подключается к цели iSCSI и передает команды iSCSI в виде пакетов данных.

iSCSI target — это удаленное запоминающее устройство, которое отображается на хосте как локальный диск. Когда цель iSCSI получает пакеты данных от инициатора iSCSI, команды iSCSI представляются, а затем разбираются в ОС. Если пакеты данных зашифрованы на уровне инициатора, они расшифровываются на целевом уровне.

Адресация iSCSI

К обращению сейчас.Fibre Channel использует всемирные имена для идентификации инициаторов и целей. iSCSI использует полные имена iSCSI (IQN) или, реже, может использовать расширенный уникальный идентификатор (EUI). IQN может содержать до 255 символов и имеет формат:

.

iqn.yyyy-mm.naming-author: уникальное имя

Например, IQN может быть iqn.1991-05.com.microsoft:testHost. Не волнуйтесь, если вы увидите действительно старую дату в IQN. IQN является производным от того момента, когда поставщик подал заявку на получение адресов IQN, поэтому обычно это старая дата.IQN назначается хосту в целом аналогично тому, как WWNN применяется в Fibre Channel.

iSCSI работает через Ethernet, поэтому отдельные порты адресуются IP-адресами, а не WWPN, как в Fibre Channel. iSCSI не поддерживает процессы входа в систему Fibre Channel FLOGI, PLOGI и PLRI.

Следовательно, администратор должен явно указать инициатору на его цель, указав один из IP-адресов в Целевой группе портала.Затем он обнаружит IQN цели и другие порты в TPG.

Программное обеспечение

Multipathing на инициаторе может выбрать путь или пути к цели. Многопутевый режим в iSCSI работает так же, как многопутевый режим в Fibre Channel. Несмотря на то, что он работает через Ethernet, iSCSI по-прежнему является протоколом SAN с интеллектуальным управлением множественными путями на инициаторе.

LUN Masking также настраивается так же, как и в Fibre Channel, но с использованием IQN, а не WWPN для идентификации клиента.Зонирование не поддерживается в iSCSI на наших коммутаторах.

Аутентификация на основе пароля обычно настраивается на инициаторе и цели для защиты от атак с подделкой, а также может быть включено сквозное шифрование IPSec, если вам необходимо дополнительно повысить безопасность.

Каковы преимущества iSCSI SAN?

iSCSI Storage или SAN — это экономичная замена при переходе на сетевое хранилище. Кроме того, iSCSI SAN может быть построен в существующей сети, и он также дает несколько преимуществ, таких как:

  • Быстрая и эффективная передача данных, так как она основана на блоках.
  • Гибкость и высокая производительность.
  • Упрощенная среда и управление сетевым хранилищем.
  • Большинство сетевых запоминающих устройств совместимы с iSCSI.

Посмотрите видео, чтобы увидеть практическую демонстрацию подключения к LUN от инициатора Windows iSCSI.

Дополнительные ресурсы

RFC 3720 — Интерфейс малых компьютерных систем Интернета

Википедия — iSCSI

Бесплатный учебный курс «Введение в SAN и NAS Storage»

Видео представляет собой отрывок из моего курса «Введение в SAN и NAS Storage».Вы можете получить всю серию бесплатно здесь:

https://www.flackbox.com/introduction-to-san-and-nas-storage
Когда вы будете готовы вывести свои знания о хранении данных на новый уровень, вы можете пройти мой учебный курс
«NetApp ONTAP 9 Storage Complete».

Страница не найдена

Моя библиотека

раз
    • Моя библиотека
    «» Настройки файлов cookie .

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *