Наверняка многие задавались вопросом, что делать со старым железом после полного апгрейда. Продать? Чувство собственности стоит выше. Вы со своей старенькой, но верной платформой повидали в этом мире многое. Прошли через огонь Skyim и воду Томми Версетти. Отложите свое старое железо, пока не подумаете: «Зачем мне нужен NAS (Network Attached Storage)?» При появлении второго вопроса, первый станет риторическим и исчезнет, как кубики в тетрисе.

NAS —  зачем он нужен

Первое, с чем стоит определиться, это какие задачи будет решать NAS. Основные его функции:

1. Снятие нагрузки с рабочего компьютера. Часть клиентов можно перенести на NAS. В случае с торрентами можно забыть про тонкие настройки скорости, кэширования, соединения.
2. Медиа-сервер. Отличная возможность обзавестись домашней библиотекой и делиться медиаконтентом по домашней сети. Смотрите фильмы с того момента, где остановились в последний раз, независимо от устройства. Транскодирование потребляет ресурсы процессора. Даже если дома гигабитная сеть, а скорость внешней сети достигает 500 Мбит/с, это не гарантирует корректной работы медиа-сервера, если процессор занят другими задачами. Для примера, возьмем один из самых популярных медиа-серверов PLEX. Системные требования — 2 ГБ оперативной памяти и процессор не медленнее Intel Core i3. 
3. Резервное копирование. Наверное, самая важная операция в NAS. Человек существо ленивое. Никто не хочет на каждодневной основе доставать с полки внешний накопитель данных и переносить на него файлы, которые скопились за сутки. Гораздо лучше осуществлять операции резервного копирования в автоматическом режиме задачей в планировщике или отдельным программным обеспечением. Еще лучше, когда резервное хранилище состоит из нескольких дисковых устройств и управляется RAID-контроллером.
4. Раздача файлов. Общее рабочее пространство.

Есть два вида RAID-контроллеров — аппаратный и программный. У каждого из видов есть свои преимущества и недостатки. Хороший аппаратный RAID обойдется недешево. Программный RAID будет работать медленнее. RAID-контроллер с материнской платы (аппаратный) способен выйти из строя, и никакой другой контроллер данные больше не прочитает. Для low-end систем достаточно использовать программный RAID.

В данном случае low-end является определяющим фактором. Строим NAS на обычном компьютере, т. е. предполагается использование типов памяти DDR3-DDR4 без поддержки ECC. Если планируется использовать NAS под задачи, связанные с бизнесом, то стоит пересмотреть свой подход и озадачиться вопросом приобретения буферизированной памяти.

Программная часть строится на *nix/GNU/Linux операционных системах. Есть масса сборок для реализации NAS, которые позволяют избежать избыточности. У каждой есть свои плюсы, но и еще не создан такой продукт, на который бы никто не жаловался. Под наш список основных задач подойдет любая ОС для NAS.

Список популярных операционных систем для NAS:

• XigmaNAS (FreeBSD; он же NAS4free)
• FreeNAS от Ixsystems (FreeBSD)
• OpenMediaVault (Debian)
• Xpenology (сборка от производителя NAS — Synology)

Построение NAS на примере FreeNAS

FreeNAS поддерживал 32-разрядную архитектуру до версии 9.2.1.9 (все еще доступна для скачивания). На момент написания статьи актуальная версия — 11.3-U3.1.

FreeNAS портативна. Операционную систему можно установить на USB-накопитель, изолировав ее от основных накопителей. В случае поломки, например, материнской платы, операционную систему можно будет запустить на любом другом оборудовании. Полезная функция в случае использования шифрования дисков. Нагрузка на флешку оказывается минимальная, быстрый износ ей не грозит. Основные настройки ОС можно бэкапить и подменить в случае смены USB накопителя на новый (вся конфигурация хранится в одном xml файле).

Минимальные требования к оборудованию:

С базовой производительностью для 1-4 пользователей.

• 64-битный процессор.
• Один диск для операционной системы (минимум 8 ГБ; USB-диск).
• 8 ГБ ОЗУ будет поддерживать до 8 жестких дисков; для каждого дополнительного диска производитель предлагает добавлять по 1 ГБ ОЗУ.
• Контроллер дисков SATA или SAS с отключенной аппаратной функциональностью RAID (это связано с особенностями файловой системы ZFS).
• Хотя бы один диск с прямым подключением.
• Один физический сетевой порт.

Выбор железа определяется набором задач.

Установка

Скачиваем с официального сайта ISO образ (750 МБ) и устанавливаем.

Что-то вроде «как нарисовать сову», но нюансов нет. Есть масса инструкций по установке, легко гуглится по слову FreeNAS.

Статический IP-адрес лучше задавать через DHCP-сервер (отдельный или предустановленный на маршрутизатор). Это позволит переносить конфигурацию NAS на другое железо, в другую сеть и в другие условия без лишних манипуляций.

10 минут установки и операционная система готова к работе.

Логин для первой авторизации — root (во вкладке Accounts можно управлять пользователями). Пароль задается при установке операционной системы.

Что есть в коробке, и действительно ли это «running out-of-the-box» решение?

Веб-интерфейс

Удобный, современный, интуитивно понятный. Можно менять расцветку. Основные элементы мониторинга вынесены на главный экран.

Программный RAID

Перед работой любого NAS требуется собрать пул (Storage/Pools/Add).

Системный диск не может быть задействован в создании пула.

Чем больше накопителей в системе, тем шире выбор уровня RAID (он же ZFS RAID-Z). Изменять количество дисков в массиве нельзя.

Поддерживаемые уровни:

• Stripe (группа блоков, каждая из которых расположена на отдельном накопителе)
• Mirror
• RAID-Z
• RAID-Z2
• RAID-Z3

RAID-Z* из-за особенностей работы имеет повышенные требования к оперативной памяти. Отсюда и вытекает требование разработчика — «По 1 ГБ на каждый новый накопитель».

Доступ к сетевым дискам (SAMBA)

NAS без общих ресурсов не является полезным NAS. После создания пула перед нами открывается возможность сетевой шары.

Создаем Dataset (Storage/Pools).

Можно добавил zvol (том ZFS), но zvol это блочное хранение (фрагмент пространства). Применяется для репликации и экспорта.

Share Type — SMB.

Переходим в Sharing (Sharing/Windows Shares (SMB)/Add).

Выбираем Windows, т. к. его использую я. Да и большинство домашних клиентов управляются именно этой операционной системой.

На моменте создания общего ресурса дается определенный набор прав доступа, в том числе для незарегистрированных пользователей.

SMB по умолчанию отключен, при первом создании сетевой шары FreeNAS попросит включить службу.

Службу в любой момент можно отключить во вкладке Services.

Сетевой ресурс создан.

Edit ACL — Access Control List. Тоже немаловажный момент на случай, если у вас многопользовательский NAS — пользователи постоянно меняются и имеют разделение прав по группам.

Через проводник сетевой ресурс также доступен.

Сторонние плагины

Список плагинов

Вкладка Plugins/Add.

Из интересного… Да тут все интересно и нет ничего лишнего. Начиная от домашних потребностей в виде торрент-клиента и домашнего PLEX медиа-сервера и до средств разработчика Jenkins для CI/CD.

Asigra Backup и BackupPC — два очень мощных интрумента для бэкапа данных, которые работают по разному принципу и разработаны для разных задач. Asigra Backup работает с API. Бэкапы можно снимать Snapshot`ами (для этого требуется его создать Storage/Snapshot). Snapshot представляет собой сохранение текущего состояния файловой системы. Все изменения, сделанные после снапшота, пишутся физически в другое (свободное) место на диске. То есть после удаления файла в снапшоте сохраняется его положение на диске, и запись новой информации в это место производиться не будет. В случае, если файл изменен, отличия от исходного файла снапшота также будут записаны в другое место, позволяя позже пересобрать файл в исходное состояние.

Снапшоты занимают не очень много места на диске, поскольку сохраняются только сделанные изменения, а не несколько экземпляров одного и того же файла (однако в случае удаления файла он сохраняется в снапшоте).

Установка в два клика. Jail создается автоматически, установка через терминал не требуется.

PLEX сервер доступен по http запросу http://[YOUR_IP_FREENAS]:32400/web.

qBittorrent

После установки доступен по адресу http://[YOUR_IP_FREENAS]:8080/.

Логин/пароль — по умолчанию admin/adminadmin.

Из коробки мы получили веб-интерфейс, программный RAID, поднятый SMB с удобным управлением правами пользователей, и само создание/редактирование пользователей и групп. Добавьте сюда наличие виртуализации, мониторинга и поддержку сторонних программных плагинов. На выходе получается добротный NAS, который покрывает любые потребности. Останется только вовремя подносить оперативную память с ростом потребностей.

nas4free, SWAP и ZFS разделы на жёстком диске

На входе у нас не содержащий полезной информации жёсткий диск.

1. В вебгуе идём в Disks|Management и добавляем диск как не форматированный. (Вариант — жмём кнопку Import disks).

2. Настраиваем там же параметры диска — APM, AAM, включаем SMART

3. Форматируем диск в zfs через Disks|Format. Прим. Единственный смысл этой процедуры — иметь в вебгуе правильное понимание о том, что диск — часть ZFS пула. На работоспособность никак не повлияет, всё ниже делаем руками.

4. Идём в вебгуе в Diagnostics|Information|S.M.A.R.T. и смотрим серийный номер нашего диска

5. Теперь стоит перегрузиться. Ведь мы подключали новый диск и после ребута номера дисков могут съехать. Запоминаем идентификатор диска, у меня он da0. Такого типа ID бывают у SAS и USB дисков. У PATA / SATA — что-то вроде ada1 (или ad2). Используйте ID своего диска в командах ниже, заменяя им da0!!! Будьте крайне внимательны, ошибка приведёт к стиранию всей информации с нужного вам диска.

6. Идём в командную строку, например через putty
Прим от КО. Ниже [ n4fodroid: ~# ] — системное приглашение. То, что идёт за ним, напр [zpool labelclear /dev/da0] — вводимая вами команда, завершаемая нажатием на кнопку Enter. То, что ниже, без системного приглашения — вывод команды. Он может и отсутствовать. Например [da0p1 added].
Осторожно! Перепутаете диск (напр написав da0 вмеcто da1 в вашем конкретном случае) — потеряете всю инфу на нём.

7. Чистим диски от возможных остатков прошлой разметки
n4fodroid: ~# zpool labelclear /dev/da0
n4fodroid: ~# gpart destroy -F /dev/da0
n4fodroid: ~# gpart create -s GPT /dev/da0

8. Создаём SWAP раздел размером в 2G — можете поменять размер.
n4fodroid: ~# gpart add -t freebsd-swap -s 2G -l gptswap -a 4K /dev/da0
da0p1 added

9. Создаём zfs раздел с именем, использующим серийный номер диска, выровненный по 4K на остаток пространства
n4fodroid: ~# gpart add -t freebsd-zfs -l D_WMAVU0055531 -a 4K /dev/da0
da0p2 added

10. Смотрим, что получилось
n4fodroid: ~# gpart show da0

=> 40 2930277088 da0 GPT (1.4T)
40 4194304 1 freebsd-swap (2.0G)
4194344 2926082776 2 freebsd-zfs (1.4T)
2930277120 8 — free — (4.0K)

Видим раздел 1 типа swap 2Gb размером и раздел 2 типа zfs 1.4Tb размером — как и хотелось.

UPD от 28 февраля 2017
Оказалось, что от версии к версии параметр, определяющий размер ashift создаваемого пула меняется 🙁

Поэтому перед командой zpool create проверим его

nas4free ~/ root~$ sysctl vfs.zfs.min_auto_ashift
vfs.zfs.min_auto_ashift: 9

Для дисков с К сектором нужен 12, для 512б сектором (которых новых уже найти с трудом) 9

Если по умолчанию не то — вот так меняем и проверяем
nas4free ~/ root~$ sysctl vfs.zfs.min_auto_ashift=12
vfs.zfs.min_auto_ashift: 9 -> 12
nas4free ~/ root~$ sysctl vfs.zfs.min_auto_ashift
vfs.zfs.min_auto_ashift: 12

затем создаём пул.
Значение параметра сохранится до перезагрузки. При желании сразу после создания пула можно вернуть в исходное. /UPD

11. Создаём на разделе с этой меткой пул с именем Pool, монтируемый в /mnt/Pool и настраиваем умолчания
n4fodroid: ~# zpool create -m /mnt/Pool Pool /dev/gpt/D_WMAVU0055531
n4fodroid: ~# zfs set atime=off Pool
n4fodroid: ~# zfs set checksum=fletcher4 Pool

Можно дать команду

n4fodroid: ~# zdb Pool | grep ashift

И убедиться, что ashift=12, то есть пул настроен на диск с 4K сектором.

12. (Опционально) даём полный доступ к содержимому пока пустого пула. IMHO будет нужда — ограничите в той части, в какой сочтёте нужным.
n4fodroid: ~# chmod -R 777 /mnt/Pool

13. В вебгуе синхронизируем конфиг с реальностью. Идём в
Disks|ZFS|Configuration|Detected
затем Disks|ZFS|Configuration|Synchronize
и жмём нопку Synchronize

Инфа о новом пуле сохранена в конфиг.

14. Теперь настроим swap
Идём в System|Advanced|Swap
И указываем использовать свежесозданный swap раздел
Не нужно. При наличии правильной метки gptswap система сама подхватывает.

Чтобы изменения SWAP вступили в силу следует перегрузить систему. Ср экран статуса, строка swap usage.

Импорт zfs массива в вебгуй nas4free

2) Идём в Disks|ZFS|Configuration|Detected — убеждаемся, что nas4free видит наш новый пул и датасеты на нём

3) Жмём закладку Synchronize, ставим галочки против всех вам нужных пулов, виртуальных устройств и датасетов

Внизу, в Options
Leave already configured auto snapshots. — по желанию, я ставлю галку
Import disks used in configuration. — обязательно ставим галку
Overwrite already configured disks (only affects filesystem value) — я не ставлю, но по желанию.

И жмём кнопку Synchronize внизу.

4) снова сохраняем конфиг

5) Перегружаем NAS и убеждаемся, что импортированный пул на месте со всеми датасетами.

6) Не обязательно и не всегда нужно, но если диски были импортированы  — у них сбрасываются второстепенные параметры (возможность читать SMART, поведение при простое, AAM и APM). Поэтому идём в Disks|Management

И у каждого их настраиваемых дисков жмём иконку — гаечный ключ (слева)

7) Открывается диалог, я свои диски настраиваю так, но возможны варианты

Hard disk standby time — позволяет отключить вращение шпинделя при простое. При этом экономия электричества точно будет, а вот насчёт вляния на срок службы диска единства в массах нет.  Я сторонник варианта, что диски дольше живут, когда крутятся постоянно. Есть те, кто верят, что при простое износ меньше. В любом случае ставить это время менее 2-3 часов — точно не стоит.

Advanced Power Management — параметр, указывающий, что предпочесть — производительность или энергосбережение. Исходя из п выше я обычно ставлю 128 но возможны вариции для разных моделей.

Acoustic level — параметр, указывающий, что предпочесть — производительность или тишину. Часто отключён у современных пользовательских дисков.

Activate S.M.A.R.T. monitoring for this device — позволять смотреть SMART для диска, ставим галку.

Жмём Save

8) После настройке каждого из дисков настройки эти надо сохранить — Жмём Apply Changes

NAS для фотографа и не только. Часть 2: mmag — LiveJournal

Продолжаю начатый в прошлой статье рассказ про NAS на базе сервера HP Micro и сегодня речь пойдет про установку и базовую настройку операционной системы для сетевых хранилищ NAS4Free.
Обо всем, что умеет эта система я говорить не буду, кому надо, тот разберется. Расскажу про настройку двух типов доступа к файлам — для пользователей Apple OS X и для пользователей MS Windows.
Самый простой способ установить NAS4Free — это скачать отсюда образ LiveCD, записать его на диск, загрузиться с этого диска и установить систему на USB-флешку. Почему именно на флешку? Ответ простой — в сервер устанавливается штатно 4 жестких диска и отдавать один диск под систему, которая почти не занимает места, очень расточительно.

После того, как система загрузилась с компакт-диска, вы увидите меню, в котором нам нужно выбрать пункт 9 — это установка системы с оптического диска. Если вы ставите систему на флешку, то этот пункт можно выполнять с любого компьютера, если же планируете устанавливать на жесткий диск, то лучше это делать на самом будущем NAS’е, чтобы не перепутать и случайно не установить на другой диск.

На следующем экране выбираете вариант установки. Для флешки выбирайте Embedded — это продлит жизнь флешке, хотя установка стороннего софта будет недоступна. Для установки на жесткий диск лучше выбрать Full:

Далее установщик вас предупреждает о том, что собирается сделать:

После подтверждения выбора, надо указать с откуда и куда ставить систему:

На этом этапе будьте внимательны — не перепутайте диск, на который устанавливаете систему. В данном случае, ставим на USB-флешку размером 8Гб. Но система при этом занимает немногим более 100мб, так что флешку можно брать самую маленькую из ныне доступных.

Довольно быстро система установится и можно будет продолжать:

(Если у вас OS X или Linux, то вы можете использовать более быстрый способ — скачиваете не LiveCD ISO файл, а Embedded IMG и разворачиваете его на флешку таким способом: sudo dd if=NAS4Free-x64-embedded-9.1.0.1.775.img of=/dev/<идентификатор флешки> bs=64k)

Теперь у нас есть загрузочная флешка, которую подключаем к серверу и загружаемся с нее. Желательно, чтобы к серверу был подключен сетевой кабель, тогда автоматически будет настроена сеть и можно будет сразу после загрузки перейти к настройке через браузер. После загрузки вы увидите такой же экран, как показан на первой иллюстрации. Единственное отличие в том, что пунктов меню будет всего восемь.

Обратите внимание на строку «LAN Network IPv4 Address: 192.168.1.250». Последняя часть этой строки «192.168.1.250» — это IP-адрес, полученный сервером в сети и у вас это будут совершенно другие числа. Открывайте свой любимый браузер и в строке адреса введите «http://192.168.1.250» (свой адрес и без кавычек).

После этого вы увидите экран с запросом пароля — логин на новой системе «admin», а пароль «nas4free», опять же вводите без кавычек (сменить стандартный пароль можно в меню System/General).

Здесь вы видите основные парааметры сервера и операционной системы. Можно переходить к настройкам. Предположим, что у нас в сервера два жестких диска, который мы хотим объединить в массив RAID-1 (это когда данные пишутся одновременно на два диска, и выход из строя одного диска не ведет к потере информации. Подробнее про RAID можно почитать здесь). Первым делом надо указать системе какие диски мы хотим использовать. Для этого заходим в пункт меню Disks/Management:

Справа под таблицей жмем на большой плюс:

В открывшейся форме выбираем диск, который хотим использовать, множно указать комментарий к диску и я еще включаю S.M.A.R.T. — это позволит следить за состоянием диска. Жмем кнопку «Add» и повторяем все для следующего диска. И, раз уж мы делаем RAID-массив, то в качестве файловой системы указываем «Software RAID».

В итоге получаем два диска, готовые к подключению к системе. Кликаем по кнопке «Apply changes».

Теперь переходим в меню Disks/Software RAID:

Для нашей задачи надо выбрать RAID 1 и нажать плюс справа под таблицей:

Далее надо указать имя массива, алгоритм балансировки можно не трогать и выбрать диски, из которых массив собирается. Для RAID-1 необходимо минимум два диска. Нажимаем кнопку «Add» на этом экране и «Apply Changes» на следующем:

В результате из двух физических дисков получился один логический. Переходим к его форматированию.

В поле «Disk» указываем только что созданный массив, в качестве файловой системы я выбрал UFS.

Нажимаем кнопку «Format», дожидаемся окончания процесса и переходим к созданию и выбору точки монтирования. Не вдаваясь в подробности можно сказать, что точка монтирования это самая первая папка в файловой системе. В этой папке будут расположены все используемые файлы и папки. Переходим в пункт меню Disks/Mount point, жмем плюс под табличкой и заполняем форму:

Теперь, когда все подготовлено, можно переходить непосредственно к настройке сетевых служб.

Начнем с настройки AFP, протокола доступа к файлам в OS X. Для этого переходим в меню Services/AFP (кстати в этом меню видно сколько всего умеет NAS4Free «из коробки»):

На открывшейся страничке ставим галку «Enabled» вверху справа, затем надо указать имя сервера и выбрать способ аутентификации. Если вход в вашу локальную сеть закрыт от посторонних, то можете включить гостевой вход. Для большей безопасности следует использовать аутентификацию локальным пользователем. Как этого пользователя добавить расскажу ниже.

Далее надо нажать кнопку «Save and restart» и можно переходить на вкладку «Shares». Здесь указываем имя, комментарий и путь к папке, которая станет доступна по сети (та самая точка монтирования, которую мы создали ранее). Больше здесь ничего особо настраивать не надо.

Единственный момент — видите пункт «Automatic disk discovery mode»? Там на выбор два варианта — «Default» и «Time machine». Если выбрать второй вариант, то созданная сетевая папка станет доступной для создания бэкапов с помощью Time Machine, утилиты, входящей в состав OS X.

Скоро перейдем к настройке общих папок для ОС Windows, а пока добавим пользователя для аутентификации локальным пользователем. Для этого заходим в меню Access/Users and groups, жмем снова плюс снизу справа и переходим к добавлению пользователя. Достаточно заполнить четыре верхних пустых поля — имя, полное имя и пароль с подтверждением.

Затем в меню Services выбираем CIFS/SMB и настраиваем примерно как на картинке ниже и жмите «Save and restart»:

Затем переходите на вкладку «Shares» и здесь указываем имя, комментарий и путь к общей папке (точке монтирования). Если не поставить галочку в пункте «Browseable», то для того, чтобы зайти в папку надо будет набрать полный ее путь. В нашем случае это будет \nas4free\smb_share. Если же эта галочка стоит, то зайдя на сервер через сетевое окружение, вы увидите эту папку.

Вот так довольно просто можно настроить себе NAS с зеркальным RAID-массивом. NAS4Free умеет еще много интересного и, если кто-то захочет разобраться с какими-то еще функциями, пишите в комментариях и я напишу следующую часть. Спасибо за внимание, надеюсь статьи окажутся полезными.