Создание и уничтожение пулов устройств хранения данных zfs

Установка Gentoo на zfs

Создаём загрузочную флешку:
В linux с одного из зеркал сайта https://wiki.gentoo.org/wiki/User:Fearedbliss
загружаем «System Rescue», который включает ZFS.
Вставляем флешку и выполняем команды:mkdir /tmp/isomount -o loop,ro sysresccd-X.X.X_zfs_X.X.X.iso /tmp/iso/tmp/iso/usb_inst.sh
Откроется экран, на котором выбираем подключенный флеш-накопитель и запускаем.
Отмантируем и вынимаем флешку для использования.
Загружаемся с созданой флешки.

Если прошивка материнской платы, настроенная для загрузки в BIOS / CSM , имеет проблему с загрузкой дисков с меткой GPT. Обходим эту проблему:fdisk -t dos /dev/sdaCommand (m for help): aCommand (m for help): w
Создаём pool:zpool create -f -o ashift=12 -o cachefile= -O normalization=formD -m none -R /mnt/gentoo -d -o feature@async_destroy=enabled -o feature@empty_bpobj=enabled -o feature@lz4_compress=enabled -o feature@spacemap_histogram=enabled -o feature@enabled_txg=enabled -o feature@extensible_dataset=enabled -o feature@bookmarks=enabled rpool /dev/sda3 # для системы с efi /dev/sda4
Создание наборов данных zfs:zfs create rpool/ROOTzfs create -o mountpoint=/ rpool/ROOT/gentoozfs create -o mountpoint=/home rpool/HOME
Для grub безопаснее создавать отдельный zpool, у которого отключены все флаги функций:zpool create -f -d -o ashift=12 -o cachefile= -m /boot -R /mnt/gentoo boot /dev/sda2 # для системы с efi /dev/sda3
Создаём swap zvol:zfs create -o sync=always -o primarycache=metadata -o secondarycache=none -b 4k -V 4G -o logbias=throughput rpool/swapmkswap -f /dev/zvol/rpool/swapswapon /dev/zvol/rpool/swap
Проверяем pool:zpool statuszfs list
Проверяем и установливаем время:date
Подготовка к chroot:cd /mnt/gentoo
Загружаем stage3-amd64:wget http://distfiles.gentoo.org/releases/amd64/autobuilds/current-stage3-amd64/stage3-amd64-*.tar.xz
Распаковываем:tar xpf stage3-amd64-*.tar.xzДля системы с efi добавляем:mkdir boot/efimount /dev/sda2 boot/efi
Копируем zpool cache:mkdir etc/zfscp /etc/zfs/zpool.cache etc/zfs
Копируем настройки сети:cp -L /etc/resolv.conf etc/
Устанавливаем необходимые устройства:mount —types=proc /proc procmount —rbind /dev devmount —rbind /sys sys
Изменение корневого каталога для перехода в новую среду:chroot /mnt/gentoo /bin/bashsource /etc/profileexport PS1=»(chroot) $PS1″
Копируем конфигурацию portage по умолчанию:cp /usr/share/portage/config/repos.conf /etc/portage/
Переходим к «»
Переходим к «»
Настроить дату:ln -sf /usr/share/zoneinfo/Europe/Volgograd /etc/localtimedate ММДДччммГГГГГ
Переходим к «»
Ядро компилируем с учотом «».
Создать символическую ссылку mtab:ln -sf /proc/self/mounts /etc/mtab
Создаём fstab:nano /etc/fstab

Основные команды

Если ввести в командную строку #zpool help command | help | property property-name, то открывается справочный инструмент, в котором можно определить нужные ключи и значение разных команд. Для просмотра списка доступных пулов и интервалов обновления информации, нужно в командной строке прописать # zpool list. Цифра рядом с пулом укажет интервал обновления в секундах.

Журнал команд пула автоматически регистрирует все успешные команды и сохраняет их в историю. Для просмотра этого журнала необходимо прописать # zpool history в командной строке. Им можно воспользоваться при возникновении ошибок и просмотреть, какие команды к ним привели.

Для того чтобы просмотреть все параметры конкретного пула, следует прописать zpool get “all” rpool. После этого высветится информация об объеме, размере, состоянии, версии, возможности автозамены и многим другим параметрам. Вместо значения “all” можно написать конкретный параметр, например, ‘’capacity’, “allocated”, ‘’cachefile’ и другие, и тогда появятся расширенные данные по этому аспекту работы пула.

Команда zpool get “all” rpool

Чтобы проверить состояние пула, нужно в командной строке прописать # zpool status. Тогда может высветиться один из следующих статусов:

• online – нормальное рабочее состояние пула;
• degraded – рабочее состояние, но присутствует сбой виртуального устройства;
• faulted – полный сбой виртуального устройства, которое находится в недоступном состоянии;
• offline – администратор отключил виртуальное устройство;
• unavailable – невозможно установить доступ к виртуальному устройству;
• removed – виртуальное устройство было удалено.

Также есть команды, которые позволяют проверить пул на наличие ошибок (zpool scrub), очистить ошибки (zpool clear %название пула%), провести мониторинг производительности (zpool iostat), обновить пул (zpool upgrade), разделить его (zpool split) и выполнить ряд других действий и настроек.

Команда zpool scrub

Общая информация о пуле

Пул ZPool гарантирует стабильные условия майнинга криптовалюты с использованием разных алгоритмов и скриптов. ZPool дает возможность добывать криптовалюты разных видов, включая некоторые форки. После того, как удалось намайнить нужную сумму, вывод с ZPool осуществляется в сатошах (BTC).

Добыча криптовалют и их выплаты с ZPool производятся автоматически в заданные периоды времени. Высокая эффективность майнинга на ZPool осуществляется благодаря долгой и плодотворной работе целого коллектива программистов. Их труд позволил создать пул с одной из самых высоких скоростей добычи криптомонет. Майнинг в ZPool основывается на работе уникального скрипта.

В момент переключения между добычей разных криптовалют скорость майнинга практически не теряется, что позволяет поддерживать максимальный уровень эффективности даже в такие периоды.

Создаём пул raid z

из трёх дисков:zpool create -f ZFS-gentoo raidz1 /dev/sdb /dev/sdc /dev/sdd-f должно преодолеть «ошибку метки EFI».-m точка монтирования пула. Если не указано, то пул будет подключен к /<pool>
из четырёх дисков:zpool create -f ZFS-gentoo raidz2 /dev/sdb /dev/sdc /dev/sdd /dev/sdeAdvanced Format представляет собой новый формат диска, который изначально использует размер сектора 4096 байт, а не 512 байт. Чтобы поддерживать совместимость с унаследованными системами ZFS автоматически определит размер сектора диска, но это может привести к плохо выровненному доступу к диску, что значительно ухудшит производительность пула.
Свойство ashift было добавлено ​​в команду zpool. Оно позволяет явно назначать размер сектора, обычно при создании пула или добавлении vdev в пул.
Значения варьируются от 9 до 16.
Значение по умолчанию , что означает, zfs должен автоматически определять размер сектора.
Это значение на самом деле является значением сдвига бит, поэтому значение 512 байтов равно 9 (2 ^ 9 = 512), тогда как значение для 4096 байт составляет 12 (2 ^ 12 = 4096).
Для использования пулом 4096 байт секторов при создания пула, запускаем:zpool create -o ashift=12 ZFS-gentoo mirror sdb sdc
Для использования пулом 4096 байт секторов при добавлении vdev в пул, запускаем:zpool add -o ashift=12 ZFS-gentoo mirror sdd sde
Создаём набор данных в zpool (например home):zfs create ZFS-gentoo/home
Функция горячих запасных частей позволяет идентифицировать диски, которые могут быть использованы для замены неисправного или неисправных устройств в одном или нескольких пулах хранилищ.
Назначение устройства в качестве горячего резерва означает, что устройство не является активным устройством в пуле, но если активное устройство в пуле не работает, горячий резерв автоматически заменяет неисправное устройство.
Устройства могут быть назначены в качестве «горячих» запасных частей следующими способами,
когда пул создается:zpool create ZFS-gentoo mirror /div/sdb /div/sdc spare /div/sdd /div/sde
или добавлением их в пул после создания пула:zpool add ZFS-gentoo spare /div/sdd /div/sde
Горячие запасные части можно удалить из пула хранения:zpool remove ZFS-gentoo /div/sde
В настоящее время команда zpool remove поддерживает только удаление устройств горячего резерва и устройств кэширования.
Горячий резерв нельзя удалить, если он в настоящее время используется пулом хранения.
Если физически заменить неисправное устройство активным запасным устройством, можно повторно активировать оригинальное устройство, используя команду zpool detach для отсоединения запасного.

Обновление пулов устройств хранения данных zfs

zpool status может проинформировать об использовании в пулах старых версий.
Для вывода дополнительной информации по определенной версии и поддерживаемым релизам используется следующая команда:zpool upgrade -v
Обновляем ZFS-gentoo:zpool upgrade ZFS-gentoo
Для обновления версии всех zpools в системе:zpool upgrade -a
При обновлении пула до новой версии ZFS пул будет недоступен в системе, использующей более старую версию ZFS
После каждой переустановке ядра необходимо переустановить модули:sys-kernel/spl и sys-fs/zfs-kmodemerge —ask @module-rebuild
и перезагрузитьсяreboot

Adding Devices to a Storage Pool

You can dynamically add disk space to a pool by adding a new top-level virtual device.
This disk space is immediately available to all datasets in the pool.

The virtual device that you add should have the same level of redundancy as the
existing virtual device. However, you can change the level of redundancy by using the
–f option.

To add a new virtual device to a pool, use the zpool add
command.

# zpool add pool keyword devices

Note — 
With zpool add –n, you can perform a dry run
before actually adding devices.

Example 3  

In the following example, a mirror is added to a ZFS configuration that consists
of two top-level mirrored devices.

# zpool add mpool mirror c0t3d0 c1t3d0
# zpool status mpool
pool: mpool
state: ONLINE
scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
mpool          ONLINE       0      0      0
   mirror-0    ONLINE       0      0      0
      c0t1d0   ONLINE       0      0      0
      c1t1d0   ONLINE       0      0      0
   mirror-1    ONLINE       0      0      0
      c0t2d0   ONLINE       0      0      0
      c1t2d0   ONLINE       0      0      0
   mirror-2    ONLINE       0      0      0Added mirrored device.
      c0t3d0   ONLINE       0      0      0
      c1t3d0   ONLINE       0      0      0

errors: No known data errors

Example 4  

This example shows how to add one RAID-Z device consisting of three disks to an
existing RAID-Z storage pool that also contains three disks.

# zpool add rzpool raidz c2t2d0 c2t3d0 c2t4d0
# zpool status rzpool
pool: rzpool
state: ONLINE
scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
rzpool         ONLINE       0      0      0
   raidz1-0    ONLINE       0      0      0
      c1t2d0   ONLINE       0      0      0
      c1t3d0   ONLINE       0      0      0
      c1t4d0   ONLINE       0      0      0
   raidz1-1    ONLINE       0      0      0Added RAID-Z device.
      c2t2d0   ONLINE       0      0      0
      c2t3d0   ONLINE       0      0      0
      c2t4d0   ONLINE       0      0      0

errors: No known data errors

Example 5  

This example shows how to add a mirrored log device to a mirrored storage
pool.

# zpool add newpool log mirror c0t6d0 c0t7d0
# zpool status newpool
pool: newpool
state: ONLINE
scrub: none requested
config:


NAME           STATE     READ  WRITE  CKSUM
newpool        ONLINE       0      0      0
   mirror-0    ONLINE       0      0      0
      c0t4d0   ONLINE       0      0      0
      c0t5d0   ONLINE       0      0      0
logs                                       Added mirrored log device.
   mirror-1    ONLINE       0      0      0
      c0t6d0   ONLINE       0      0      0
      c0t7d0   ONLINE       0      0      0

errors: No known data errors

Note that mirrored log devices are provided with an identifier, such as
mirror-1 in the example. The identifier is useful when you
remove log devices, as shown in .

Example 6  

The following example shows how to add a cache device to a pool.

# zpool add system1 cache c2t5d0 c2t8d0
# zpool status system1
pool: system1
state: ONLINE
scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
system1        ONLINE       0      0      0
   mirror-0    ONLINE       0      0      0
      c2t0d0   ONLINE       0      0      0
      c2t1d0   ONLINE       0      0      0
      c2t3d0   ONLINE       0      0      0
   cache                                   Added cache device.
      c2t5d0   ONLINE       0      0      0
      c2t8d0   ONLINE       0      0      0

errors: No known data errors

Objectives

The key to this high-availability storage design is a shared SAS-attached storage enclosure, or JBOD.
Examples of this include:

These external SAS enclosures all feature:

• Redundant power supplies and fans.
• SAS expander logic on the backplane.
• Redundant SAS controllers (I/O modules) with end-to-end multipathing to accommodate dual-ported SAS disks. Dual-ported SAS drives are critical to the success of this design!
• SCSI enclosure services (SES) sensors for communication of enclosure component status.

To complement the shared JBOD enclosure, we need two servers (head nodes or controllers) to provide client connectivity and compute/RAM resources for the ZFS array.

It make sense to scale the specifications of the head nodes to meet the anticipated workload of the installation. Variables may include:

• PCIe slot connectivity — For NICs, SAS host bus adapters and future expansion.
• RAM — ZFS leverages system RAM for read and write caching. Maximizing RAM amount (within reason) can help accelerate I/O workloads.
• Speed and number of CPUs — This impacts data compression performance.
• Cost — .

DESCRIPTION

ZFS pool on-disk format versions are specified via «features» which replace
the old on-disk format numbers (the last supported on-disk format number is
28). To enable a feature on a pool use the upgrade subcommand of the
zpool(8) command, or set the feature@feature_name property
to enabled.

The pool format does not affect file system version compatibility or the ability
to send file systems between pools.

Since most features can be enabled independently of each other the on-disk
format of the pool is specified by the set of all features marked as
active on the pool. If the pool was created by another software version
this set may include unsupported features.
 

Identifying features

Every feature has a GUID of the form com.example:feature_name. The
reverse DNS name ensures that the feature’s GUID is unique across all ZFS
implementations. When unsupported features are encountered on a pool they will
be identified by their GUIDs. Refer to the documentation for the ZFS
implementation that created the pool for information about those features.

Each supported feature also has a short name. By convention a feature’s short
name is the portion of its GUID which follows the ‘:’ (e.g.
com.example:feature_name would have the short name feature_name),
however a feature’s short name may differ across ZFS implementations if
following the convention would result in name conflicts.
 

Feature states

Features can be in one of three states:

active

This feature’s on-disk format changes are in effect on the pool. Support for
this feature is required to import the pool in read-write mode. If this
feature is not read-only compatible, support is also required to import the pool
in read-only mode (see «Read-only compatibility»).

enabled

An administrator has marked this feature as enabled on the pool, but the
feature’s on-disk format changes have not been made yet. The pool can still be
imported by software that does not support this feature, but changes may be made
to the on-disk format at any time which will move the feature to the
active state. Some features may support returning to the enabled
state after becoming active. See feature-specific documentation for
details.

disabled

This feature’s on-disk format changes have not been made and will not be made
unless an administrator moves the feature to the enabled state. Features
cannot be disabled once they have been enabled.

The state of supported features is exposed through pool properties of the form
feature@short_name.
 

Read-only compatibility

Some features may make on-disk format changes that do not interfere with other
software’s ability to read from the pool. These features are referred to as
«read-only compatible». If all unsupported features on a pool are read-only
compatible, the pool can be imported in read-only mode by setting the
readonly property during import (see zpool(8) for details on
importing pools).
 

Unsupported features

For each unsupported feature enabled on an imported pool a pool property
named unsupported@feature_name will indicate why the import was allowed
despite the unsupported feature. Possible values for this property are:

inactive

The feature is in the enabled state and therefore the pool’s on-disk
format is still compatible with software that does not support this feature.

readonly

The feature is read-only compatible and the pool has been imported in
read-only mode.

Feature dependencies

Some features depend on other features being enabled in order to function
properly. Enabling a feature will automatically enable any features it
depends on.
 

Smartmontools

Устанавливаем smartmontools:emerge —ask sys-apps/smartmontools
Запускаем smartmontools:/etc/init.d/smartd start
Добавляем в автозагрузку:rc-update add smartd defaultДля systemd:systemctl start smartd.servicesystemctl enable smartd.service
Пакет smartmontools состоит из двух утилит (smartctl и smartd), которые контролируют и следят за системными накопителями используя самопроверку, анализ и систему технологического отчёта (S.M.A.R.T.), встроенную в большинство современных ATA и SCSI жёстких дисков.
Определяем, поддерживает ли диск технологию SMART:smartctl -i /dev/sdc
smartctl 6.4 2015-06-04 r4109 (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Family: Seagate SV35
Device Model: ST2000VX000-1ES164
Serial Number: Z4Z7WD8V
LU WWN Device Id: 5 000c50 0a289fb1c
Firmware Version: CV27
User Capacity: 2 000 398 934 016 bytes
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database
ATA Version is: ACS-2, ACS-3 T13/2161-D revision 3b
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is: Wed Jun 28 12:56:27 2017 +03
SMART support is: Available — device has SMART capability.
SMART support is: Enabled
Приминение smartctl:smartctl -h
Быстрый тест здоровья жесткого диска:smartctl -H /dev/sdc
smartctl 6.4 2015-06-04 r4109 (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
Если тест не пройден — стоит задуматься о замене жесткого диска.
Выполнить расширенные встроенные тесты для диска /dev/sdc:smartctl —test=long /dev/sdc
Команду можно использовать на работающей системе. Для просмотра результатов выполнения тестов используется команда вывода внутреннего журнала после завершения теста:smartctl -l selftest /dev/sdc
Отмена теста:smartctl -X
Журнал ошибок диска:smartctl -l error /dev/sdc
smartctl 6.4 2015-06-04 r4109 (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF READ SMART DATA SECTION ===
SMART Error Log Version: 1
No Errors Logged
Если диск не страдал сбоями, журнал пуст. Обычно, следует беспокоится, если дисковые ошибки в журнале появляются сразу с большими номерами.
Выводим атрибуты SMART для HDD:smartctl -A /dev/sdc
smartctl 6.4 2015-06-04 r4109 (local build)
Copyright (C) 2002-15, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:

Официальный сайт

Сайт пула находится по адресу zpool.ca. Он представлен только на английском языке, и не имеет других языковых версий. Вверху находятся переходы на основные разделы пула:

• пул;
• кошелек ZPool;
• графики;
• майнеры;
• исследователи (block explorers);
• benchs;
• HashTrap.

Главная страница сайта zpool ca

Статус пула на разных алгоритмах постоянно обновляется и данные о монетах, майнерах, хэшрейте, комиссиях высвечивается в табличке в правой части экрана. Справа над ней указано время следующей сверки баланса ZPool и выплаты средств.

Слева на странице располагается раздел с важной информацией о работе пула. Сразу же под ним можно прочитать, как правильно прописывать Stratum серверы в батнике

Также на главной странице есть информация о партнерах-биржах, арендных хэш-сервисах и ссылках на ветку в BitcoinTalk и мануалах по майнингу на ZPool.

После выбора алгоритма, открывается окно, в котором можно просмотреть информацию по криптовалютам, которые можно майнить на этом алгоритме. По каждой криптовалюте есть статистика добычи за последний час, сутки, неделю и 30 дней. В самом низу будет сведенная таблица для сатоши за эти периоды.

Removing Devices From a Storage Pool

To remove devices from a pool, use the zpool remove command. This command supports removing hot spares, cache, log, and top level virtual data devices. However, removing top-level data vdevs in a RAID-Z pool is unsupported. You can remove devices by referring to their identifiers, such as mirror-1 in .

You can cancel a top-level device removal operation by using the command zpool remove –s.

Note — Avoid using the zpool remove command in cases when the pool is very active, the pool is nearly full, or both. In such cases, consider creating a new pool and then using the zfs send and zfs recv commands to migrate the data to the new pool.
Example 7  

This example shows how to remove mirror-1 and mirror-2 from the pool that was created in . The example provides two pieces of information after you issue the command to remove devices:

• The status of the pool while the devices are being removed.

• The status of the pool after the device removal is completed.

$ zpool remove mpool mirror-1 mirror-2
# zpool status mpool
  pool: mpool
 state: ONLINE
status: One or more devices is currently being removed.
action: Wait for the resilver to complete.
        Run 'zpool status -v' to see device specific details.
  scan: resilver  in  progress  since  Mon Jul 7 18:19:35
        2014
        16.7G scanned
        884M  resilvered at 52.6M/s,  9.94% done, 0h1m to go
config:

NAME           STATE    READ WRITE CKSUM
mpool          ONLINE      0     0     0
   mirror-0    ONLINE      0     0     0
      c0t1d0   ONLINE      0     0     0
      c1t1d0   ONLINE      0     0     0
   mirror-1  REMOVING      0     0     0
      c0t2d0   ONLINE      0     0     0
      c1t2d0   ONLINE      0     0     0
   mirror-2  REMOVING      0     0     0
      c0t3d0   ONLINE      0     0     0
      c1t3d0   ONLINE      0     0     0
+
+         errors: No known data errors

$ zpool status mpool
pool: mpool
state: ONLINE
scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
   mirror-0    ONLINE       0      0      0
      c0t1d0   ONLINE       0      0      0
      c1t1d0   ONLINE       0      0      0
errors: No known data errors

Example 8  

This example shows how to remove the log device mirror-1 that was created in . Note that if the log device is not redundant, then remove the device by referring to the device name, such as c0t6d0.

$ zpool remove newpool mirror-1
$ zpool status newpool
  pool: newpool
 state: ONLINE
 scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
newpool        ONLINE       0      0      0
   mirror-0    ONLINE       0      0      0
      c0t4d0   ONLINE       0      0      0
      c0t5d0   ONLINE       0      0      0

errors: No known data errors

Example 9  

This example shows how to remove the cache device that was created in .

$ zpool remove system1 c2t5d0 c2t8d0
$ zpool status system1
pool: system1
state: ONLINE
scrub: none requested
config:

NAME           STATE     READ  WRITE  CKSUM
system1        ONLINE       0      0      0
   mirror-0    ONLINE       0      0      0
      c2t0d0   ONLINE       0      0      0
      c2t1d0   ONLINE       0      0      0
      c2t3d0   ONLINE       0      0      0

errors: No known data errors

Вывод средств

Всех новых пользователей всегда интересует вопрос, как выводить с ZPool. Процедура вывода стандартизирована, и информация о ней размещается на главной странице пула. Вне зависимости от выбранной криптовалюты майнинга, все намайненные монеты будут автоматически переводиться в сатоши.

Раньше вывод средств с ZPool ca происходит каждые 3 часа, но сейчас период увеличился на 1 час и составляет 4 часа. Такая система вывода настроена автоматически для всех пользователей и ее откорректировать нельзя. Баланс для вывода в такие временные рамки должен составлять или превышает 0,015 BTC. Если же мощности позволяют майнить лишь от 0,0015 до 0,014, то выплата производится разово и по воскресеньям. Первый вывод будет осуществлен не ранее, чем через 24 часа с момента регистрации.

Свой кошелек на пуле создать нельзя. Для вывода нужно использовать внешние кошельки, и адрес соответственно прописывать в батнике. Также адрес BTC-кошелька можно прописать на сайте и просмотреть его текущее состояние и баланс. Для этого необходимо пройти в раздел Wallet (кошелек), и, там, в специальном поле указать адрес.

Если вас интересует, как вывести с ZPool на несколько кошельков, то в этом нет ничего сложного. Для начала нужно указать второй кошелек в батнике, а затем указать его на сайте пула.