Управление хранилищами

1. О хранилище zVirt

В zVirt используется централизованная система хранения для виртуальных дисков, файлов ISO и моментальных снимков. Взаимодействие с хранилищем по сети может быть организовано с помощью:

Network File System (NFS)
экспорта GlusterFS
других файловых систем, совместимых с POSIX
iSCSI
локального хранилища, подключенного непосредственно к хостам виртуализации
протокола оптоволоконного канала (Fibre Channel Protocol, FCP)
параллельной NFS (pNFS)

Настройка хранилища является необходимым условием для нового центра данных, поскольку центр данных не может быть инициализирован без подключенных и активированных доменов хранения.

Системный администратор zVirt должен уметь создавать, настраивать, подключать и поддерживать хранилище для корпоративной среды виртуализации, а также быть знакомым с типами хранилищ и способами их использования.

Для добавления доменов хранения нужен доступ к Порталу администрирования и хотя бы один подключенный хост со статусом Включен (Up) running .

В zVirt есть три типа доменов хранения:

Домен данных: Домен данных содержит виртуальные жесткие диски и файлы OVF всех виртуальных машин и шаблонов в центре данных. В нем же хранятся снимки виртуальных машин.

Домен данных не может использоваться несколькими центрами данных. К одному центру данных можно добавлять домены данных разных типов (iSCSI, NFS, FC, POSIX и Gluster) при условии, что все они являются общими, а не локальными.

Домен данных нужно подключать к центру данных до подключения доменов других типов.
Домен ISO: Домены ISO хранят файлы ISO (или логические CD), используемые для установки и загрузки операционных систем и приложений для виртуальных машин. Домен ISO избавляет центр данных от потребности в физических носителях. Домен ISO не может использоваться несколькими центрами данных. Домен ISO может базироваться только на NFS. К центру данных можно добавить только один домен ISO.

Домен хранения ISO является устаревшим и более не поддерживается.
Домен экспорта: Домены экспорта - это репозитории временного хранения, используемые для копирования и перемещения образов между центрами данных и средами zVirt. Домены экспорта могут использоваться для резервного копирования виртуальных машин. Домен экспорта можно перемещать между центрами данных, но активным он может быть только в одном центре данных в каждый конкретный момент времени. Домен экспорта может базироваться только на NFS. К центру данных можно добавить только один домен экспорта.

Сущность "Домен экспорта" считается устаревшей. Домен экспорта можно отключить от центра данных и импортировать в другой центр данных в той же или другой среде. Затем виртуальные машины, "плавающие" виртуальные диски и шаблоны можно выгрузить из импортированного домена хранения в подключенный центр данных. Информацию об импортировании доменов хранения см. в разделе Импортирование существующих доменов хранения.

Приступайте к настройке и подключению хранилища для среды zVirt только после определения потребностей центра данных в ресурсах хранения.

2. Концепция доменов хранения

Домен хранения - это набор образов, имеющих общий интерфейс хранения. Домен хранения содержит полные образы шаблонов и виртуальных машин (включая моментальные снимки) или файлы ISO. Домен хранения может состоять из блочных устройств (SAN - iSCSI или FCP) или файловой системы (NAS - NFS, GlusterFS или иных POSIX-совместимых файловых систем).

Поддерживаемые размеры блоков зависят от типа хранилища:

NFS - 512Б
Локальное на хосте - 512Б
POSIX-совместимые ФС - 512Б
GlusterFS - 4кБ
iSCSI - 512Б
Fibre Channel - 512Б

Блок размером 4 кБ может обеспечить лучшую производительность, особенно на больших файлах, а также необходим при использовании инструментов, требующих совместимости с 4-килобайтным блоком, например, VDO. При этом использование блока, размером в 4 кБ накладывает ограничение на использование ВМ.

В NFS все виртуальные диски, шаблоны и моментальные снимки являются файлами.

В SAN (iSCSI/FCP) каждый виртуальный диск, шаблон или моментальный снимок представляет собой логический том. Блочные устройства объединяются в логическую сущность, называемую группой томов, а затем с помощью Менеджера логических томов (Logical Volume Manager, LVM) делятся на логические тома для использования в качестве виртуальных жестких дисков.

Виртуальные диски могут иметь один из двух форматов: QCOW2 или raw. Возможные типы хранилищ: динамически расширяемые (sparse) или предварительно размеченные (preallocated). Снимки всегда имеют формат sparse, но могут создаваться для дисков любого из этих форматов.

Для виртуальных машин, совместно использующих один домен хранения, возможна миграция между хостами, относящимися к одному кластеру.

3. Возможные состояния доменов хранения

Таблица 1. Возможные состояния доменов хранения
Состояние	Описание	Причины перехода в данное состояние
Активация (Activating)	Домен хранения находится в процессе активации	Выполняется попытка подключить домен хранения к хостам, на которых он будет использоваться
Активен (Active)	Домен хранения активен и доступен для использования	Домен хранения успешно подключен к хостам и готов к хранению виртуальных дисков и образов
Отключение (Detaching)	Домен хранения находится в процессе отключения	Выполняется отключение домена хранения от хостов, на которых он использовался
Неактивен (Inactive)	Домен хранения неактивен и недоступен для использования	Домен хранения не подключен к хостам или не настроен для использования
Заблокирован (Locked)	Домен хранения заблокирован и недоступен для изменений	Домен хранения заблокирован администратором или системой для предотвращения случайных изменений
Обслуживание (Maintenance)	Домен хранения находится в режиме обслуживания	Домен хранения переведен в режим обслуживания для выполнения плановых работ или устранения неполадок
Смешанный (Mixed)	Состояние домена хранения является смешанным, что указывает на наличие проблем	Некоторые хосты могут иметь доступ к домену хранения, а другие - нет. Требуется диагностика для устранения проблем
Подготовка к обслуживанию (Preparing_for_maintenance)	Домен хранения готовится к режиму обслуживания	Выполняется перемещение данных с домена хранения на другие хранилища перед его переводом в режим обслуживания
Не присоединен (Unattached)	Домен хранения не присоединен ни к одному хосту	Домен хранения создан, но еще не настроен для использования на хостах
Неизвестно (Unknown)	Статус домена хранения неизвестен	Возникновение проблем со связью или других ошибок

4. Подготовка и добавление хранилища NFS

4.1. Подготовка хранилища NFS

Настройте общие ресурсы NFS в файловом хранилище или на удаленном сервере, чтобы они служили доменами хранения в системах хостов zVirt. После экспорта общих ресурсов в удаленное хранилище и их настройки в Менеджере управления они будут автоматически импортированы на хосты с zVirt Node.

zVirt требует наличия отдельных учетных записей пользователей системы и групп пользователей системы, чтобы Менеджер управления мог хранить данные в доменах хранения, представленных экспортируемыми каталогами. Описанная ниже процедура устанавливает разрешения для одного каталога. Повторите шаги chown и chmod для всех каталогов, которые собираетесь использовать в качестве доменов хранения в zVirt.

Предварительные условия:

Установите пакет утилит NFS (utils).
```
dnf install nfs-utils -y
```
Проверьте включенные версии:
```
cat /proc/fs/nfsd/versions
```

Включите следующие службы:

systemctl enable nfs-server
systemctl enable rpcbind

При необходимости создайте правила межсетевого экрана для обеспечения доступности хранилища для других хостов:
```
firewall-cmd --permanent --add-service=nfs
firewall-cmd --permanent --add-service=mountd
firewall-cmd --permanent --add-service=rpc-bind
firewall-cmd --reload
```

Порядок действий:

Создайте группу kvm:
```
groupadd kvm -g 36
```
Создайте пользователя vdsm в группе kvm:
```
useradd vdsm -u 36 -g kvm
```
Создайте каталог storage и измените права доступа.
```
mkdir /storage
chmod 0755 /storage
chown 36:36 /storage/
```
Добавьте каталог storage в /etc/exports с соответствующими разрешениями.
```
echo "/storage *(rw)" >> /etc/exports
```
Перезапустите следующие службы:
```
systemctl restart rpcbind
systemctl restart nfs-server
```
Чтобы посмотреть экспорты, доступные для конкретного IP-адреса, выполните:
```
exportfs
/storage <world>
```

Если после запуска служб в /etc/exports вносятся изменения, то для повторной загрузки изменений можно использовать команду exportfs -ra. После выполнения всех вышеперечисленных шагов каталог экспорта должен быть готов, и его можно протестировать на другом хосте, чтобы убедиться, что его можно использовать.

4.2. Добавление хранилища NFS

Далее показано, как подключить существующее хранилище NFS к среде zVirt в качестве домена данных.

Если требуется домен экспорта, используйте эту процедуру, но выберите Экспорт (Export) в списке Функция домена (Domain Function).

Порядок действий:

На Портале администрирования нажмите Хранилище (Storage) Домены (Domains).
Нажмите Новый домен (New Domain).
Задайте Имя (Name) для домена хранения.
Примите значения по умолчанию для списков Центр данных (Data Center), Функция домена (Domain Function), Тип хранилища (Storage Type), Используемый хост (Host).
Введите Путь экспорта (Export Path), который должен использоваться для домена хранения. Путь экспорта должен иметь следующий формат: 123.123.0.10:/data (для IPv4), [2001:0:0:0:0:0:0:5db1]:/data (для IPv6), или domain.example.com:/data.
При желании можно настроить дополнительные параметры:
1. Нажмите Дополнительные параметры (Advanced Parameters).
2. Введите процентное значение в поле Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator). Если свободное пространство, доступное в домене хранения, ниже этого процентного значения, пользователю показываются (и вносятся в журнал) предупреждающие сообщения.
3. Введите значение в ГБ в поле Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker). Если свободное пространство, доступное в домене хранения, ниже этого значения, пользователю показываются (и вносятся в журнал) сообщения об ошибках, а любое новое действие, которое потребляет пространство, даже временно, будет заблокировано.
4. Установите флажок Очистить после удаления (Wipe After Delete), чтобы включить очистку места после удаления. Этот параметр можно изменить после создания домена, но это не изменит свойства "очистить после удаления" уже существующих дисков.
Нажмите OK.

Новый домен данных NFS будет иметь статус Заблокирован (Locked) до тех пор, пока диск не будет подготовлен. Затем домен данных автоматически подключается к центру данных.

4.3. Увеличение объема хранилища NFS

Чтобы увеличить объем хранилища NFS, можно либо создать новый домен хранения и добавить его в существующий центр данных, либо увеличить доступное свободное пространство на сервере NFS.

Первый вариант рассмотрен в разделе Добавление хранилища NFS. Следующая процедура описывает, как увеличить доступное свободное пространство на существующем сервере NFS.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения NFS. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center) и нажмите Обслуживание (Maintenance), чтобы перевести домен хранения в режим обслуживания. Это размонтирует существующий общий ресурс и позволит изменить размер домена хранения.
Измените размер хранилища на сервере NFS.
В подробном представлении откройте вкладку Центр данных (Data Center) и нажмите Включить (Activate), чтобы смонтировать домен хранения.

5. Подготовка и добавление локального хранилища

Диск виртуальной машины, использующий устройство хранения, физически установленное на хосте, на котором работает виртуальная машина, называется локальным устройством хранения.

Устройство хранения должно быть частью домена хранения. Тип домена хранения для локального хранилища называется локальным доменом хранения.

При настройке хоста для использования локального хранилища хост автоматически создается и добавляется в новый локальный домен хранения, центр данных и кластер, к которым нельзя добавить никакой другой хост. Кластеры с несколькими хостами требуют, чтобы все хосты имели доступ ко всем доменам хранения, что невозможно в случае локального хранилища. Для виртуальных машин, созданных в кластере с одним хостом, невозможны миграция, изоляция и планирование.

5.1. Подготовка локального хранилища

В среде исполнения zVirt Node локальное хранилище всегда должно определяться в файловой системе, отличной от / (root). Используйте отдельный логический том или диск, чтобы предотвратить возможную потерю данных во время обновления.

Порядок действий:

Создайте каталог локального хранилища:
mkdir /data lvcreate -n <lv_name> -L <size> <vg_name> mkfs.ext4 /dev/mapper/<vg_name>-<lv_name> echo "/dev/mapper/<vg_name>-<lv_name> /data ext4 defaults,discard 1 2" >> /etc/fstab mount /data
где: * <vg_name> - имя нужной группы томов * <lv_name> - имя создаваемого логического тома * <size> - размер создаваемого тома
Смонтируйте новое локальное хранилище:
```
mount -a
```
Убедитесь, что каталог имеет разрешения на чтение/запись для пользователя vdsm (UID 36) и группы kvm (GID 36):
```
chown 36:36 /data
chmod 0775 /data
```

5.2. Добавление локального домена хранения

Когда локальный домен хранения добавляется к хосту, при задании пути к локальному каталогу хранения хост автоматически создается и помещается в локальный центр данных, локальный кластер и локальный домен хранения.

Порядок действий:

Нажмите Ресурсы (Compute) Хосты (Hosts) и выберите хост.
Нажмите Управление (Management) → Обслуживание (Maintenance) и OK. Статус хоста меняется на Обслуживание (Maintenance) .
Нажмите Управление (Management) → Настроить локальное хранилище (Configure Local Storage).
Нажмите кнопки Изменить (Edit) рядом с полями Центр данных (Data Center), Кластер (Cluster) и Хранилище (Storage), чтобы настроить локальный домен хранения и дать ему имя.
Введите путь к локальному хранилищу в текстовое поле.
Если применимо, откройте вкладку Оптимизация (Optimization), чтобы настроить политику оптимизации памяти для нового кластера локального хранилища.
Нажмите OK.

Менеджер управления настроит локальный центр данных с локальным кластером и локальным доменом хранения. Он также поменяет статус хоста на Включен (Up) running .

Проверка (Verification):

Нажмите Хранилище (Storage) Домены (Domains).
Найдите локальный домен хранения, который только что добавили.

Домен должен иметь статус Активный (Active) , а значение в столбце Тип хранилища (Storage Type) должно быть Локальное на хосте (Local on Host). Теперь можно выгрузить образ диска в новый локальный домен хранения.

6. Подготовка и добавление хранилища на базе POSIX-совместимой файловой системы

6.1. Подготовка хранилища на базе POSIX-совместимой файловой системы

Поддержка файловой системы POSIX позволяет монтировать файловые системы, используя те же параметры монтирования, которые обычно используются при их монтировании вручную из командной строки. Эта функциональность призвана обеспечить доступ к хранилищу, не доступному с помощью NFS, iSCSI или FCP.

Любая POSIX-совместимая файловая система, используемая в zVirt в качестве домена хранения, должна быть кластерной файловой системой (такой как Global File System 2 (GFS2)), поддерживать динамически расширяемые файлы и прямой ввод/вывод. Так, например, Общая файловая система Интернета (Common Internet File System, CIFS) не поддерживает прямой ввод/вывод, что делает ее несовместимой с zVirt.

Не монтируйте хранилище NFS путем создания домена хранения на базе POSIX-совместимой файловой системы. Вместо этого всегда создавайте домен хранения NFS.

6.2. Добавление хранилища на базе POSIX-совместимой файловой системы

Далее показано, как подключить существующее хранилище на базе POSIX-совместимой файловой системы к среде zVirt в качестве домена данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите Новый домен (New Domain).
Задайте Имя (Name) для домена хранения.
Выберите Центр данных (Data Center), который нужно ассоциировать с доменом хранения. Выбранный центр данных должен иметь тип POSIX (POSIX compliant FS). Либо выберите (none).
Выберите Данные (Data) в выпадающем списке Функция домена (Domain Function) и POSIX compliant FS в выпадающем списке Тип хранилища (Storage Type).

Если применимо, выберите Формат (Format) в выпадающем меню.
Выберите хост в выпадающем списке Используемый хост (Host).
Введите Путь (Path) к файловой системе POSIX, как в обычной команде mount.
Введите Тип VFS (VFS Type), как в обычной команде mount, используя аргумент -t. Список действительных типов VFS см. в man mount.
Введите дополнительные Параметры монтирования (Mount Options), как в обычной команде mount, используя аргумент -o. Параметры монтирования следует указывать в виде списка через запятую. Список действительных параметров монтирования см. в man mount.
При желании можно настроить дополнительные параметры.
1. Нажмите Дополнительные параметры (Advanced Parameters).
2. Введите процентное значение в поле Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator). Если свободное пространство, доступное в домене хранения, ниже этого процентного значения, пользователю показываются (и вносятся в журнал) предупреждающие сообщения.
3. Введите значение в ГБ в поле Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker). Если свободное пространство, доступное в домене хранения, ниже этого значения, пользователю показываются (и вносятся в журнал) сообщения об ошибках, а любое новое действие, которое потребляет пространство, даже временно, будет заблокировано.
4. Установите флажок Очистить после удаления (Wipe After Delete), чтобы включить очистку места после удаления. Этот параметр можно изменить после создания домена, но это не изменит свойства "очистить после удаления" уже существующих дисков.
Нажмите OK.

7. Подготовка и добавление блочного хранилища

7.1. Подготовка хранилища iSCSI

zVirt поддерживает хранилище iSCSI, которое представляет собой домен хранения, созданный из группы томов, состоящей из логических устройств (LUN). Ни группы томов, ни LUN нельзя подключать более чем к одному домену хранения одновременно.

Если вы используете блочное хранилище и собираетесь развернуть виртуальные машины на неформатированных (raw) устройствах или подключенных напрямую LUN и управлять ими с помощью Менеджера логических томов (LVM), то создайте фильтр, чтобы скрыть гостевые логические тома. Это предотвратит активацию гостевых логических томов при загрузке хоста, что в противном случае могло бы привести к устареванию логических томов и повреждению данных. Используйте команду vdsm-tool config-lvm-filter, чтобы создать фильтры для LVM.

zVirt в настоящее время не поддерживает блочное хранилище с размером блока 4 кБ. Нужно настраивать блочное хранилище со стандартным размером блока - 512 байт.

Если хост загружается из хранилища SAN и теряет подключение к хранилищу, файловые системы хранилища становятся доступными только для чтения и остаются таковыми и после восстановления подключения.

Чтобы этого не произошло, добавьте в корневую файловую систему SAN файл конфигурации с несколькими путями для загрузочного LUN, чтобы убедиться, что он будет поставлен в очередь, как только подключение появится:

cat /etc/multipath/conf.d/host.conf
multipaths {
    multipath {
        wwid _boot_LUN_wwid_
        no_path_retry queue
    }
}

7.2. Добавление хранилища iSCSI

Далее показано, как подключить существующее хранилище iSCSI к среде zVirt в качестве домена данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите Новый домен (New Domain).
Задайте Имя (Name) для нового домена хранения.
Выберите Центр данных (Data Center) в раскрывающемся списке.
Выберите Данные (Data) в качестве Функция домена (Domain Function) и iSCSI в качестве Типа хранилища (Storage Type).

Выберите активный хост в качестве Используемый хост (Host).

Коммуникация с доменом хранения осуществляется от выбранного хоста, а не напрямую от Менеджера управления. Поэтому у всех хостов должен быть доступ к устройству хранения, прежде чем домен хранения можно будет настроить.

Менеджер управления может сопоставлять iSCSI-таргеты с LUN или LUN с iSCSI-таргетами. Если выбран тип хранилища iSCSI, то в окне Новый домен хранения (New Domain) будут автоматически отображаться известные таргеты с неиспользуемыми LUN. Если таргет, который вы используете для добавления хранилища, не отображается, то для его поиска можно использовать операцию обнаружения таргетов; в противном случае перейдите к следующему шагу.

Нажмите Обнаружение целей (Discover Targets), чтобы задать параметры обнаружения таргетов. После того как таргеты обнаружены и вход в них выполнен, в окне Новый домен хранения (New Domain) будут автоматически отображаться таргеты с LUN, которые не используются средой.

LUN, используемые вне среды, также отображаются.

Параметры Обнаружение целей (Discover Targets) можно использовать для добавления LUN на несколько таргетов или нескольких путей к одному LUN.

Если для обнаружения iSCSI-таргетов используется метод REST API discoveriscsi, то можно использовать FQDN или IP-адрес, но нужно использовать подробные сведения iSCSI, взятые из результатов обнаружения таргетов, чтобы авторизоваться в таргетах, используя метод REST API iscsilogin. Дополнительную информацию см. в разделе discoveriscsi в руководстве REST API.

В поле Адрес (Address) укажите FQDN или IP-адрес iSCSI-хоста.
В поле Порт (Port) укажите порт для соединения с хостом в процессе поиска таргетов. Значение по умолчанию = 3260.

Если для защиты хранилища используется CHAP, установите флажок Аутентификация пользователей (User Authentication). Введите Имя пользователя CHAP (CHAP user name) и Пароль CHAP (CHAP password).

С помощью REST API можно задать учетные данные для iSCSI-таргета для конкретного хоста. Дополнительную информацию см. в разделе StorageServerConnectionExtensions: add в руководстве REST API.

Нажмите Обнаружение (Discover).

Для фильтрации используемых LUN активируйте опцию Скрыть используемые LUN’ы.

Выберите один или несколько таргетов из результатов поиска и нажмите для одного таргета или Войти везде (Login All) для нескольких таргетов.

Если требуется многоканальный доступ, обнаружьте таргет и авторизуйтесь на нем по всем требуемым путям. Изменение домена хранения для добавления дополнительных путей в настоящее время не поддерживается.

Когда для авторизации используется метод REST API iscsilogin, используйте подробные сведения iSCSI, взятые из результатов обнаружения таргетов, в методе discoveriscsi. Дополнительную информацию см. в разделе iscsilogin в руководстве REST API.

Нажмите рядом с нужным таргетом. Развернется соответствующая запись с отображением всех неиспользуемых LUN, подключенных к таргету.
Нажмите Добавить для каждого LUN, который используете для создания домена хранения.
При желании можно настроить дополнительные параметры:
1. Нажмите Дополнительные параметры (Advanced Parameters).
2. Введите процентное значение в поле Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator). Если свободное пространство, доступное в домене хранения, ниже этого процентного значения, пользователю показываются (и вносятся в журнал) предупреждающие сообщения.
3. Введите значение в ГБ в поле Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker). Если свободное пространство, доступное в домене хранения, ниже этого значения, пользователю показываются (и вносятся в журнал) сообщения об ошибках, а любое новое действие, которое потребляет пространство, даже временно, будет заблокировано.
4. Установите флажок Очистить после удаления (Wipe After Delete), чтобы включить очистку места после удаления. Этот параметр можно изменить после создания домена, но это не изменит свойства "очистить после удаления" уже существующих дисков.
5. Установите флажок Сброс после удаления (Discard After Delete), чтобы включить освобождение пространства после удаления. Этот параметр можно изменить после создания домена. Этот параметр доступен только на блочных доменах хранения.
Нажмите OK.

Если вы настроили несколько путей подключения хранилища к одному и тому же таргету, выполните процедуру, описанную в разделе Настройка многоканального доступа iSCSI, чтобы завершить iSCSI-bonding.

Чтобы перенести текущую сеть хранения на bond-интерфейс iSCSI, см. раздел Миграция логической сети в bond-интерфейс iSCSI.

7.3. Настройка многоканального доступа iSCSI

Многоканальный доступ iSCSI позволяет создавать группы логических сетей и подключений к iSCSI-хранилищу и управлять ими. Благодаря использованию нескольких сетевых путей между хостами и iSCSI-хранилищем не возникает простой хоста, вызванный отказом сетевого пути.

Менеджер управления соединяет каждый хост в центре данных с каждым таргетом с помощью сетевых карт или сетей VLAN, назначенных логическим сетям в bond-интерфейсе iSCSI.

В целях резервирования можно создавать bond-интерфейс iSCSI с несколькими таргетами и логическими сетями.

Предварительные условия:

Один или несколько iSCSI-таргетов
Одна или несколько логических сетей, соответствующих следующим требованиям:
- Не определена как Обязательная (Required) или Сеть ВМ (VM Network)
- Назначена интерфейсу хоста
- Назначен статический IP-адрес в той же сети VLAN и подсети, что и другим логическим сетям в bond-интерфейсе iSCSI

Порядок действий:

Нажмите Ресурсы (Compute) Центры данных (Data Centers).
Нажмите на имя центра данных. Откроется подробное представление.
Выберите вкладку Многоканальный iSCSI (iSCSI Multipathing), нажмите Добавить (Add).
В окне Добавить bond iSCSI (Add iSCSI Bond), введите Имя (Name) и Описание (Description).
Выберите логическую сеть из раздела Логические сети (Logical Networks) и домен хранения из раздела Цели iSCSI (Storage Targets). Все выбранные пути должны идти к одному и тому же таргету.
Нажмите OK.

Хосты центра данных соединены с iSCSI-таргетами через логические сети и bond-интерфейс iSCSI.

7.4. Миграция логической сети в bond-интерфейс iSCSI

Если логическая сеть создана для iSCSI-трафика и настроена поверх существующего сетевого bond-интерфейса, то ее можно перенести в bond-интерфейс iSCSI в той же подсети без сбоя или простоя.

Порядок действий:

Измените текущую логическую сеть так, чтобы она не была Обязательной (Required):
1. Нажмите Ресурсы (Compute) Кластеры (Clusters).
2. Нажмите на имя кластера. Откроется подробное представление.
3. Во вкладке Логические сети (Logical Networks) выберите текущую логическую сеть (для примера, net-1) и нажмите Управление сетями (Manage Networks).
4. Уберите флажок Обязательная (Require) и нажмите OK.
Создайте новую логическую сеть, которая не обозначена как Обязательная (Required) или Сеть ВМ (VM network):
1. Нажмите Добавить сеть (Add Network). Откроется окно Новая логическую сеть (New Logical Network).
2. Во вкладке Общие (General) введите Имя (Name) (для примера, net-2) и уберите флажок Сеть ВМ (VM network).
3. Во вкладке Кластер (Cluster) уберите флажок Обязательная (Require) и нажмите OK.
Удалите текущий сетевой bond-интерфейс и переназначьте логические сети:
1. Нажмите Ресурсы (Compute) Хосты (Hosts).
2. Нажмите на имя хоста. Откроется подробное представление.
3. Во вкладке Сетевые интерфейсы (Network Interfaces) нажмите Настройка сетей хоста (Setup Host Networks).
4. Перетащите net-1 вправо, чтобы отменить назначение.
5. Перетащите текущий bond-интерфейс вправо, чтобы удалить его.
6. Перетащите net-1 и net-2 влево, чтобы назначить их физическим интерфейсам.
7. Нажмите на значок карандаша у net-2. Откроется окно Изменить сеть (Edit Network).
8. Во вкладке IPV4 выберите Статичная (Static).
9. Введите IP-адрес (IP) и Маску сети/префикс (Netmask/Routing Prefix) подсети и нажмите OK.
Создайте bond-интерфейс iSCSI:
1. Нажмите Ресурсы (Compute) Центры данных (Data Centers).
2. Нажмите на имя центра данных. Откроется подробное представление.
3. Выберите вкладку Многоканальный iSCSI (iSCSI Multipathing), нажмите Добавить (Add).
4. В окне Добавить bond iSCSI (Add iSCSI Bond) введите Имя (Name), выберите сети net-1 и net-2 и нажмите OK.

В центре данных имеется bond-интерфейс iSCSI, содержащий старые и новые логические сети.

7.5. Подготовка хранилища FCP

zVirt поддерживает хранилище SAN, создавая домен хранения из группы томов, состоящей из уже существующих LUN. Ни группы томов, ни LUN нельзя подключать к нескольким доменам хранения одновременно.

Системные администраторы zVirt должны иметь практические знания о работе SAN. SAN обычно использует Fibre Channel Protocol (FCP) для передачи трафика между хостами и общим внешним хранилищем. Поэтому SAN иногда может именоваться хранилищем FCP.

cat /etc/multipath/conf.d/host.conf
multipaths {
    multipath {
        wwid _boot_LUN_wwid_
        no_path_retry queue
    }
}

7.6. Добавление хранилища FCP

Далее показано, как подключить существующее хранилище FCP к среде zVirt в качестве домена данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите Новый домен (New Domain).
Задайте Имя (Name) для домена хранения.
Выберите из раскрывающегося списка Центр данных (Data Center) FCP.

Если подходящего центра данных FCP пока нет, выберите (none).
Из выпадающих списков выберите Функцию домена (Domain Function) и Тип хранилища (Storage Type). Типы доменов хранения, не совместимые с выбранным центром данных, недоступны.

Выберите активный хост в поле Используемый хост (Host). Если это не первый домен данных в центре данных, нужно выбрать хост SPM в центре данных.

Вся коммуникация с доменом хранения осуществляется через выбранный хост, а не напрямую от Менеджера управления. В системе должен существовать хотя бы один активный хост, подключенный к выбранному центру данных. У всех хостов должен быть доступ к устройству хранения, прежде чем домен хранения можно будет настроить.

Если выбран тип хранилища Fibre Channel, то в окне Новый домен хранения (New Domain) будут автоматически отображаться известные таргеты с неиспользуемыми LUN. Поставьте флажок Код LUN (LUN ID), чтобы выбрать все доступные LUN.
При желании можно настроить дополнительные параметры.
1. Нажмите Дополнительные параметры (Advanced Parameters).
2. Введите процентное значение в поле Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator). Если свободное пространство, доступное в домене хранения, ниже этого процентного значения, пользователю показываются (и вносятся в журнал) предупреждающие сообщения.
3. Введите значение в ГБ в поле Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker). Если свободное пространство, доступное в домене хранения, ниже этого значения, пользователю показываются (и вносятся в журнал) сообщения об ошибках, а любое новое действие, которое потребляет пространство, даже временно, будет заблокировано.
4. Установите флажок Очистить после удаления (Wipe After Delete), чтобы включить очистку места после удаления. Этот параметр можно изменить после создания домена, но это не изменит свойства "очистить после удаления" уже существующих дисков.
5. Установите флажок Сброс после удаления (Discard After Delete), чтобы включить освобождение пространства после удаления. Этот параметр можно изменить после создания домена. Этот параметр доступен только на блочных доменах хранения.
Нажмите OK.

Новый домен данных FCP останется со статусом Заблокирован (Locked) Lock во время подготовки к использованию. Затем он будет автоматически подключен к центру данных.

7.7. Добавление хранилища NVMe over Fabric (NVMe-oF)

7.7.1. Общие сведения

NVMe-oF — это протокол, который позволяет использовать интерфейс NVMe (Non-Volatile Memory Express) для передачи данных по различным сетевым технологиям, включая Ethernet, Fibre Channel и InfiniBand.

Начиная с версии zVirt 4.3 поддерживаются следующие реализации протокола NVMe over Fabrics:

NVMe over Fabrics с использованием TCP (NVMe-oF/TCP).
NVMe over Fabrics с использованием RDMA over Convergent Ethernet (NVMe-oF/RoCE).

NVMe-oF/TCP (NVMe over Fabrics using TCP) — это протокол, который позволяет использовать высокоскоростные накопители NVMe через сеть, используя транспортный протокол TCP.

NVMe-oF/TCP имеет следующие преимущества:

Широкая совместимость.

NVMe-oF/TCP использует TCP/IP, который является стандартным и широко распространённым сетевым протоколом. Это означает, что NVMe-oF/TCP может работать практически на любой сетевой инфраструктуре без необходимости в специализированных сетевых картах или коммутаторах.
Высокая производительность.

С использованием современных сетевых технологий, таких как 10/25/40/100 GbE, NVMe-oF/TCP может обеспечить пропускную способность, близкую к локальным NVMe накопителям.
Масштабируемость.

NVMe-oF/TCP позволяет легко масштабировать системы хранения данных, добавляя новые накопители и серверы по мере необходимости. Это особенно полезно для виртуализированных сред, где требуется гибкость и возможность быстрого расширения.
Простота развертывания и управления. Отсутствие необходимости в специализированном оборудовании упрощает процесс развертывания и обслуживания.

NVMe-oF/RoCE (NVMe over Fabrics using RDMA over Converged Ethernet) — это протокол, который позволяет использовать высокоскоростные накопители NVMe через сеть, используя технологию RDMA (Remote Direct Memory Access) поверх протокола RoCE (RDMA over Converged Ethernet).

NVMe-oF/RoCE имеет следующие преимущества:

Высокая производительность.
- RoCE обеспечивает низкую задержку и высокую пропускную способность благодаря использованию RDMA. Это позволяет NVMe-oF/RoCE достигать производительности, близкой к локально установленным NVMe-накопителям.
- RDMA позволяет передавать данные непосредственно в память без участия центрального процессора, что значительно ускоряет операции ввода-вывода.
Низкая задержка.

NVMe-oF/RoCE минимизирует задержки благодаря отсутствию копирования данных между памятью и сетевыми буферами. Это делает его идеальным выбором для приложений, чувствительных к задержкам, таких как базы данных, аналитические системы и финансовые транзакции.
Эффективное использование ресурсов CPU.

Использование RDMA освобождает центральный процессор от обработки сетевого трафика, что позволяет сосредоточить вычислительные мощности на выполнении основных задач приложения.
Совместимость с существующими сетями.

RoCE работает поверх стандартных Ethernet-сетей, что делает его совместимым с большинством существующих сетевых инфраструктур. Это уменьшает необходимость в дорогостоящих обновлениях сети.
Масштабируемость.

NVMe-oF/RoCE поддерживает масштабируемые архитектуры, позволяющие добавлять новые узлы и устройства хранения по мере роста потребностей бизнеса.
Безопасность.

NVMe-oF/RoCE поддерживает механизмы безопасности, такие как шифрование и аутентификацию, что повышает уровень защиты данных при передаче по сети.

7.7.2. Особенности и ограничения

Перед использованием NVMe-oF учтите следующие особенности и ограничения:

Для работы с NVMe-oF на стороне zVirt Node установлены все необходимые модули, но требуется предварительная настройка подключения дисковых устройств NVMe-oF/TCP/RoCE на всех хостах, которые будут использовать тома NVMe-oF.
NVMe-oF/TCP:
- Использует TCP/IP и не требует специального сетевого оборудования (коммутаторов/сетевых адаптеров).
- СХД должна поддерживать транспортный протокол NVMe-oF/TCP.
NVMe-oF/RoCE:
- Сетевые адаптеры и коммутаторы должны поддерживать RoCE.
- СХД должна поддерживать транспортный протокол NVMe-oF/RoCE.
Для добавления хранилища NVMe-oF/TCP/RoCE в качестве домена хранения в zVirt необходимо использовать тип хранилища FCP.
ВМ HostedEngine можно развернуть на NVMe-oF/TCP/RoCE, но перед началам развертывания необходимо подготовить zVirt Node к подключению томов с СХД по NVMe-oF. Во время развертывания HostedEngine указать тип домена Fibre Channel и выбрать нужное блочное устройство.
На текущий момент для многоканального подключения поддерживается только DM multipath.

7.7.3. Подключение дисковых устройств на хостах zVirt

Общий порядок настройки подключения заключается в выполнении следующих действий:

Задать соответствующую конфигурацию подключения к СХД на нужных хостах zVirt.
Создать сервис управления подключением.
Выполнить подключение.

Поддерживается ручной и автоматизированный способ настройки подключения.

7.7.3.1. Автоматизированное подключение дисковых устройств

Утилита nvmeconfig позволяет автоматически выполнить все шаги, необходимые для подключения дисковых устройств NVMe-oF/TCP/RoCE к хостам zVirt.

Утилита может быть запущена:

На хосте zVirt.

Этот вариант будет полезен в следующих ситуациях:

Планируется развернуть Менеджер управления в архитектуре HostedEngine с размещением диска ВМ HostedEngine на хранилище NVMe-oF.
В среду zVirt, к которой уже подключен домен хранения на основе NVMe-oF/TCP/RoCE, необходимо добавить новый хост.

На Менеджере управления.

Этот вариант будет полезен при добавлении в существующую среду нового хранилища NVMe-oF/TCP/RoCE.

Порядок действий:

Скачайте утилиту на Менеджер управления или хост (подробнее о применении см. выше).

Запустите утилиту:

./nvmeconfig

Меню утилиты:

Nvme configuration tool:
1. Добавить новую конфигурацию (1)
2. Перезапуск сервиса NVME connection (2)
3. Удалить конфигурацию (локально) (3)
0. Выход

1	Позволяет добавить новое подключение.
2	Позволяет перезапустить сервис подключения.
3	Удаление конфигурации. Используется только при запуске утилиты на хосте, на котором необходимо очистить конфигурацию.

Для автоматизированного подключения выберите вариант 1.
```
Выберите вариант (0-3): 1
```

Укажите вариант подключения:

Добавить новую конфигурацию:
1. Подключить диски NVMe к существующему Центру Данных. (1)
2. Подключить диски NVMe к неразвернутой конфигурации.

1	Для использования п.1 необходим запуск утилиты на Менеджере управления с известными учетными данными пользователя-администратора.

Введите параметры подключения к СХД:

Введите тип подключения NVME СХД [tcp]: (1)
Введите порт для подключения [4420]: (2)
Введите количество NVME подключений [1]: (3)
Введите IP/FQDN подключения #1: (4)

1	Введите поддерживаемый тип подключения: `tcp` (по умолчанию) или `rdma`.
2	Введите порт для подключения к СХД.
3	Введите необходимое количество подключений.
4	Введите IP или FQDN контроллеров СХД. Количество запросов зависит от указанного количества подключений.

Если выполняется подключение к существующему центру данных (ранее был выбран соответствующий пункт):
1. Введите параметры Менеджера управления для подключения к API:
  Введите адрес Менеджера управления: Введите логин [admin@internal]: Введите пароль:
2. Если подключение к Менеджеру выполнено успешно, выберите номер Центра данных, на хостах которого необходимо выполнить подключение:
  Центры данных: 1. Default Выберите центр данных по номеру:
Если выполняется подключение на отдельном хосте, укажите параметры для подключения к нему.
Проверьте сводную информацию и, если все верно, введите yes.
```
Введенные данные верны? [yes/no]: yes
```
В процессе настройки подключения будет выводиться информация о результатах выполнения. При успешном завершении конфигурации согласитесь с запуском сервисов:
```
Желаете запустить сервис nvme-connect-all.service? [yes/no]: yes
```
После успешного запуска будет выдан список всех подключенных NVME устройств.
Также с помощью команды multipath -ll на хостах, убедитесь, что устройства подключены.

7.7.3.2. Ручное подключение дисковых устройств

Если утилита nvmeconfig по каким-либо причинам завершается ошибкой, можно попытаться выполнить подключение вручную на нужном хосте.

Порядок действий:

Подключитесь по SSH к нужному хосту и авторизуйтесь пользователем root.
Сгенерируйте NQN для хоста:
```
nvme gen-hostnqn > /etc/nvme/hostnqn
```
На СХД настройте необходимое сопоставление томов, используя NQN из предыдущего шага.
На хосте добавьте в загрузку необходимые модули:
- Для NVMe-oF/TCP
  
  echo "nvme_tcp" > /etc/modules-load.d/nvme-tcp.conf
- Для NVMe-oF/RoCE (RDMA)
  
  echo "nvme_rdma" > /etc/modules-load.d/nvme-rdma.conf
Создайте конфигурационный файл подключения к СХД /etc/nvme/discovery.conf со следующим содержанием:
```
-t [tcp|rdma] -s «порт NVMe СХД» -a «IP-адрес NVMe СХД»
-t [tcp|rdma] -s «порт NVMe СХД» -a «IP-адрес NVMe СХД»
```
Выполните подключение устройств.
```
nvme connect-all
```
Проверьте наличие устройств.
```
nvme list
```
```
multipath -ll
```

Создайте сервис для автоподключения блочных устройств во время перегрузки zVirt Node.

Создайте юнит-файл /etc/systemd/system/nvme-connect-all.service со следующим содержимым:

[Unit]
Description=Connect NVMe-oF subsystems automatically during boot
ConditionPathExists=/etc/nvme/discovery.conf
After=network-online.target
Before=remote-fs-pre.target

[Service]
Type=oneshot
ExecStart=/usr/sbin/nvme connect-all
ExecStop=/usr/sbin/nvme disconnect-all
RemainAfterExit=true
StandardOutput=append:/var/log/nvme-connect-all.log
StandardError=append:/var/log/nvme-connect-all.log

[Install]
WantedBy=default.target

Добавьте сервис в автозагрузку.
```
systemctl enable nvme-connect-all.service
```

Проверьте работу сервиса:

Остановка сервиса приводит к отключению всех томов NVME. В этой процедуре остановка выполняется исключительно для проверки работоспособности сервиса.

После добавления домена хранения на базе подключенных томов, остановка сервиса приведёт к недоступности соответствующего домена хранения.

systemctl start nvme-connect-all.service

nvme list (1)

systemctl stop nvme-connect-all.service

nvme list (1)

systemctl start nvme-connect-all.service

nvme list

Убедитесь, что остановка и старт сервиса приводят, соответственно, к отключению и подключению всех томов NVMe-oF.

7.7.4. Создание Домена хранения на основе NVMe-oF

Предварительные требования:

Хранилище NVMe-oF успешно подключено ко всем хостам в центре данных, в который планируется добавление домена хранения.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления доменами хранения.
Перейдите в Хранилище (Storage) Домены (Domains).
Нажмите Новый домен (New Domain).
Задайте имя для домена.
Из выпадающего списка выберите нужный Центр данных.
Из выпадающего списка выберите функцию домена Данные.
Из выпадающего списка выберите тип хранилища Fibre Channel.
Выберите необходимые устройства в списке LUN.
При желании можно настроить дополнительные параметры.
1. Нажмите Дополнительные параметры (Advanced Parameters).
2. Введите процентное значение в поле Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator). Если свободное пространство, доступное в домене хранения, ниже этого процентного значения, пользователю показываются (и вносятся в журнал) предупреждающие сообщения.
3. Введите значение в ГБ в поле Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker). Если свободное пространство, доступное в домене хранения, ниже этого значения, пользователю показываются (и вносятся в журнал) сообщения об ошибках, а любое новое действие, которое потребляет пространство, даже временно, будет заблокировано.
4. Установите флажок Очистить после удаления (Wipe After Delete), чтобы включить очистку места после удаления. Этот параметр можно изменить после создания домена, но это не изменит свойства "очистить после удаления" уже существующих дисков.
5. Установите флажок Сброс после удаления (Discard After Delete), чтобы включить освобождение пространства после удаления. Этот параметр можно изменить после создания домена. Этот параметр доступен только на блочных доменах хранения.
Нажмите OK.

Новый домен данных на основе NVMe-oF останется со статусом Заблокирован (Locked) Lock во время подготовки к использованию. Затем он будет автоматически подключен к центру данных.

7.8. Увеличение объема хранилища iSCSI или FCP

Увеличить размер хранилища iSCSI или FCP можно несколькими способами:

Добавить существующий LUN в текущий домен хранения.
Создать новый домен хранения с новыми LUN и добавить его в существующий центр данных. См. раздел Добавление хранилища iSCSI.
Расширить домен хранения, изменив размер используемых в нем LUN.

Далее описано, как расширить хранилище SAN, добавив новый LUN в существующий домен хранения.

Предварительные условия:

У домена хранения должен быть статус Включен (UP) .
LUN должен быть доступен всем хостам со статусом Включен (UP) , иначе операция не удастся, и LUN не будет добавлен в домен. Однако это не затронет сами хосты. Если вновь добавленный хост или хост, выходящий из режима обслуживания, или хост в состоянии Неработоспособен (Non Operational) не может получить доступ к LUN, то состояние хоста будет Неработоспособен (Non Operational).

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains) и выберете домен iSCSI или FCP.
Нажмите Управление доменом (Manage Domain).
Нажмите Цели (Targets) > LUNs и нажмите кнопку Обнаружение целей (Discover Targets), чтобы развернуть представление.
Введите информацию о соединении сервера хранения и нажмите Обнаружение (Discover), чтобы начать подключение.
Нажмите LUNs > Цели (Targets) и нажмите Добавить (Add) для доступного LUN.

Для фильтрации используемых LUN активируйте опцию Скрыть используемые LUN’ы.
Нажмите OK, чтобы добавить LUN в выбранный домен хранения.

Это увеличит домен хранения на размер добавленного LUN.

При объединении нескольких LUN в один домен хранения:

LUN представляют собой Physical Volume, которые объединяются в один Volume Group (домен хранения).
Запись на LUN в домене выполняется последовательно.
В домен можно загружать файлы размером больше, чем отдельно взятый LUN.

При расширении домена хранения через изменение размера используемых LUN следует также обновить их на Портале администрирования.

Обновление размера LUN

Нажмите Хранилище (Storage) Домены (Domains) и выберете домен iSCSI или FCP.
Нажмите Управление доменом (Manage Domain).
Нажмите LUNs → Цели (Targets).
В столбце Дополнительный размер (Additional Size) нажмите кнопку LUN Добавить (Add) для обновления.
Нажмите OK для обновления LUN, чтобы задать новый размер хранилища.

7.9. Повторное использование LUN

LUN "как есть" не может быть использован повторно для создания домена хранения или виртуального диска. При попытке повторного использования LUN Портал администрирования выдает следующее сообщение об ошибке:

Physical device initialization failed. Please check that the device is empty and accessible by the host.

При установке hosted engine выдает следующую ошибку:

[ ERROR ] Error creating Volume Group: Failed to initialize physical device: ("[u'/dev/mapper/000000000000000000000000000000000']",)
[ ERROR ] Failed to execute stage 'Misc configuration': Failed to initialize physical device: ("[u'/dev/mapper/000000000000000000000000000000000']",)

Прежде чем LUN может быть использован повторно, следует очистить старую таблицу разделов.

Выполнение описанных ниже действий приведёт к удалению содержимого LUN.

Порядок действий:

Эта процедура должна выполняться на корректном LUN во избежание непреднамеренного уничтожения данных.

Удалить сопоставления разделов в <LUN_ID>:
```
kpartx -dv /dev/mapper/<LUN_ID>
```
Стереть файловую систему или raid-подписи в <LUN_ID>:
```
wipefs -a /dev/mapper/<LUN_ID>
```
Сообщить операционной системе об изменениях в таблице разделов в <LUN_ID>:
```
partprobe
```

7.10. Удаление устаревших LUN

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Выберите вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance) и затем OK.
Нажмите Отсоединить (Detach) и затем OK.
Нажмите Удалить (Remove).
При необходимости активируйте опцию Форматирование домена

Активация данной опции приведёт к удалению всех данных на ассоциированных LUN
Нажмите OK для удаления домена хранения из исходной среды.

7.11. Создание фильтра LVM

Фильтр LVM может быть задан в /etc/lvm/lvm.conf, чтобы принимать или отклонять устройства из списка томов на основе запроса регулярного выражения. Например, чтобы проигнорировать /dev/cdrom, можно использовать filter=["r|^/dev/cdrom$|"] или добавить следующий параметр в команду lvm: lvs --config 'devices{filter=["r|cdrom|"]}'.

Так можно легко не дать хосту сканировать и активировать логические тома, которые непосредственно ему не нужны. В частности, решение направлено на логические тома в общем хранилище, управляемом zVirt, и логические тома, созданные гостем в raw-томах zVirt. Это решение необходимо, так как сканирование и активация других логических томов может привести к повреждению данных, медленной загрузке и другим проблемам.

Это решение предназначено для конфигурирования фильтра LVM на каждом хосте, что позволяет LVM на хосте сканировать только те логические тома, которые нужны хосту.

Можно использовать команду vdsm-tool config-lvm-filter, чтобы проанализировать текущую конфигурацию LVM и решить, требуется ли конфигурировать фильтр.

Если фильтр LVM еще не сконфигурирован, то команда генерирует параметр фильтра LVM для хоста и добавляет параметр в конфигурацию LVM.

Сценарий 1: Не сконфигурированный хост

На хосте, который еще предстоит сконфигурировать, команда автоматически конфигурирует LVM, как только пользователь подтверждает операцию:

vdsm-tool config-lvm-filter
Analyzing host...
Found these mounted logical volumes on this host:
logical volume:  /dev/mapper/vg0-lv_home
mountpoint:      /home
devices: /dev/vda2
logical volume:  /dev/mapper/vg0-lv_root
mountpoint:      /
devices: /dev/vda2
logical volume:  /dev/mapper/vg0-lv_swap
mountpoint:      [SWAP]
devices: /dev/vda2
This is the recommended LVM filter for this host:
filter = [ "a|^/dev/vda2$|", "r|.*|" ]
This filter will allow LVM to access the local devices used by the
hypervisor, but not shared storage owned by VDSM. If you add a new
device to the volume group, you will need to edit the filter manually.
Configure LVM filter? [yes,NO] ? [NO/yes] yes
Configuration completed successfully!
Please reboot to verify the LVM configuration.

Сценарий 2: Сконфигурированный хост

Если хост уже конфигурирован, команда просто сообщает пользователю, что фильтр LVM уже сконфигурирован:

vdsm-tool config-lvm-filter
Analyzing host...
LVM filter is already configured for Vdsm

Сценарий 3: Требуется конфигурирование вручную

Если конфигурация хоста не совпадает с конфигурацией, которая требуется для VDSM, то фильтр LVM нужно будет сконфигурировать вручную:

vdsm-tool config-lvm-filter
Analyzing host...
Found these mounted logical volumes on this host:
logical volume:  /dev/mapper/vg0-lv_home
mountpoint:      /home
devices: /dev/vda2
logical volume:  /dev/mapper/vg0-lv_root
mountpoint:      /
devices: /dev/vda2
logical volume:  /dev/mapper/vg0-lv_swap
mountpoint:      [SWAP]
devices: /dev/vda2
This is the recommended LVM filter for this host:
filter = [ "a|^/dev/vda2$|", "r|.*|" ]
This filter will allow LVM to access the local devices used by the
hypervisor, but not shared storage owned by VDSM. If you add a new
device to the volume group, you will need to edit the filter manually.
This is the current LVM filter:
filter = [ "a|^/dev/vda2$|", "a|^/dev/vdb1$|", "r|.*|" ]
WARNING: The current LVM filter does not match the recommended filter,
Vdsm cannot configure the filter automatically.
Please edit /etc/lvm/lvm.conf and set the 'filter' option in the  'devices' section to the recommended value.
It is recommended to reboot after changing LVM filter.

8. Подготовка и добавление Gluster Storage

Информацию по настройке Gluster Storage см. в официальной документации, учитывая следующие особенности - тома Gluster Storage должны использовать либо трехстороннюю репликацию, либо арбитражную репликацию. Такой вариант снижает риск возникновения split-brain в кластере.

Поддерживаются следующие типы томов:

трехсторонне реплицированные и распределенные реплицированные тома (replica count 1)
арбитражные реплицированные или распределенные арбитражные реплицированные тома (replica 3 arbiter 1)

Дополнительно необходимо назначить следующие настройки для тома:

gluster volume set VOLUME_NAME group virt
gluster volume set VOLUME_NAME performance.strict-o-direct on
gluster volume set VOLUME_NAME network.remote-dio off
gluster volume set VOLUME_NAME storage.owner-uid 36
gluster volume set VOLUME_NAME storage.owner-gid 36
gluster volume set VOLUME_NAME network.ping-timeout 30

9. Импортирование существующих доменов хранения

9.1. Общие сведения об импортировании существующих доменов хранения

Помимо добавления новых доменов хранения, которые не содержат данных, можно импортировать существующие домены хранения и обращаться к содержащимся в них данным. Импортирование доменов хранения позволяет восстановить данные в случае сбоя в базе данных Менеджера управления и перенести данные из одного центра данных или среды в другой (другую).

Ниже рассмотрено импортирование каждого типа домена хранения:

Данные (Data)

Импортирование существующего домена хранения данных позволяет получить доступ ко всем виртуальным машинам и шаблонам, содержащимся в домене хранения данных. После импортирования домена хранения необходимо вручную импортировать виртуальные машины, "плавающие" образы дисков и шаблоны в центр данных, являющийся приемником. Процесс импортирования виртуальных машин и шаблонов, содержащихся в домене хранения данных, аналогичен процессу импортирования для домена экспорта. Однако, поскольку домены хранения данных содержат все виртуальные машины и шаблоны в конкретном центре данных, импортировать домены хранения данных рекомендуется при восстановлении данных или крупномасштабной миграции виртуальных машин между центрами данных или средами.

Можно импортировать существующие домены хранения данных, которые были подключены к центрам данных с правильным поддерживаемым уровнем совместимости.

ISO

Импортирование существующего домена хранения ISO позволяет получить доступ ко всем файлам ISO, содержащимся в домене хранения ISO. После импортирования домена хранения никаких дополнительных действий для доступа к этим ресурсам не требуется; их можно подключать к виртуальным машинам по мере необходимости.

Домен хранения ISO является устаревшим и более не поддерживается.

Экспорт (Export)

Импортирование существующего домена Экспорта позволяет получить доступ ко всем образам виртуальных машин и шаблонам, содержащимся в домене Экспорта. Поскольку домены экспорта предназначены для экспортирования и импортирования образов виртуальных машин и шаблонов, импортирование доменов Экспорта рекомендуется как метод миграции небольшого количества виртуальных машин и шаблонов внутри среды или между средами. Информацию об экспортировании и импортировании виртуальных машин и шаблонов в экспорт-домены и из них см. в разделе Экспортирование и импортирование виртуальных машин и шаблонов руководства по администрированию виртуальных машин.

Сущность "домен Экспорта" считается устаревшей. Домен Экспорта можно отключить от центра данных и импортировать в другой центр данных в той же или другой среде. Затем виртуальные машины, "плавающие" виртуальные диски и шаблоны можно выгрузить из импортированного домена хранения в подключенный центр данных.

После подключения домена хранения к центру данных, являющемуся приемником, его можно обновить до более нового формата домена хранения и нельзя повторно подключить к центру данных, являющемуся источником. Это делает невозможным использование домена данных в качестве замены доменов экспорта. Такая ситуация возможна при наличии двух инсталляций с разными версиями zVirt.

9.2. Импортирование доменов хранения

Импортируйте домен хранения, который ранее был подключен к центру данных в той же или другой среде. Процедура предполагает, что домен хранения больше не подключен ни к какому центру данных ни в какой среде: это важно, чтобы избежать повреждения данных. Чтобы импортировать и подключить существующий домен хранения данных к центру данных, необходимо инициализировать целевой центр данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите Импортировать домен (Import Domain).
Выберите Центр данных (Data Center), в который вы хотите импортировать домен хранения.
Введите Имя (Name) для домена хранения.
В выпадающих списках выберите Функцию домена (Domain Function) и Тип хранилища (Storage Type).

Выберите хост в выпадающем списке Используемый хост (Host).

Введите сведения о домене хранения.

Поля для ввода сведений о домене хранения меняются в зависимости от значений, выбранных в списках Функции домена (Domain Function) и Типа хранилища (Storage Type). Это такие же поля, как и при добавлении нового домена хранения.

В разделе Дополнительные параметры (Advanced Parameters) установите флажок Включить домен в центре данных (Activate Domain in Data Center), чтобы активировать домен хранения после его подключения к выбранному центру данных.

Нажмите OK.

В случае некорректного отключения домена хранения от исходного центра данных, например, при сбое, появится предупреждение о возможной потере данных. Если вы уверены в том, что домен больше не подключен ни к какому центру данных, подтвердите операцию, нажав OK.

Теперь можно импортировать виртуальные машины и шаблоны из домена хранения в центр данных.

Дополнительные ресурсы

9.3. Перенос доменов хранения между центрами данных в одной среде

Перенос домена хранения из одного центра данных в другой в пределах одной среды zVirt позволяет предоставить центру данных, являющемуся приемником, доступ к данным, содержащимся в домене хранения. Эта процедура включает в себя отключение домена хранения от одного центра данных и подключение его к другому центру данных.

При переносе домена хранения данных в центр данных с более высоким уровнем совместимости, чем исходный центр данных, у домена хранения обновляется версия формата хранения.

Если нужно переместить домен хранения обратно в исходный центр данных (для переноса виртуальных машин в новый центр данных или по иной причине), имейте в виду, что более поздняя версия не позволяет повторно подключить домен хранения данных к исходному центру данных.

Портал администрирования запросит подтверждение, действительно ли нужно обновить формат домена хранения, например, с V3 до V5. Он также предупредит, что его невозможно будет подключить обратно к более старому центру данных с более низким уровнем совместимости.

Чтобы обойти эту проблему, можно создать целевой центр данных с той же версией совместимости, что и исходный центр данных. Если больше не нужно поддерживать более низкую версию совместимости, можно увеличить версию совместимости целевого центра данных.

Порядок действий:

Выключите все виртуальные машины, работающие в необходимом домене хранения.
Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance), затем OK.
Нажмите Отсоединить (Detach), затем OK.
Нажмите Прикрепить (Attach).
Выберите центр данных, являющийся приемником, и нажмите OK.

Домен хранения подключен к центру данных, являющемуся приемником, и автоматически активирован. Теперь можно импортировать виртуальные машины и шаблоны из домена хранения в центр данных, являющийся приемником.

9.4. Перенос доменов хранения между центрами данных в разных средах

Перенос домена хранения из одной среды zVirt в другую позволяет предоставить среде-приемнику доступ к данным, содержащимся в домене хранения. Эта процедура предусматривает удаление домена хранения из одной среды zVirt и импортирование его в другую среду. Чтобы импортировать и подключить существующий домен хранения данных к центру данных zVirt, исходный центр данных домена хранения должен иметь правильный поддерживаемый уровень совместимости.

Порядок действий:

Авторизуйтесь на Портале администрирования среды-источника.
Выключите все виртуальные машины, работающие в необходимом домене хранения.
Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance), затем OK.
Нажмите Отсоединить (Detach), затем OK.
Нажмите Удалить (Remove).
В окне Удалить хранилище(а) (Remove Storage(s)) убедитесь, что флажок Форматирование домена, т.е. содержимое хранилища будет потеряно! (Format Domain, i.e. Storage Content will be lost!) не установлен. Это позволяет сохранить данные в домене хранения для последующего использования.
Нажмите OK, чтобы удалить домен хранения из среды-источника.
Авторизуйтесь на Портале администрирования среды-приемника.
Нажмите Хранилище (Storage) Домены (Domains).
Нажмите Импортировать домен (Import Domain).
Выберите центр данных, являющийся приемником, в выпадающем списке Центр данных (Data Center).
Введите имя домена хранения.
В соответствующих выпадающих списках выберите Функцию домена (Domain Function) и Тип хранилища (Storage Type).
Выберите хост в выпадающем списке Используемый хост (Host).

Введите сведения о домене хранения.

Поля для ввода сведений о домене хранения меняются в зависимости от значения, выбранного в списке Тип хранилища (Storage Type). Это такие же поля, как и при добавлении нового домена хранения.

В разделе Дополнительные параметры (Advanced Parameters) установите флажок Включить домен в центре данных (Activate Domain in Data Center), чтобы активировать домен хранения после его подключения.
Нажмите OK.

Домен хранения подключается к центру данных, являющемуся приемником, в новой среде zVirt и автоматически активируется. Теперь можно импортировать виртуальные машины и шаблоны из импортированного домена хранения в центр данных, являющийся приемником.

9.5. Импортирование шаблонов из импортированных доменов хранения данных

Импортируйте шаблон из домена хранения данных, импортированного в среду zVirt. Процедура предполагает, что импортированный домен хранения данных подключен к центру данных и активирован.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя импортированного домена хранения. Откроется подробное представление.
Откройте вкладку Импортировать шаблон (Template Import).
Выберите один или несколько шаблонов для импорта.
Нажмите Импортировать (Import).
Для каждого шаблона в окне Импортировать шаблон(ы) (Import Templates(s)) убедитесь, что в списке Кластер (Cluster) выбран правильный кластер.
Сопоставьте внешние профили vNIC виртуальных машин с профилями в целевом кластере (кластерах):
1. Нажмите Сопоставление vNic-профилей (vNic Profiles Mapping).
2. Выберите профиль vNIC в выпадающем списке Целевой vNic-профиль (Target vNic Profile).
3. Если в окне Импортировать шаблоны (Import Templates) выбрано несколько целевых кластеров, то выберите каждый целевой кластер в выпадающем списке Целевой кластер (Target Cluster) и убедитесь в корректности сопоставления.
4. Нажмите OK.
Нажмите OK.

Импортированные шаблоны больше не отображаются в списке на вкладке Импортировать шаблон (Template Import).

10. Задачи, относящиеся к хранилищу

10.1. Выгрузка образов в домен хранения данных

Выгружать образы виртуальных дисков и образы ISO в домен хранения данных можно на Портале администрирования или с помощью REST API.

Чтобы выгрузить образы с помощью REST API, см. IMAGETRANSFERS и IMAGETRANSFER в руководстве REST API.

QEMU-совместимые виртуальные диски можно подключать к виртуальным машинам. Виртуальные диски должны иметь тип QCOW2 или raw. Диски, созданные из виртуальных дисков QCOW2, не допускают совместного использования, а файл виртуального диска QCOW2 не должен иметь резервного файла.

Образы ISO могут подключаться к виртуальным машинами как CDROM или использоваться для загрузки виртуальных машин.

Предварительные условия:

Функция выгрузки использует API-интерфейсы HTML 5, поэтому среда должна иметь следующее:

Центр сертификации, импортированный в веб-браузер, используемый для доступа к Порталу администрирования.

Чтобы импортировать центр сертификации, перейдите по адресу https://engine_address/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA и включите все настройки доверия. См. инструкции по установке центра сертификации в Firefox, Internet Explorer или Google Chrome.
Браузер с поддержкой HTML 5, такой как Firefox 35, Internet Explorer 10, Chrome 13 или более новые версии.

Порядок действий:

Нажмите Хранилище (Storage) Диски (Disks).
Выберите Начать (Start) в меню Загрузка (Upload).
Нажмите Выберите файл (Choose File) и выберите образ для выгрузки.
Заполните поля Настройки диска (Disk Options). Описания соответствующих полей см. в разделе Описание настроек в окне "Новый диск (New Virtual Disk)".
Нажмите OK.

Индикатор выполнения отображает статус выгрузки. Выгрузку можно приостановить, отменить или возобновить из меню Загрузка (Upload).

Если во время выгрузки время ожидания истечет и будет выдано сообщение Причина: истекло время ожидания из-за неактивности соединения (Reason: timeout due to transfer inactivity), то увеличьте значение времени ожидания и перезапустите службу ovirt-engine:

engine-config -s TransferImageClientInactivityTimeoutInSeconds=6000
systemctl restart ovirt-engine

10.2. Перевод доменов хранения в режим обслуживания

Домен хранения должен находиться в режиме обслуживания, прежде чем его можно будет отключить и удалить. Это необходимо, чтобы назначить другой домен данных в качестве мастер-домена данных.

Если виртуальная машина арендует домен хранения, то перевести домен хранения в режим обслуживания невозможно. Необходимо сначала выключить виртуальную машину либо аннулировать аренду или переместить ее в другой домен хранения. Информацию об аренде виртуальными машинами см. в руководстве по администрированию виртуальных машин.

Расширять домены iSCSI путем добавления LUN можно, только когда домен активен.

Порядок действий:

Выключите все виртуальные машины, работающие в домене хранения.
Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).

Нажмите Обслуживание (Maintenance).

Флажок Игнорировать сбои обновлений OVF (Ignore OVF update failure) позволяет домену хранения переходить в режим обслуживания даже в случае ошибки обновления OVF.

Нажмите OK.

Домен хранения деактивируется и в списке результатов отображается со статусом Неактивен (Inactive). Теперь можно изменять, отключать, удалять или повторно активировать неактивные домены хранения из центра данных.

Можно также активировать, отключать и переводить домен в режим обслуживания, используя вкладку Хранилище (Storage) в подробном представлении центра данных, с которым он связан.

10.3. Изменение доменов хранения

Параметры домена хранения можно менять через Портал администрирования. В зависимости от состояния домена хранения (активен или неактивен), для изменения доступны разные поля. Такие поля как Центр данных (Data Center), Функция домена (Domain Function), Тип хранилища (Storage Type) и Формат (Format) изменить невозможно.

Активен (Active): Когда домен хранения находится в активном состоянии, поля Имя (Name), Описание (Description), Комментарий (Comment), Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator), Порог блокировки при критическом значении свободного места в домене (Critical Space Action Blocker), Очистить после удаления (Wipe After Delete) и Сброс после удаления (Discard After Delete) можно изменять. Поле Имя (Name) можно изменять только тогда, когда домен хранения активен. Все остальные поля можно изменять и тогда, когда домен хранения неактивен.
Неактивен (Inactive): Когда домен хранения находится в режиме обслуживания или не подключен, т.е. в неактивном состоянии, можно изменять все поля, кроме Имя (Name), Центр данных (Data Center), Функция домена (Domain Function), Тип хранилища (Storage Type) и Формат (Format). Домен хранения должен быть неактивным, чтобы можно было изменять подключения к хранилищу, параметры монтирования и другие расширенные параметры. Это поддерживается только для типов хранилища NFS, POSIX и локального.

Подключения к хранилищу iSCSI невозможно изменять на Портале администрирования, но можно - через REST API. См. StorageServerConnectionExtension в руководстве REST API.

Изменение активного домена хранения

Нажмите Хранилище (Storage) Домены (Domains) и выберите домен хранения.
Нажмите Управление доменом (Manage Domain).
Измените редактируемые поля нужным образом.
Нажмите OK.

Изменение неактивного домена хранения

Нажмите Хранилище (Storage) Домены (Domains).
Если домен хранения активен, переведите его в режим обслуживания:
1. Нажмите на имя домена хранения. Откроется подробное представление.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Обслуживание (Maintenance).
4. Нажмите OK.
Нажмите Управление доменом (Manage Domain).
Измените путь к хранилищу и прочие сведения нужным образом. В сведениях о новом подключении должен быть указан тот же тип хранилища, что и для исходного подключения.
Нажмите OK.
Активируйте домен хранения:
1. Нажмите на имя домена хранения. Откроется подробное представление.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Включить (Activate).

10.4. Соединения доменов хранения

10.4.1. Общие сведения

Эта функция даёт возможность добавлять, редактировать и удалять подключения к хранилищу iSCSI. Это необходимо для поддержки изменений конфигурации, включая добавление путей для многоканального доступа, смены оборудования, а также упрощения аварийного переключения на резервное хранилище, содержащего реплику основного хранилища, за счет быстрого изменения параметров подключения домена хранения.

При использовании данного инструмента с целью создания многоканального подключения к домену iSCSI, необходимо для соединений указывать адреса из разных подсетей.

10.4.2. Изменение соединений

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).

Переведите нужный домен в режим обслуживания:

Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance).
Нажмите OK.

Для перевода домена в режим обслуживания, все ВМ должны быть выключены, поэтому необходимо предусмотреть соответствующее сервисное окно.

Нажмите Соединения
В окне Управление подключениями хранилища внесите необходимые изменения:
- Для добавления соединения нажмите Добавить, введите необходимые значения параметров и нажмите для подтверждения изменений.
- Для редактирования существующих подключений нажмите , измените необходимые параметры и нажмите для подтверждения изменений.
- Для удаления подключения:
  - Рядом с нужным подключением нажмите > Отсоединить.
  - Затем нажмите > Удалить.
Закройте окно соединений
Активируйте домен хранения:
1. Откройте подробное представление домена хранения.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Включить (Activate).

10.4.3. Переключение на реплику хранилища

В случае сбоя в работе основного хранилища, с помощью оснастки Соединения можно переключиться на резервное хранилище без добавления нового домена.

Данная функциональность не работает с доменом hosted_storage поскольку изменение состояния соединений возможно только для домена, находящегося в режиме обслуживания. Домен hosted_storage перевести в режим обслуживания невозможно.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).

Переведите нужный домен в режим обслуживания:

Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance).
Нажмите OK.

Нажмите Соединения
В окне Управление подключениями хранилища внесите следующие изменения:
1. Деактивируйте соединение с поврежденным хранилищем. Для этого рядом с нужным подключением нажмите > Отсоединить.
2. Добавьте соединение с репликой. Для этого:
  1. Нажмите Добавить.
  2. В соответствующие поля введите IP-адрес, порт и iqn резервного таргета.
3. Нажмите .
Закройте окно соединений.
Активируйте домен хранения:
1. Откройте подробное представление домена хранения.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Включить (Activate).

10.4.4. Удаление устаревших соединений

После изменения соединений доменов хранения на основе iSCSI могут оставаться устаревшие соединения. С помощью оснастки Соединения можно такие соединения удалить.

Будьте внимательны при удалении соединений. В оснастке будут отображаться также соединения, использующиеся в других доменах. Их удаление приведёт к потере связи с существующими доменами.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).

Переведите нужный домен в режим обслуживания:

Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance).
Нажмите OK.

Нажмите Соединения
В окне Управление подключениями хранилища:
1. Активируйте переключатель Показать все соединения.
2. Рядом с нужным подключением нажмите > Отсоединить.
3. Затем нажмите > Удалить.
Закройте окно соединений.
Активируйте домен хранения:
1. Откройте подробное представление домена хранения.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Включить (Activate).

10.5. Обновление OVF

По умолчанию OVF обновляются каждые 60 минут. Однако при импортировании важной виртуальной машины или критическом обновлении можно обновить OVF вручную.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Выберите домен хранения и нажмите Дополнительные действия (More Actions) , затем нажмите Обновить OVF (Update OVFs).

OVF обновляются, и в поле События (Events) отобразится сообщение.

10.6. Активация доменов хранения из режима обслуживания

Если в хранилище центра данных были внесены изменения, переведите домены хранения в режим обслуживания. Чтобы продолжить использование домена хранения, активируйте его.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя неактивного домена хранения. Откроется подробное представление.
Откройте вкладку Центры данных (Data Centers).
Нажмите Включить (Activate).

10.7. Отключение домена хранения от центра данных

Отключите домен хранения от одного центра данных для его переноса в другой центр данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Выберите вкладку Центр данных (Data Center).
Нажмите Обслуживание (Maintenance).
Нажмите OK, чтобы перейти в режим обслуживания.
Нажмите Отсоединить (Detach).
Нажмите OK, чтобы отключить домен хранения.

Домен хранения отключен от центра данных, готов к подключению к другому центру данных.

10.8. Подключение домена хранения к центру данных

Подключите домен хранения к центру данных.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения. Откроется подробное представление.
Откройте вкладку Центр данных (Data Center).
Нажмите Прикрепить (Attach).
Выберите подходящий центр данных.
Нажмите OK.

Домен хранения подключен к центру данных и автоматически активирован.

10.9. Удаление домена хранения

В центре данных есть домен хранения, который нужно удалить из среды виртуализации.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Переведите домен хранения в режим обслуживания и отключите его:
1. Нажмите на имя домена хранения. Откроется подробное представление.
2. Откройте вкладку Центр данных (Data Center).
3. Нажмите Обслуживание (Maintenance), затем OK.
4. Нажмите Отсоединить (Detach), затем OK.
Нажмите Удалить (Remove).
При желании установите флажок Форматирование домена, т.е. содержимое хранилища будет потеряно! (Format Domain, i.e. Storage Content will be lost!), чтобы стереть содержимое домена.
Нажмите OK.

Домен хранения навсегда удален из среды.

10.10. Уничтожение домена хранения

Домен хранения с ошибками может быть не пригоден для удаления обычным способом. При уничтожении домен хранения принудительно удаляется из среды виртуализации.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Выберите домен хранения и нажмите Дополнительные действия (More Actions) и затем Уничтожить (Destroy).
Установите флажок в поле Подтвердить операцию (Approve operation).
Нажмите OK.

10.11. Создание профиля диска

Профили диска определяют максимальную пропускную способность и максимальное количество операций ввода/вывода на виртуальный диск в домене хранения. Профили диска создаются на базе профилей хранилища, заданных в центрах данных, и должны вручную назначаться отдельным виртуальным дискам для того, чтобы профиль вступил в силу.

Процедура предполагает, что одна или несколько политик QoS в отношении хранилища уже заданы в центре данных, к которому относится домен хранения.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения данных. Откроется подробное представление.
Откройте вкладку Профили диска (Disk Profiles).
Нажмите Новый (New).
Введите Имя (Name) и Описание (Description) для профиля диска.
Выберите политику QoS из списка QoS для применения к профилю диска.
Нажмите OK.

10.12. Удаление профиля диска

Удалите существующий профиль диска из среды zVirt.

Порядок действий:

Нажмите Хранилище (Storage) Домены (Domains).
Нажмите на имя домена хранения данных. Откроется подробное представление.
Откройте вкладку Профили диска (Disk Profiles).
Выберите профиль диска, который нужно удалить.
Нажмите Удалить (Remove).
Нажмите OK.

Если профиль диска был назначен каким-либо виртуальным дискам, то он удаляется с этих виртуальных дисков.

10.13. Просмотр статуса состояния домена хранения

У домена хранения есть внешний статус состояния в дополнение к обычному Статусу (Status). Внешний статус состояния сообщается внешними системами и подключаемыми модулями или задается администратором и отображается слева от Имени (Name) домена хранения в виде одного из следующих значков:

OK: Без значка
Информация (Info):
Предупреждение (Warning):
Ошибка (Error):
Отказ (Failure):

Для просмотра подробных сведений о статусе состояния домена хранения нажмите на имя домена хранения. После того как откроется подробное представление, выберите вкладку События (Events).

Статус состояния домена хранения можно также посмотреть с помощью REST API. Запрос GET о домене хранения будет включать в себя элемент external_status, содержащий статус состояния.

Статус состояния домена хранения можно установить в REST API с помощью набора events. Для получения дополнительной информации см. Adding Events в руководстве REST API.

10.14. Установка флажка "Сброс после удаления (Discard After Delete)" для домена хранения

Когда установлен флажок Сброс после удаления (Discard After Delete), на удаляемом логическом томе вызывается команда blkdiscard, и используемому хранилищу сообщается, что блоки свободны. Массив хранения может использовать освободившееся место и распределять его по запросу. Опция Сброс после удаления (Discard After Delete) работает только в блочном хранилище. Флажок не доступен в Менеджере управления для файлового хранилища такого, как NFS.

Ограничения:

Опция Сброс после удаления (Discard After Delete) доступна только в доменах блочного хранилища таких, как iSCSI или Fibre Channel.
Используемое хранилище должно поддерживать опцию Освободить (Discard).

Опция Сброс после удаления (Discard After Delete) может быть включена при создании домена блочного хранилища или при его изменении. См. разделы Подготовка и добавление блочного хранилища и Изменение доменов хранения.

10.15. Мониторинг доступного места в домене хранения

Можно проводить мониторинг доступного места в домене хранения и создавать оповещения о том, что место скоро закончится. Можно также задать критическое пороговое значение, при котором домен выключается.

Используя Виртуальный оптимизатор данных (VDO) и поддержку тонких пулов, можно увидеть больше доступного места, чем есть физически. Такое поведение ожидаемо для VDO, но Менеджер управления не может предсказать, какое количество данных можно фактически записать. Параметр Порог предупреждения о малом объеме свободного места в домене (Warning Low Space Indicator) сообщает, когда на домене физически заканчивается место и показывает сколько подтвержденного места осталось. Подтвержденное место - это пространство, фактически доступное для записи данных.

Порядок действий:

На Портале администрирования нажмите Хранилище (Storage) Домены (Domains) и нажмите на имя домена хранения.
Нажмите Управление доменом (Manage Domain). Откроется диалоговое окно Управление доменом (Manage Domain).
Разверните Дополнительные параметры (Advanced Parameters).
Для параметра Порог предупреждения о малом объеме свободного места в домене (%) (Warning Low Space Indicator (%)) задайте процентное значение. Когда доступное место в домене хранения достигает этого значения, Менеджер управления предупреждает, что место в домене заканчивается.
Для параметра Порог блокировки при критическом значении свободного места в домене (GB) (Critical Space Action Blocker (GB)) задайте значение в гигабайтах. Когда доступное место в домене хранения достигает этого значения, Менеджер управления производит выключение.
Для параметра Предупреждение об окончании свободного места на диске (%) (Warning Low Confirmed Space Indicator (%)) задайте процентное значение. Когда доступное место в домене хранения достигает этого значения, Менеджер управления предупреждает, что место, фактически доступное для записи данных, заканчивается.

11. Кластер хранилищ (StorageCluster)

Описанная в этом разделе функция доступна только для zVirt 4.3 и новее.

Кластер хранилищ (StorageCluster) - это функция, применяемая для управления и оптимизации хранилищ данных.

В современных ИТ-инфраструктурах виртуализация играет ключевую роль, предоставляя гибкость, масштабируемость и эффективное использование ресурсов. Однако с ростом числа виртуальных машин и увеличением объема данных, управление хранилищами становится все более сложной задачей.

Основные задачи, которые помогает решать Кластер хранилищ:

Автоматизация управления хранилищами.

Кластер хранилищ автоматически балансирует нагрузку между хранилищами данных, обеспечивая оптимальное распределение ресурсов и предотвращая перегрузку отдельных хранилищ.
Оптимизация производительности.

Функциональность помогает избежать "узких мест" в производительности за счет равномерного распределения нагрузки операций записи-чтения (Throughput/Latency) и хранения данных.
Увеличение надежности.

Кластер хранилищ минимизирует риск отказов и перегрузок, что повышает общую надежность системы.
Экономия времени при сопровождении.

Автоматизация задач, связанных с управлением хранилищами, освобождает администраторов для выполнения других важных задач.

11.1. Принципы работы кластера хранилищ

Кластер хранилищ работает на основе следующих принципов:

Мониторинг и анализ.

Кластер хранилищ постоянно мониторит доступное пространство в хранилищах данных.
Балансировка нагрузки.

На основе собранных данных кластер хранилищ принимает решения о перемещении дисков виртуальных машин между хранилищами для балансировки нагрузки. Это может включать миграцию данных или дисков виртуальных машин между различными хранилищами.
Управление политиками.

Администраторы могут задавать правила и политики для управления перемещением данных и дисков виртуальных машин. Например, можно определить допустимый уровень заполнения хранилищ, приоритеты или политики переноса для перемещаемых дисков.
Автоматизация миграции.

Кластер хранилищ автоматизирует процесс миграции данных, обеспечивая минимальное вмешательство со стороны администратора и непрерывность работы приложений.

11.2. Примеры использования кластера хранилищ

Кластер хранилищ может использоваться для решения следующих задач:

Динамическое распределение нагрузки.

В крупной компании, использующей множество виртуальных машин для различных приложений, кластер хранилищ может автоматически распределять нагрузку по хранилищам, обеспечивая высокую производительность и предотвращая перегрузку отдельных ресурсов.
Оптимизация ресурсов в облачных средах.

В облачных провайдерах, где количество виртуальных машин может меняться в зависимости от потребностей клиентов, кластер хранилищ помогает оптимизировать использование хранилищ, автоматически балансируя нагрузку и обеспечивая эффективное использование ресурсов.
Управление данными в тестовых средах.

Для сред разработки и тестирования, где часто создаются и удаляются виртуальные машины, кластер хранилищ может автоматизировать управление хранилищами, обеспечивая оптимальное распределение данных и минимизацию ручного труда.

11.3. Известные ограничения кластера хранилищ

Перед использованием Кластера хранилищ учитывайте следующие ограничения:

Не перемещаются диски виртуальных машин, созданных на основе шаблона и имеющие формат QCOW2 (Linked clone).
Не перемещаются диски связанные с виртуальной машиной HostedEngine.
Не перемещаются диски метаданных.
Не перемещаются ISO-образы, на момент переноса подключенные к виртуальным машинам.
Не перемещаются диски виртуальных машин, находящихся в состоянии просмотра снимка.
Не рекомендуется включать в кластер хранилищ домены хранения, содержащие образы ISO.

11.4. Управление кластерами хранилищ

Ниже описаны процедуры для управления кластерами хранилищ.

11.4.1. Необходимые системные разрешения

Для управления кластерами хранилищ необходим пользователь с ролью имеющей разрешение Управление кластеризацией хранилищ. По умолчанию это разрешение имеет роль SuperUser.

Для обеспечения необходимого уровня безопасности рекомендуется создать отдельную роль. Для этой роли установите тип Администратор и включите разрешение Система > Настроить систему > Управление кластеризацией хранилищ.

11.4.2. Создание кластера хранилищ

Предварительные требования:

В целевом центре данных должно быть 2 и более доменов хранения.
Домены хранения, добавляемые в кластер хранилищ, должны быть в активном состоянии.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите Создать для запуска визарда создания кластера хранилищ.

В визарде создания:

Этап 1:
- Введите уникальное имя создаваемого кластера хранилищ.
- Выберите целевой центр данных.
  
  Целевой центр данных невозможно изменить после создания кластера хранилищ.
- Нажмите Далее.
Этап 2:
- Введите Пороговое значение процента загрузки доменов хранения. Это значение будет применяться ко всем доменам в кластере. Если загруженность домена достигает указанного значения, то при следующем расчете балансировщик начнет процесс формирования рекомендаций по разгрузке этого домена.
  
  При расчете текущей загруженности используется фактическое заполнение домена хранения.
- Выберите необходимые домены из списка для включения в кластер.
  
  При большом количестве доменов можно воспользоваться поиском.
- Нажмите Далее.

Этап 3:

Выберите режим балансировки:

Выключена

Это режим по умолчанию. В этом режиме не производится расчет и не формируются рекомендации по разгрузке.

Вручную

По заданному расписанию будет производиться расчет рекомендаций по разгрузке. Выполнение рекомендаций запускается вручную.

Автоматическая

По заданному расписанию будет производиться расчет рекомендаций по разгрузке. Выполнение рекомендаций запускается Автоматически в соответствии с настроенным периодом.

Ручной запуск выполнения рекомендаций в этом режиме недоступен.

В случае выбора автоматического режима, при необходимости в разделе Расписание балансировки добавьте нужные периоды применения рекомендаций.

Задайте параметры балансировки:

Укажите частоту выполнения расчета. По умолчанию расчет проводится раз в 8 часов.

Для указания частоты выполнения расчета можно выбрать готовые варианты или ввести нужную частоту вручную в формате чч:мм.

При необходимости укажите виртуальные машины, которые балансировщик должен игнорировать. Диски указанных виртуальных машин не будут участвовать в расчете рекомендации и не будут перемещаться между доменами хранения при выполнении рекомендаций.

Выберите политику использования профилей дисков. Если диски используют профили с настроенными QoS, необходимо выбрать политику, отличную от Default. Возможные варианты переноса профиля:

Профиль Default

При переносе диска в целевом домене будет применяться профиль диска по умолчанию.

При выборе данной политики QoS не переносятся в целевой домен хранения.

Создание профиля диска

В целевом домене хранения выполняется поиск профиля с именем, соответствующим исходному профилю. При выполнении рекомендаций либо применяется найденный профиль, либо, если профиль не обнаружен, создается новый с параметрами (имя и QoS) исходного профиля.

Поиск профиля диска

В целевом домене хранения выполняется поиск профиля с именем, соответствующим исходному профилю. При выполнении рекомендаций либо применяется найденный профиль, либо, если профиль не обнаружен, рекомендация переводится в статус Не применима (NOT_APPLICABLE). Новый профиль при этом не создается, а диск не переносится.

Создание QoS

В целевом домене хранения выполняется поиск профиля с QoS, соответствующим исходному профилю. При выполнении рекомендаций либо применяется найденный профиль, либо, если профиль не обнаружен, создается новый с параметрами, идентичным QoS исходного профиля.

Поиск QoS

В целевом домене хранения выполняется поиск профиля с заданным QoS. При выполнении рекомендаций либо применяется найденный профиль, либо, если профиль не обнаружен, рекомендация переводится в статус Не применима (NOT_APPLICABLE). Новый профиль при этом не создается, а диск не переносится.

Нажмите Далее.

Этап 4. Убедитесь в корректности настройки кластера хранилищ и нажмите Создать.

При успешном создании кластер появится в списке.

11.4.3. Изменение кластера хранилищ

После создания кластера хранилищ можно изменить некоторые его параметры.

Следующие параметры изменить нельзя:

Центр данных, в котором размещается кластер хранилищ.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Для перехода в режим редактирования:
- Нажмите в строке нужного кластера
  
  ИЛИ
- Нажмите на имя нужного кластера хранилищ для перехода в подробное представление и нажмите Управление кластером хранилищ
В открывшемся визарде измените необходимые значения на соответствующей вкладке.
На вкладке Подтверждение информации нажмите Обновить.

11.4.4. Удаление кластера хранилищ

Предварительные требования:

Балансировка в удаляемом кластере хранилищ должна быть переведена в режим Выключена.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
В строке нужного кластера хранилищ нажмите .
В окне подтверждения нажмите Удалить.

11.4.5. Изменение режима балансировки

При необходимости можно изменить режим балансировки в существующем кластере хранилищ.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.

Измените режим балансировки:

Способ 1

Запустите визард обновления кластера хранилищ.

На странице Режим балансировки выберите нужный режим.

В случае выбора автоматического режима, при необходимости в разделе Расписание балансировки настройте расписание балансировки.

На вкладке Подтверждение информации нажмите Обновить.

Способ 2

Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
В подробном представлении перейдите на вкладку Балансировка.
В выпадающем списке Режим балансировки выберите нужный.
Изменения будут сохранены автоматически.

В случае выбора автоматического режима, при необходимости можно настроить расписание применения балансировки через визард обновления кластера хранилищ.

Выбранный режим будет отображаться на вкладке Балансировка подробного представления кластера хранилищ.

11.4.6. Просмотр информации о кластере хранилищ

Для просмотра подробной информации о нужном кластере хранилищ:

Авторизуйтесь на портале администрирования.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
В подробном представлении:
- На вкладке Обзор отображается общая информация о кластере хранилищ.
- На вкладке Домены хранения отображается:
  Текущая граница заполненности.
  
  Список доменов хранения, включенных в кластер хранилищ. Для каждого домена в списке представлена информация о статусе домена и его использованию. В столбце Процент загрузки можно получить информацию о загруженности каждого домена.
- На вкладке Балансировка отображается:
  Текущий режим балансировки.
  
  Расписание балансировки для автоматического режима.
  
  Список игнорируемых виртуальных машин.
- На вкладке Рекомендации отображается:
  Текущий статус расчета.
  
  Время последнего и следующего расчета.
  
  Количество предупреждений.
  
  Рекомендации по балансировке.
- На вкладке Мониторинг отображается:
  - Общая информация по кластеру хранилищ, которая включает:
    
    Режим балансировки.
    
    Занимаемое дисковое пространство в кластере.
    
    Объем доступного места.
    
    Количество доменов в кластере хранилищ.
    
    Количество виртуальных машин, диски которых включены в балансировку.
  - Метрики по каждому домену в кластере хранилищ:
    
    Дисковое пространство (занятое/свободное).
    
    Динамика использования пространства.
    
    Скорость чтения/записи диска.
    
    Динамика скорости чтения/записи.
    
    Задержка операций.
    
    Динамика задержки.
    
    Количество операций чтения/записи.
    
    Динамика количества операций чтения/записи.

11.4.7. Просмотр, обновление и применение рекомендаций

Рекомендации по балансировке формируются в процессе расчета, который выполняется с частотой, заданной в процессе создания или изменения кластера хранилищ.

Список рассчитанных рекомендаций и управление ими доступны на вкладке Рекомендации подробного представления кластера хранилищ.

Список рекомендаций по балансировке содержит:

ID и имени диска.
Имени виртуальной машины (если применимо).
Текущего (исходного) домена хранения.
Предлагаемого целевого домена хранения.
Статуса рекомендации.

Каждая рекомендация может иметь один из следующих статусов:

Выполнена: указывает на то, что предлагаемый диск был успешно перемещен из исходного в целевой домен хранения.
Создана: указывает на то, что рекомендация еще не была применена.
Ошибка выполнения: указывает на то, что при попытке применения рекомендации возникла ошибка переноса диска. Для получения более подробной информации нажмите ? рядом с названием статуса.
Выполняется: указывает на то, что в данный момент происходит перенос диска из исходного домена в целевой.
Неизвестно: указывает на то, что из-за неизвестного исключения не удалось определить статус рекомендации.
Не применима: указывает на то, что рекомендацию невозможно выполнить. Как правило это происходит по причине невозможности применения профиля диска в целевом домене хранения. Убедитесь, что установлена подходящая политика использования профилей дисков. Для получения более подробной информации нажмите ? рядом с названием статуса.

При большом количестве рекомендации используйте фильтрацию по статусу над списком.

При необходимости на вкладке Рекомендации подробного представления кластера хранилищ можно запустить выполнение расчета вручную, нажав на Запустить расчет.

При ручном или автоматическом запуске расчета все старые рекомендации удаляются из списка.

Ручной запуск расчета доступен только в ручном режиме балансировки.

Способ применения рекомендаций зависит от выбранного при создании или изменении кластера хранилищ режима балансировки:

При автоматическом режиме балансировки применение рекомендаций запускается автоматически в соответствии с заданным расписанием. Ручной запуск при этом недоступен.
При ручном режиме применение рекомендации запускается только вручную. При этом на вкладке Рекомендации:
- Можно запустить применение всех рекомендаций, имеющих статус Создана. Для этого достаточно нажать на кнопку Применить все рекомендации.
- Можно запустить применение отдельных рекомендаций. Для этого их необходимо выделить и нажать Применить рекомендации.

11.4.8. Прикрепление домена хранения к кластеру хранилищ

При необходимости можно прикрепить дополнительные домены хранения к существующему кластеру хранилищ.

Предварительные требования:

Добавляемый домен хранения находится в статусе активен.
Добавляемый домен хранения находится в том же центре данных, что и расширяемый кластер хранилищ.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
Перейдите на вкладку Домены хранения.
Нажмите прикрепить домен.
В оснастке прикрепления, выберите нужные домены хранения.

При большом количестве доменов хранения можно воспользоваться поиском.
Нажмите Прикрепить.

Новый домен появится в списке кластера в статусе Балансируется ( icon balancing ).

11.4.9. Остановка балансировки домена хранения

При необходимости можно выключить балансировку домена хранения без его удаления из кластера хранилищ.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
Перейдите на вкладку Домены хранения.
В строке нужного домена нажмите для выключения балансировки.
При выключении балансировки домен хранения получит статус Выключен () и будет исключен из процессов расчета и применения рекомендаций.

11.4.10. Открепление домена хранения от кластера хранилищ

При необходимости можно открепить домен хранения от кластера хранилищ.

Предварительные требования:

Балансировка в кластере должна быть переведена в режим Выключена.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
Перейдите на вкладку Домены хранения.
Открепите домены:
- В строке нужного домена нажмите для открепления конкретного домена.
  
  ИЛИ
- Выберите нужные домены и нажмите в панели управления для их открепления.
В окне подтверждения нажмите Открепить.

11.4.11. Освобождение доменов хранения

При необходимости можно освободить нужный домен хранения путем распределения дисков между другими доменами в кластере.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.
Перейдите на вкладку Домены хранения.
В строке нужного домена нажмите для запуска процесса освобождения. Домен перейдет в статус Освобождается ().

После окончания процесса переноса дисков с освобождаемого домена, он будет выключен (исключен из балансировки), и балансировщик перестанет учитывать его при расчете и применении рекомендаций.

Если установлен ручной режим балансировки, при освобождении будут созданы рекомендации, которые необходимо применить вручную.

Домен переходит в статус Выключен даже если не удалось перенести все имеющиеся на нем диски.

В этой ситуации может потребоваться ручной перенос дисков.

11.4.12. Исключение дисков виртуальной машины из расчета рекомендаций

Исключить диски из расчета рекомендаций по балансировке можно как при создании кластера, так и после создания.

Если кластер уже создан, для исключения дисков виртуальной машины из расчета выполните следующие действия:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Добавьте ВМ в список игнорируемых:
Способ 1
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.

Перейдите на вкладку Балансировка.

Нажмите Добавить ВМ.

Выберите нужные виртуальные машины и нажмите Добавить.
Способ 2
Запустите визард обновления кластера хранилищ.

На странице Параметры балансировки нажмите Добавить ВМ.

Выберите нужные виртуальные машины и нажмите Добавить. При этом нужные ВМ появятся в списке.

На вкладке Подтверждение информации нажмите Обновить.

Выбранные виртуальные машины появятся в списке игнорируемых, а их диски будут исключены из расчета рекомендаций.

11.4.13. Включение дисков виртуальной машины в расчет рекомендаций

Если ранее диски виртуальной машины были исключены из расчета, можно снова включить их в расчет.

Порядок действий:

Авторизуйтесь на портале администрирования с правами, достаточными для управления кластерами хранилищ.
Перейдите в Хранилище Кластеры хранилищ.
Исключите ВМ из списка игнорируемых:
Способ 1
Нажмите на имя нужного кластера хранилищ для перехода в подробное представление.

Перейдите на вкладку Балансировка.

Выберите нужные ВМ.

Нажмите Удалить.
Способ 2
Запустите визард обновления кластера хранилищ.

На странице Параметры балансировки выберите нужные ВМ.

Нажмите Удалить. При этом нужные ВМ будут удалены из списка.

На вкладке Подтверждение информации нажмите Обновить.

Выбранные виртуальные машины будут удалены из списка игнорируемых, а их диски будут включены в расчет рекомендаций.

11.5. Мониторинг событий, связанных с кластерами хранилищ

Операции, связанные с кластерами хранилищ, формируют записи в журналах. Эти записи можно отслеживать на экране События.