Восстановление сервисов после сбоя вызванного переполнением системного диска

Статья описывает восстановление сервисов после сбоя вызванного переполнением системного диска.

1. Процедура восстановления

В случае переполнения системного диска k3s может автоматически удалять образы приложений для освобождения места. Это штатный механизм оркестратора, но он может привести к временной недоступности сервисов.

Расширьте системный диск до размера, достаточного для корректной работы всех компонентов и приступайте к процедуре восстановления работы сервисов.

Восстановить сервисы возможно двумя способами:

Автоматизированным
Ручным

1.1. Автоматизированное восстановление сервисов

Запустите скрипт:
```
$ sudo universe restore
```

Дождитесь окончания процесса восстановления сервисов.

System initialized ✅
Restoring system services...
[####################################################################################################] 100% ✓-
The service recovery procedure has been completed ✅

1.2. Ручное восстановление сервисов

Перейдите в директорию /opt/nova-universe/packages/ansible:
```
$ cd /opt/nova-universe/packages/ansible/
```

Запустите процесс восстановления сервисов.

$ sudo ansible-playbook -i inventory.ini restore.yaml -t "validate_before_init,restore_services"

2. Проверка сервисов после восстановления

После выполнения процедуры восстановление убедитесь, что все сервисы функционируют штатно.

$ universe info

Пример вывода:

System initialized ✅

Universe version: v3.1.0

Public services and resources:
  CA certificate:        https://repo.universe.example.ru/ca/ca.crt
  Cluster Manager:       https://cluster-manager.universe.example.ru
  Universe API:          https://api.universe.example.ru
  Nova API:              https://nova-api.universe.example.ru
  Git service:           https://hub.universe.example.ru
  Container registry:    https://hub.universe.example.ru
  Repository:            https://repo.universe.example.ru
  Uploads service:       https://uploads.universe.example.ru

Service status:
  K3s:                   ✅
  PostgreSQL:            ✅
  Cluster Manager:       ✅
  Universe API:          ✅
  Nova API:              ✅
  Git service:           ✅
  Container registry:    ✅
  Repository:            ✅
  Uploads service:       ✅

Parameters for Nova Container Platform:
  coreServer:            sun.universe.example.ru
  hubRegistryURL:        hub.universe.example.ru/nova-universe
  hubToken:              d72083c7e724bd22eeee01ac1c26d7ba58d13f82
  hubUsername:           deploy-user
  repoToken:             d72083c7e724bd22eeee01ac1c26d7ba58d13f82
  repoURL:               https://hub.universe.example.ru/nova-universe/container-platform-base.git
  rpmRepoURL:            https://repo.universe.example.ru

Modules:
  Nova Platform Astra:   ❌ Not installed
  Nova Platform Ubuntu:  ❌ Not installed
  Nova Platform Redos:   ❌ Not installed
  Nova Platform Rhel:    ❌ Not installed
  Nova Platform Mosos:   ❌ Not installed
  Nova Ml:               ❌ Not installed
  Nova Ml Astra:         ❌ Not installed
  Nova Ml Redos:         ❌ Not installed
  Nova Ml Rhel:          ❌ Not installed