[x86, amd64] VM Ceph 18.2 Cluster @ Alpine 3.19 [VirtualBox OVA]

Первый запуск и настройка

- импортируйте OVA-файл, дождитесь завершения импорта, но сразу НЕ СТАРТУЙТЕ.
- произведите подготовку публичной сети кластера (первые сетевые карты у каждой ВМ).

Тут целых три базовых варианта :
- вместо виртуальной сети ext-networkдля каждой из 13 ВМ сделать сетевой мост с той физической сетевой картой, где у вас домашняя сеть (любой домашний роутер 13 адресов из 192.168.*.*найдёт).
- поднять виртуальный роутер на базе вспомогательной ВМ TinyGate, соединив её LAN-порт #2 с виртуальной сетью ext-network
(исключение допустимо для VM Ceph-Admin - её первый порт может быть соединён через что вам удобно)
- прописать внутри каждой ВМ адреса статикой.
ВАЖНО !! Данный сетап Ceph полагает, что внешняя сеть - это адреса 192.168.*.*!! Изменения - на вашу смелость.

- Запустите все ВМ. Если запуск всех ВМ разом затруднителен, то запускать можно группами/частями.

Несколько моментов:
- MON-ы запускайте либо все сразу в группе, либо хотя бы два одновременно. Кластер жив и управляем при любых двух активных MON. Без кворума будет грузиться дольше и сложнее.
- OSD лучше пускануть все разом, ну или минимум 3 в группе. При запуске по одному кластер может какое-то время поколбасить, особенно если стенд с медленными дисками.
- MDS и RGW можете не запускать вообще, если не планируете играться с CephFS / S3. Их работа не обязательна.
- Админ-ВМка Ceph-Adminсделана для удобства и тоже в принципе не обязательна, если ваc не пугает 12 цефо-нод прямо в домашней сети и необходимость руками настраивать доступ на всех 12 ВМ вместо одной.

P. S. Подразумевается, что линукс-консоль для вас родная, а доступ по ключам в ссш вы настраиваете с завязанными глазами, даже если вас разбудить 1 января после новогоднего корпоратива =)

Доп. информация

Тестовый стенд / учебный кластер для запуска в условиях минимума ресурсов (я запускал всё это на древнем ноуте из 2013 года).
Если у вас нет роутера дома или вам нужна полностью оффлайн-работа - пригодится вспомогательная ВМ TinyGate (как вариант - перенастраивать сеть на первых картах всех 13 ВМ).
Состав кластера:
- 3 MON ( Админство кластера только с них )
- 5 OSD ( данные на /dev/sdb, раздел XFS )
- 2 RGW ( для S3-доступа )
- 2 MDS ( для CephFS )
+ внешняя сеть - настрока по DHCP, ожидаются адреса из 192.168.*.*
+ внутренняя кластерная сеть 10.67.89.*
На одной ВМ совместно размещены только MONx + MGRx, всё остальное отдельно.
Статус кластера:Из-за применённой версии ОС, а точнее - стоящего там питона, добиться HEALTH_OK в этом варианте пока не получилось. Если кто подскажет как, не нарушив основную идею (поиграться с цефо-кластером даже на не самом мощном ноуте) - буду признателен за советы.
видос с кратким объяснением сути:
https://www.youtube.com/watch?v=QBkH1g4DuKE

Зачем и почему

Настройка кластера цефа весьма сложна (особенно первый раз :D), а настройка в минималистичном линукс-окружениии без ceph-deploy/cephadmn - изнурительно сложна, глубокая оптимизация индивидуальна для каждого сетапа и относится к высокому админскому искусству. Значительная часть мануалов по сетапу цефа полагает, что у вас дома есть как минимум половина современной инфраструктуры, и готовые средства для масс-менеджмента и развертывания. Мне же хотелось иметь возможность экспериментов без привязки к сложному инструментарию.
Всем изучающим сложные распределённые системы хранения может быть полезно.

Скриншоты