[x86, amd64] VM Ceph 18.2.4 Cluster @ Alpine 3.21 [VirtualBox OVA]

Первый запуск и настройка

- импортируйте OVA-файл, дождитесь завершения импорта, но сразу НЕ СТАРТУЙТЕ.
- Для VM Ceph-18.2.4-Admin желательно настроить сеть на первой сетевухе с доступом в интернет.

Тут целых три варианта :
- вместо виртуальной сети Ceph-18-2-4-ExternalNetсделать сетевой мост с той физической сетевой картой, где у вас домашняя сеть
- поднять виртуальный роутер на базе вспомогательной ВМ TinyGate, соединив её LAN-порт #2 с виртуальной сетью Ceph-18-2-4-ExternalNet
- прописать адрес статикой на внутреннийeth0.
ВАЖНО !! Данный сетап Ceph использует внутренние статические адреса 10.67.(67|89).*!! Изменения - на вашу смелость.

Это облегчит синхронизацию времени в кластере.
- Адреса в Ceph-18-2-4-ExternalNet могут быть любые, главное, чтобы не из 10.67.(67|89).*
- Запустите все ВМ. Если запуск всех ВМ разом затруднителен, то запускать можно группами/частями.

Несколько моментов:
- MON-ы запускайте либо все сразу в группе, либо хотя бы два одновременно. Кластер жив и управляем при любых двух активных MON. Без кворума будет грузиться дольше и сложнее.
- OSD лучше пускануть все разом, ну или минимум 3 в группе. При запуске по одному кластер может какое-то время поколбасить, особенно если стенд с медленными дисками.
- MDS и RGW можете не запускать вообще, если не планируете играться с CephFS / S3. Их работа не обязательна.
- Админ-ВМка Ceph-18.2.4-Adminсделана для удобства доступа извне и тоже в принципе не обязательна, но она также несёт на себе настроенный сервер NTP, который используют все остальные ВМ кластера.

P. S. Подразумевается, что линукс-консоль для вас родная, а доступ по ключам в ссш вы настраиваете с завязанными глазами, даже если вас разбудить 1 января после новогоднего корпоратива =)
Мануал по импорту в ProxMox (серверный гипервизор): https://www.youtube.com/watch?v=4lYulcTd5yc

Безопасность, вот прям ОЧЕНЬ важно

Соблюдение минималистичности при сохранении относительной простоты сетапа требует жертв. Одна из таких жертв - отказ от авто-деплоя (таких манов вагон в интернете, разной степени мутности).
Поэтому все ключи, что SSH, что Ceph - прописаны в скриптах и конфигах, а значит, скомпрометированы по умолчанию.
Поэтому:
НИКОГДА НЕ ИСПОЛЬЗУЙТЕ ПОДОБНЫЕ УЧЕБНЫЕ / ТЕСТОВЫЕ СТЕНДЫ В ПРОДАКШЕНЕ.
ЗАПУСКАТЬ ТАКОЕ МОЖНО ТОЛЬКО В ДОВЕРЕННЫХ, ИЗОЛИРОВАННЫХ СЕТЯХ.
P. S. Либо меняйте все ключи, что SSH, что кластерные из ceph auth, и будьте готовы править конфиги файервола внутри ВМ.
Однако если вы готовы это делать, то этот совет к вам скорее всего не относится.
На каждой ВМ написан конфиг файервола, который нужен в основном для оценки объёмов траффика.
Фильтруется по умолчанию только SSH-доступ к Admin + RGW из сети Ceph-18-2-4-ExternalNet ( см. /etc/iptables )

Доп. информация

Тестовый стенд / учебный кластер для запуска в условиях минимума ресурсов (я запускал всё это на древнем ноуте из 2013 года и даже на ещё более древнем ПК из 2009-го).
Состав кластера:
- 1x ADMIN ( управление кластером + доступ по SSH-ключам на остальные ноды )
- 3x MON+MGR ( Админство с них доступно )
- 5x OSD ( данные на /dev/sdb, том LVM c ceph_bluestore )
- 2x RGW ( для S3-доступа )
- 2x MDS ( для CephFS )
+ внешняя сеть (Ceph-18-2-4-ExternalNet) - настройка по DHCP, ожидаются адреса по DHCP
+ центральная (Ceph-18-2-4-CentralNet) основная сеть 10.67.89.* ("public" в терминах цефа, все ноды включены в неё)
+ внутренняя (Ceph-18-2-4-Internal-OSD-Backbone) кластерная сеть 10.67.67.* только для OSD-репликаций
+ в этой версии OSD разных размеров - по 3 и по 4 Гб.
Тип хранилища - BlueStore, с размещением данных в LVM, все части OSD в одном диске /dev/sdb.
На одной ВМ совместно размещены только MONx + MGRx, всё остальное отдельно.
Статус кластера:Некоторые справочные материалы и шпаргалки, максимально актуальные для этой версии, приложены к раздаче, см. /manuals
Примеры скриптов и команд лежат на Ceph-Admin, см. /opt
видос с кратким объяснением сути (котики присутсвуют):
https://www.youtube.com/watch?v=QBkH1g4DuKE

Зачем и почему

Настройка кластера цефа весьма сложна (особенно первый раз :D), а настройка в минималистичном линукс-окружениии без ceph-deploy / cephadm - изнурительно сложна, глубокая оптимизация индивидуальна для каждого сетапа и относится к высокому админскому искусству. Значительная часть мануалов по сетапу цефа полагает, что у вас дома есть как минимум половина современной инфраструктуры, и готовые средства для масс-менеджмента и развертывания. Мне же хотелось иметь возможность экспериментов без привязки к стороннему инструментарию.
Данный сетап идеально подходит для самых опасных экспериментов, которые вы никогда не рискнёте сделать на продакшене. Размер крохотный, опорная кластерная сеть не затрагивает физические интерфейсы, сами ВМ-ки легковесны и их можно склонировать сколько вам надо.
Всем изучающим сложные распределённые системы хранения может быть полезно.

Скриншоты