ada/infra
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat: migrate all managed LXC provisioning to OpenTofu (blue-green)

Browse Source 
Blue-green: a new container is created beside the old one, data is copied, the
IP is moved onto it, and the old container is kept stopped as rollback for at
least a week. Keeping the IP means only the VMID changes, and its consumers
(backup jobs, backup audit) already derive it from the registry.

Batch 1 (2026-09-02): emergency-bot 148->151, docker-test 145->152,
gitea 141->153, vaultwarden 140->154, monitoring 146->155, gyro 150->156,
grimmory 149->157.
Batch 2 (2026-09-03): adguard 144->158, mihomo 143->159, ovpn-mini 132->160.
All migratable LXC are now provisioner: tofu. hermes-ai (frozen) and pbs stay.

- tofu/services.tf + tofu/svc-*.tf: one resource per service, reproducing the
  pct-config etalon. /dev/fuse -> features.fuse; /dev/net/tun ->
  device_passthrough (first live use on mihomo and ovpn-mini); gitea bind mount
  -> datastore volume (data finally reaches PBS); console { type = "shell" }
  declared explicitly (provider tracks cmode there).
- services.yml: vmid + provisioner: tofu for every migrated service; features
  strings and device notes updated to the tofu representation; also drops the
  memoir-bot entry and adds homelab_reverse_proxy_image/_unit.
- pve-*.yml: configuration play target is `{{ pve_config_target | default(...) }}`
  so it can run against <name>-new on a temp address (a bare --limit zeroes the
  play instead of retargeting it). Container-creation plays are gated behind
  `provisioner != 'tofu'` / `pve_provisioning_enabled` (meta: end_play), so a
  stray run cannot pct start a stopped OLD VMID on a live IP. Override for
  intentional legacy rollback: -e pve_<svc>_legacy_provisioning_enabled=true.
- ssh_config: drop memoir-bot; ovpn-mini gets ProxyJump none (a jump via ru-vps
  would route through the very tunnel ovpn-mini terminates).
- gyro.yml / uptime-kuma.yml: same pve_config_target override.
- roles/uptime_kuma: only freeze homelab-monitoring when the unit actually
  exists (a fresh blue-green container never had it).
- offsite-restic-yadisk.yml: the gitea restic profile now runs inside the LXC
  (hosts: gitea), since the bind-mount host path is gone after the volume move;
  lost+found excluded (unreadable in an unprivileged LXC, restic exit 3).

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_012uoq5AVK8mkBgg83Mq6o5V
This commit is contained in:
Dmitry
2026-09-03 07:05:46 +03:00
co-authored by Claude Sonnet 5
parent e349f19e68
commit a3fe8031fe
24 changed files with 1522 additions and 113 deletions
Download Patch File Download Diff File Expand all files Collapse all files
ansible/inventory/group_vars/all/services.yml
+87 -81
View File
@@ -13,9 +13,12 @@
# ansible/roles/*, ansible/inventory/hosts.yml). Ничего не выдумано.
# Там, где факта в коде нет, стоит комментарий "# нет в коде", а не догадка.
#
# КТО ЭТО ПОТРЕБЛЯЕТ (на текущем этапе)
# * ansible/playbooks/reverse-proxy.yml — итерируется по сервисам,
# у которых задан блок `proxy`, и собирает Caddyfile на ru-vps.
# КТО ЭТО ПОТРЕБЛЯЕТ
# * playbooks/reverse-proxy.yml — Caddyfile по блокам `proxy`.
# * playbooks/ru-vps-base.yml — стек Caddy и закреплённый образ.
# * playbooks/pve-backup-jobs.yml — списки VMID заданий по полю `backup.job`.
# * roles/backup_audit — VMID по флагу `monitoring.backup_audit_vmid`.
# * playbooks/validate.yml — сверка с фактическим состоянием Proxmox.
# * Человек — как справочник вместо чтения семи playbook'ов по 200-400 строк.
#
# Существующие pve-*.yml пока НЕ читают этот реестр: их перевод на
@@ -57,9 +60,18 @@
homelab_reverse_proxy_host: ru-vps
homelab_reverse_proxy_dir: /opt/services/ru-vps/caddy
homelab_reverse_proxy_caddyfile: /opt/services/ru-vps/caddy/Caddyfile
# ВНИМАНИЕ: сам контейнер Caddy на ru-vps ansible'ом НЕ управляется —
# в репозитории нет плейбука его установки. Управляется только Caddyfile.
homelab_reverse_proxy_container: caddy
# Стек Caddy разворачивает playbooks/ru-vps-base.yml (роль compose_service).
# Содержимое Caddyfile принадлежит playbooks/reverse-proxy.yml — ru-vps-base
# его не трогает, только проверяет наличие.
# Образ закреплён по digest: до принятия в Ansible на ru-vps крутился
# floating-тег caddy:2-alpine (на момент фиксации — v2.11.4).
homelab_reverse_proxy_image: >-
caddy:2-alpine@sha256:5f5c8640aae01df9654968d946d8f1a56c497f1dd5c5cda4cf95ab7c14d58648
# Systemd-юнит намеренно называется homelab-caddy, а не caddy: на ru-vps уже
# есть отключённый caddy.service от APT-пакета, и одноимённый unit в
# /etc/systemd/system его бы затенил.
homelab_reverse_proxy_unit: homelab-caddy
# Адрес центрального хоста мониторинга (источник scrape для node-exporter).
homelab_monitoring_host_ip: 192.168.1.30
@@ -99,20 +111,22 @@ homelab_services:
# --------------------------------------------------------------------------
ovpn-mini:
vmid: 132
vmid: 160
node: mini-pc
ip: 192.168.1.23
hostname: ovpn-mini
role: OpenVPN-шлюз в LAN (клиент ru-vps)
provisioner: pve_lxc # playbooks/pve-ovpn-mini.yml
provisioner: tofu # tofu/svc-ovpn-mini.tf, переезд 2026-09-03 (migration-tofu.md)
lxc:
cores: 1 # из roles/pve_lxc/defaults
memory: 256 # из roles/pve_lxc/defaults
swap: 128 # из roles/pve_lxc/defaults
cores: 1
memory: 256
swap: 128
disk: local-lvm:8
startup: order=30 # из roles/pve_lxc/defaults
features: "nesting=1"
startup: order=30
features: "nesting=1" # keyctl/fuse намеренно не заданы
unprivileged: true
# /dev/net/tun — блок device_passthrough в Tofu (dev0: path=/dev/net/tun)
# вместо прежних сырых lxc.* строк из pve-ovpn-mini.yml. Эффект тот же.
devices: ["/dev/net/tun"]
ports:
- {name: openvpn, port: 8443, proto: tcp, note: "туннель к ru-vps 10.78.0.1"}
@@ -129,19 +143,20 @@ homelab_services:
# --------------------------------------------------------------------------
vaultwarden:
vmid: 140
vmid: 154
node: mini-pc
ip: 192.168.1.24
hostname: vaultwarden
role: Менеджер паролей Vaultwarden
provisioner: pct_ssh # playbooks/pve-vaultwarden.yml
provisioner: tofu # tofu/svc-vaultwarden.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 2
memory: 1024
swap: 512
disk: local-lvm:16
startup: order=40
features: "nesting=1,keyctl=1"
# fuse=1 — штатный флаг PVE вместо прежнего обхода сырыми lxc.* строками.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
@@ -182,25 +197,30 @@ homelab_services:
# --------------------------------------------------------------------------
gitea:
vmid: 141
vmid: 153
node: cloud-pc
ip: 192.168.1.25
hostname: gitea
role: Git-хостинг Gitea
provisioner: pct_ssh # playbooks/pve-gitea.yml
provisioner: tofu # tofu/svc-gitea.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 2
memory: 2048
swap: 1024
disk: data:32
startup: order=50
features: "nesting=1,keyctl=1"
# fuse=1 — штатный флаг PVE вместо прежнего обхода сырыми lxc.* строками.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
mounts:
# mp0 на cloud-pc; каталог на хосте принадлежит uid/gid 101000
- {host_path: /opt/data/gitea, container_path: /opt/gitea/data, host_uid: 101000, host_gid: 101000}
# Был bind mount каталога ноды /opt/data/gitea. С переезда 2026-09-02 —
# независимый volume на datastore: mp0 data:153/vm-153-disk-1.raw.
# Побочный выигрыш: bind mount vzdump ИСКЛЮЧАЛ из бэкапа ("not a
# volume"), то есть данные gitea в PBS никогда не попадали. Volume
# попадает.
- {volume: data, size: 32G, container_path: /opt/gitea/data}
data_dir: /opt/gitea/data
ports:
- {name: http, port: 3000, proto: tcp}
@@ -215,12 +235,13 @@ homelab_services:
storage: pbs
restic:
profile: gitea
# restic-профиль выполняется на cloud-pc, а не внутри LXC
run_on: cloud-pc
# С переезда 2026-09-02 профиль выполняется ВНУТРИ LXC, как у
# vaultwarden: пути ноды больше не существуют, данные в volume.
run_on: gitea
repository: rclone:yadisk:System/Backups/HomeLab/restic/gitea
source_path: /opt/data/gitea
source_path: /opt/gitea/data
schedule: "*-*-* 04:15:00"
sqlite_db: /opt/data/gitea/gitea/gitea.db
sqlite_db: /opt/gitea/data/gitea/gitea.db
monitoring:
node_exporter: true
blackbox: true
@@ -238,54 +259,24 @@ homelab_services:
status_code: [200]
follow_redirects: none # соответствует `curl -fsS` без -L в старом плейбуке
# --------------------------------------------------------------------------
memoir-bot:
vmid: 142
node: mini-pc
ip: 192.168.1.26
hostname: memoir-bot
role: Telegram-бот дневника в Obsidian-хранилище
provisioner: pct_ssh # playbooks/pve-memoir-bot.yml
lxc:
cores: 1
memory: 512
swap: 512
disk: local-lvm:16
startup: order=60
features: "nesting=1,keyctl=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
data_dir: /srv/memoir-bot
ports: [] # портов не публикует, только исходящие подключения к Telegram
images:
- memoir-bot:local # собирается на месте `docker build`, digest отсутствует
runtime: docker-run-systemd # /etc/systemd/system/memoir-bot.service
backup:
kind: pbs
job: homelab-pbs-daily-mini
schedule: "02:40"
storage: pbs
monitoring:
node_exporter: true
blackbox: false
backup_audit_vmid: true
# --------------------------------------------------------------------------
mihomo:
vmid: 143
vmid: 159
node: mini-pc
ip: 192.168.1.27
hostname: mihomo
role: Локальный прокси Mihomo + веб-интерфейс MetaCubeXD
provisioner: pct_ssh # playbooks/pve-mihomo.yml
provisioner: tofu # tofu/svc-mihomo.tf, переезд 2026-09-03 (migration-tofu.md)
lxc:
cores: 1
memory: 512
swap: 512
disk: local-lvm:8
startup: order=70
features: "nesting=1,keyctl=1"
# fuse=1 — штатный флаг PVE вместо прежнего обхода сырыми lxc.* строками.
# /dev/net/tun — блок device_passthrough в Tofu (dev0: path=/dev/net/tun),
# тоже вместо сырых lxc.* строк. Эффект тот же, запись в pct config иная.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse", "/dev/net/tun"]
@@ -311,19 +302,21 @@ homelab_services:
# --------------------------------------------------------------------------
adguard:
vmid: 144
vmid: 158
node: mini-pc
ip: 192.168.1.28
hostname: adguard
role: AdGuard Home — DNS с фильтрацией
provisioner: pct_ssh # playbooks/pve-adguard.yml
provisioner: tofu # tofu/svc-adguard.tf, переезд 2026-09-03 (migration-tofu.md)
lxc:
cores: 1
memory: 512
swap: 512
disk: local-lvm:8
startup: order=40
features: "nesting=1,keyctl=1"
# fuse=1 — штатный флаг PVE вместо прежнего обхода сырыми lxc.* строками
# (lineinfile по /etc/pve/lxc/144.conf в pve-adguard.yml). Эффект тот же.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
@@ -348,19 +341,22 @@ homelab_services:
# --------------------------------------------------------------------------
docker-test:
vmid: 145
vmid: 152
node: cloud-pc
ip: 192.168.1.29
hostname: docker-test
role: Песочница для проверки Docker в непривилегированном LXC
provisioner: pct_ssh # playbooks/pve-docker-test.yml
provisioner: tofu # tofu/svc-docker-test.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 1
memory: 512
swap: 512
disk: data:8
startup: order=50
features: "nesting=1,keyctl=1"
# fuse=1 появился после переезда на Tofu: раньше /dev/fuse пробрасывался
# сырыми lxc.* строками через lineinfile, теперь это штатный флаг PVE.
# Эффект тот же, запись в pct config другая.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
@@ -378,23 +374,33 @@ homelab_services:
# --------------------------------------------------------------------------
monitoring:
vmid: 146
vmid: 155
node: cloud-pc
ip: 192.168.1.30
hostname: monitoring
role: Prometheus + Alertmanager + Grafana + blackbox + pve-exporter + Uptime Kuma
provisioner: pve_lxc # playbooks/pve-monitoring.yml
# До переезда 2026-09-02 контейнер нёс ещё и замороженный стек
# Prometheus/Alertmanager/Grafana/blackbox/pve-exporter. В новый контейнер
# он сознательно не разворачивался (migration-tofu.md, п.5.5), поэтому
# фактически здесь работает только Uptime Kuma. Возврат стека — отдельное
# architecture decision, см. legacy-warning.md.
role: Uptime Kuma (замороженный стек Prometheus больше не развёрнут)
provisioner: tofu # tofu/svc-monitoring.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 2
memory: 4096
swap: 512
disk: data:24
# Ресурсы оставлены как были, под замороженный стек. Фактическое
# потребление после переезда — 184 МБ RAM и 1.8 ГБ диска. Уменьшение —
# отдельное решение, не часть переезда.
startup: order=80
# создаётся с nesting=1, keyctl=1 добавляется отдельной задачей `pct set`
features: "nesting=1,keyctl=1"
features: "keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
data_dir: /opt/monitoring
# Данные Uptime Kuma лежат в /opt/uptime-kuma, а НЕ в /opt/monitoring:
# последний принадлежал замороженному стеку и на новом контейнере
# отсутствует.
data_dir: /opt/uptime-kuma
ports:
- {name: grafana, port: 3000, proto: tcp, bind: 192.168.1.30}
- {name: pushgateway, port: 9091, proto: tcp, bind: 192.168.1.30}
@@ -454,12 +460,12 @@ homelab_services:
# --------------------------------------------------------------------------
emergency-bot:
vmid: 148
vmid: 151
node: mini-pc
ip: 192.168.1.32
hostname: emergency-bot
role: Telegram-бот аварийного доступа
provisioner: pve_lxc # playbooks/pve-emergency-bot.yml
provisioner: tofu # tofu/services.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 1
memory: 512
@@ -480,20 +486,20 @@ homelab_services:
# --------------------------------------------------------------------------
grimmory:
vmid: 149
vmid: 157
node: cloud-pc
ip: 192.168.1.34
hostname: grimmory
role: Библиотека книг Grimmory (+ MariaDB), OPDS/KOReader
provisioner: pve_lxc # playbooks/pve-grimmory.yml
provisioner: tofu # tofu/svc-grimmory.tf, переезд 2026-09-02 (migration-tofu.md)
lxc:
cores: 2
memory: 4096
swap: 1024
disk: data:64
startup: order=100
# создаётся с nesting=1, keyctl=1 добавляется отдельной задачей `pct set`
features: "nesting=1,keyctl=1"
# fuse=1 — штатный флаг PVE вместо прежнего обхода сырыми lxc.* строками.
features: "fuse=1,keyctl=1,nesting=1"
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
devices: ["/dev/fuse"]
@@ -576,12 +582,12 @@ homelab_services:
# --------------------------------------------------------------------------
gyro:
vmid: 150
vmid: 156
node: mini-pc
ip: 192.168.1.35
hostname: gyro
role: Изолированный контейнер под задачу gyro (доступ в сеть только через mihomo)
provisioner: pve_lxc # playbooks/pve-gyro.yml
provisioner: tofu # tofu/svc-gyro.tf
lxc:
cores: 1
memory: 512
@@ -591,7 +597,7 @@ homelab_services:
features: "" # pve_lxc_features: [] — nesting отключён намеренно
unprivileged: true
ostemplate: local:vztmpl/debian-13-standard_13.1-2_amd64.tar.zst
firewall: proxmox # /etc/pve/firewall/150.fw, policy_in DROP
firewall: proxmox # /etc/pve/firewall/156.fw, policy_in DROP
ports: []
images: [] # роль gyro образы не закрепляет
backup: