Add service registry, shared roles and unified reverse proxy
Collect the facts about all 14 services -- VMID, node, address, ports,
domain, pinned images, resources, backup and monitoring participation --
into group_vars/all/services.yml. Values are taken from the existing
playbooks; gaps are marked null rather than invented.
Replace reverse-proxy-{gitea,vaultwarden,grimmory}.yml with a single
playbook iterating over registry entries that declare a domain. It keeps
every check the three had, preserves grimmory's richer Caddy block
byte-for-byte, and restarts Caddy once when any site changed instead of
up to three times. Verified with --check --diff against ru-vps: ok=6
changed=0, so it reproduces the current Caddyfile exactly.
Add two roles factoring out the skeleton duplicated across the pve-*
playbooks: lxc_docker_host (packages, /dev/fuse assertion, fuse-overlayfs
storage driver, UFW baseline) and compose_service (compose file, systemd
unit, config validation, health check). They are not wired into any
playbook yet -- migrating a live service is a separate, per-service step;
compose_service/README.md shows the Gitea example and spells out what
actually changes on the host.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01GTocXkGUUazHdKKd3r9k71
This commit is contained in:
@@ -0,0 +1,47 @@
|
||||
# Роли Ansible
|
||||
|
||||
| Роль | Назначение |
|
||||
|---|---|
|
||||
| `backup_audit` | Аудит бэкапов PBS и restic, метрики в node-exporter |
|
||||
| `bash_config` | Единый bash-конфиг для shell-хостов |
|
||||
| `compose_service` | **(новая)** Docker Compose стек под systemd oneshot-юнитом |
|
||||
| `emergency_access` | Аварийный доступ |
|
||||
| `emergency_bot` | Telegram-бот аварийного доступа |
|
||||
| `gyro` | Сервис gyro в изолированном LXC |
|
||||
| `lxc_docker_host` | **(новая)** Подготовка непривилегированного LXC под Docker |
|
||||
| `monitoring_blackbox` | Внешние HTTP-пробы с ru-vps |
|
||||
| `monitoring_exporter` | node-exporter / smartctl-exporter |
|
||||
| `monitoring_server` | Prometheus + Alertmanager + Grafana |
|
||||
| `openvpn_gateway` | OpenVPN сервер/клиент |
|
||||
| `pve_lxc` | Создание LXC через Proxmox API |
|
||||
| `uptime_kuma` | Uptime Kuma |
|
||||
| `base`, `docker`, `ufw` | Пустые каталоги, оставшиеся от ранней структуры |
|
||||
|
||||
## Новые роли
|
||||
|
||||
### `lxc_docker_host`
|
||||
|
||||
Пакеты, проверка `/dev/fuse`, `daemon.json` со `storage-driver:
|
||||
fuse-overlayfs`, запуск docker, базовые правила UFW (SSH из LAN и OpenVPN,
|
||||
node-exporter 9100 с 192.168.1.30, `deny incoming`), проверка эффективного
|
||||
драйвера хранилища. Вынесено из восьми `pve-*.yml` — около 350 строк
|
||||
копипасты. Подробности и пример: [`lxc_docker_host/README.md`](lxc_docker_host/README.md).
|
||||
|
||||
### `compose_service`
|
||||
|
||||
`compose.yml` + `.env` (генерация секретов один раз, `no_log`, `0600`) +
|
||||
systemd-юнит `Type=oneshot` с `docker compose up -d --remove-orphans`,
|
||||
`daemon-reload` через handler, валидация `docker compose config --quiet`,
|
||||
рестарт только при изменениях, health-check по URL с `retries`/`until`.
|
||||
Подробности и пример плейбука Gitea на новых ролях:
|
||||
[`compose_service/README.md`](compose_service/README.md).
|
||||
|
||||
**Статус:** роли созданы и проверены синтаксически, но пока не подключены ни
|
||||
к одному живому сервису. Перевод `pve-*.yml` на них — отдельный этап.
|
||||
|
||||
## Источник данных
|
||||
|
||||
Факты о сервисах (vmid, узел, адрес, порты, домен, образы с digest, ресурсы,
|
||||
бэкап, мониторинг, порядок автозапуска) собраны в реестре
|
||||
`ansible/inventory/group_vars/all/services.yml` (`homelab_services`).
|
||||
Его уже потребляет `playbooks/reverse-proxy.yml`.
|
||||
@@ -0,0 +1,133 @@
|
||||
# compose_service
|
||||
|
||||
Раскладывает Docker Compose стек и systemd-юнит, который им управляет.
|
||||
Обобщение того, что делает `playbooks/pve-grimmory.yml`; такой же по форме
|
||||
код продублирован в `roles/monitoring_server` и `roles/uptime_kuma`
|
||||
(`grep -rn "up -d --remove-orphans"` — четыре копии одного юнита).
|
||||
|
||||
## Что делает
|
||||
|
||||
1. Создаёт корневой каталог сервиса и, при необходимости, каталоги данных
|
||||
с нужными owner/group/mode.
|
||||
2. Генерирует `.env` **один раз** под `umask 077`: статические пары из
|
||||
`compose_service_env_static` и случайные секреты
|
||||
(`openssl rand -hex`) для имён из `compose_service_env_generated`.
|
||||
Задача целиком под `no_log: true`; права форсируются в `0600`.
|
||||
Повторный прогон существующий `.env` не перетирает — иначе поменялся бы
|
||||
пароль работающей БД.
|
||||
3. Кладёт `compose.yml` из inline-строки или из Jinja-шаблона.
|
||||
4. Ставит systemd-юнит `Type=oneshot`, `RemainAfterExit=yes`,
|
||||
`ExecStart=docker compose up -d --remove-orphans`,
|
||||
`ExecStop=docker compose down`.
|
||||
5. `daemon-reload` через handler + немедленный `meta: flush_handlers`
|
||||
(перечитать юнит надо ДО `systemctl start`, а не в конце play).
|
||||
6. Валидирует конфигурацию: `docker compose config --quiet`, `no_log: true`
|
||||
— при ошибке вывод подставляет значения из `.env`.
|
||||
7. Стартует сервис, перезапуская его только если изменился `compose.yml`,
|
||||
юнит или сработал внешний триггер (`compose_service_restart_triggers`).
|
||||
8. Ждёт health-endpoint через `uri` с `retries`/`until`.
|
||||
|
||||
## Переменные
|
||||
|
||||
Полный список — в `defaults/main.yml`. Обязательные: `compose_service_name`
|
||||
и ровно один из `compose_service_compose_content` /
|
||||
`compose_service_compose_template` (проверяется `assert` в начале роли).
|
||||
|
||||
| Переменная | По умолчанию | Назначение |
|
||||
|---|---|---|
|
||||
| `compose_service_name` | — | имя сервиса и systemd-юнита |
|
||||
| `compose_service_root` | `/opt/<name>` | корень стека |
|
||||
| `compose_service_compose_content` | `""` | inline `compose.yml` |
|
||||
| `compose_service_compose_template` | `""` | путь к Jinja-шаблону |
|
||||
| `compose_service_directories` | `[]` | каталоги данных |
|
||||
| `compose_service_env_static` | `{}` | пары для `.env` |
|
||||
| `compose_service_env_generated` | `[]` | имена случайных секретов |
|
||||
| `compose_service_after` / `_requires` | `[]` | доп. юниты в `After=`/`Requires=` |
|
||||
| `compose_service_restart_triggers` | `[]` | внешние причины рестарта |
|
||||
| `compose_service_health_url` | `""` | URL health-check (пусто — пропустить) |
|
||||
|
||||
## Пример использования — как выглядел бы Gitea на новых ролях
|
||||
|
||||
`playbooks/pve-gitea.yml` сейчас 231 строка. На ролях `pve_lxc` +
|
||||
`lxc_docker_host` + `compose_service` содержательная часть сводится
|
||||
примерно к такому (сам стек Gitea пока НЕ мигрирован — это следующий этап):
|
||||
|
||||
```yaml
|
||||
---
|
||||
- name: Create the Gitea LXC on cloud-pc
|
||||
hosts: localhost
|
||||
connection: local
|
||||
gather_facts: false
|
||||
vars:
|
||||
gitea: "{{ homelab_services.gitea }}"
|
||||
roles:
|
||||
- role: pve_lxc
|
||||
pve_lxc_vmid: "{{ gitea.vmid }}"
|
||||
pve_lxc_node: "{{ gitea.node }}"
|
||||
pve_lxc_hostname: "{{ gitea.hostname }}"
|
||||
pve_lxc_ip: "{{ gitea.ip }}/24"
|
||||
pve_lxc_disk: "{{ gitea.lxc.disk }}"
|
||||
pve_lxc_cores: "{{ gitea.lxc.cores }}"
|
||||
pve_lxc_memory: "{{ gitea.lxc.memory }}"
|
||||
pve_lxc_swap: "{{ gitea.lxc.swap }}"
|
||||
pve_lxc_startup: "{{ gitea.lxc.startup }}"
|
||||
pve_lxc_ostemplate: "{{ gitea.lxc.ostemplate }}"
|
||||
|
||||
- name: Configure the Gitea service
|
||||
hosts: gitea
|
||||
gather_facts: true
|
||||
vars:
|
||||
gitea: "{{ homelab_services.gitea }}"
|
||||
roles:
|
||||
- role: lxc_docker_host
|
||||
lxc_docker_host_extra_packages: [sqlite3, rsync]
|
||||
lxc_docker_host_ufw_service_rules:
|
||||
- port: "3000"
|
||||
sources: ["{{ homelab_lan_cidr }}", "{{ openvpn_network_cidr }}"]
|
||||
- port: "2222"
|
||||
sources: ["{{ homelab_lan_cidr }}", "{{ openvpn_network_cidr }}"]
|
||||
|
||||
- role: compose_service
|
||||
compose_service_name: gitea
|
||||
compose_service_root: /opt/gitea
|
||||
compose_service_description: Gitea Compose stack
|
||||
compose_service_directories:
|
||||
- {path: /opt/gitea/data, owner: "1000", group: "1000", mode: "0750"}
|
||||
compose_service_env_static:
|
||||
USER_UID: "1000"
|
||||
USER_GID: "1000"
|
||||
compose_service_compose_content: |
|
||||
services:
|
||||
gitea:
|
||||
image: {{ gitea.images[0] }}
|
||||
container_name: gitea
|
||||
environment:
|
||||
USER_UID: "${USER_UID}"
|
||||
USER_GID: "${USER_GID}"
|
||||
ports:
|
||||
- "3000:3000"
|
||||
- "2222:22"
|
||||
volumes:
|
||||
- /opt/gitea/data:/data
|
||||
restart: unless-stopped
|
||||
compose_service_health_url: http://127.0.0.1:3000/api/healthz
|
||||
compose_service_health_retries: 24
|
||||
compose_service_health_delay: 5
|
||||
```
|
||||
|
||||
Около 30 строк `vars` вместо 231 строки процедурного кода, и все факты
|
||||
(vmid, узел, адрес, ресурсы, digest образа) берутся из реестра
|
||||
`homelab_services`, а не дублируются в плейбуке.
|
||||
|
||||
### Что при такой миграции меняется на живом хосте
|
||||
|
||||
Это не чистый рефакторинг, поэтому мигрировать нужно осознанно:
|
||||
|
||||
* `docker run` в `ExecStart=` заменяется на compose-стек — контейнер
|
||||
пересоздаётся, юнит `gitea.service` меняет тип на `oneshot`.
|
||||
* появляется `/opt/gitea/.env`, которого раньше не было;
|
||||
* `--pull never` и явный `docker pull` по digest заменяются на `image:`
|
||||
в compose — политику закрепления образов надо перенести отдельно.
|
||||
|
||||
Поэтому перевод существующих сервисов вынесен в отдельный этап и делается
|
||||
по одному сервису, с бэкапом и `--check --diff` перед реальным прогоном.
|
||||
@@ -0,0 +1,70 @@
|
||||
---
|
||||
# ============================================================================
|
||||
# roles/compose_service — раскладка Docker Compose стека + systemd-юнита.
|
||||
# Обобщает то, что делает pve-grimmory.yml (compose.yml, .env с секретами,
|
||||
# oneshot-юнит, валидация, health-check).
|
||||
# ============================================================================
|
||||
|
||||
# --- Обязательное ----------------------------------------------------------
|
||||
# Имя сервиса. Оно же имя systemd-юнита (<name>.service) и имя каталога
|
||||
# по умолчанию. Роль падает с понятным сообщением, если не задано.
|
||||
compose_service_name: ""
|
||||
|
||||
# Содержимое compose.yml. Ровно один из двух способов:
|
||||
# compose_service_compose_content — готовая строка (можно собрать в vars);
|
||||
# compose_service_compose_template — путь к Jinja-шаблону в вызывающей роли
|
||||
# или в playbooks/templates.
|
||||
compose_service_compose_content: ""
|
||||
compose_service_compose_template: ""
|
||||
|
||||
# --- Раскладка на диске ----------------------------------------------------
|
||||
compose_service_root: "/opt/{{ compose_service_name }}"
|
||||
compose_service_root_mode: "0750"
|
||||
compose_service_owner: root
|
||||
compose_service_group: root
|
||||
compose_service_compose_file: compose.yml
|
||||
compose_service_compose_mode: "0644"
|
||||
|
||||
# Дополнительные каталоги данных. Формат:
|
||||
# - {path: /opt/grimmory/data, owner: "1000", group: "1000", mode: "0750"}
|
||||
compose_service_directories: []
|
||||
|
||||
# --- Файл окружения --------------------------------------------------------
|
||||
compose_service_env_path: "{{ compose_service_root }}/.env"
|
||||
compose_service_env_mode: "0600"
|
||||
|
||||
# Пары ключ-значение, записываемые в .env как есть.
|
||||
compose_service_env_static: {}
|
||||
# Имена переменных, значения которых генерируются `openssl rand -hex` ОДИН РАЗ.
|
||||
# Файл .env создаётся только если его ещё нет: повторный прогон не перетирает
|
||||
# уже используемые пароли. Чтобы поменять секрет — удалите .env вручную.
|
||||
compose_service_env_generated: []
|
||||
compose_service_env_secret_bytes: 32
|
||||
|
||||
# Необязательный .env.example для документирования формата (без секретов!).
|
||||
compose_service_env_example: ""
|
||||
compose_service_env_example_mode: "0644"
|
||||
|
||||
# --- systemd ---------------------------------------------------------------
|
||||
compose_service_description: "{{ compose_service_name }} Compose stack"
|
||||
# Дополнительные юниты в After= / Requires= (docker.service уже включён).
|
||||
compose_service_after: []
|
||||
compose_service_requires: []
|
||||
compose_service_unit_path: "/etc/systemd/system/{{ compose_service_name }}.service"
|
||||
compose_service_docker_binary: /usr/bin/docker
|
||||
compose_service_enabled: true
|
||||
# Дополнительные условия рестарта: список булевых значений от вызывающего
|
||||
# (например, результат pull образа).
|
||||
compose_service_restart_triggers: []
|
||||
|
||||
# --- Валидация и health-check ---------------------------------------------
|
||||
# `docker compose config --quiet` перед стартом. Выполняется с no_log,
|
||||
# потому что вывод при ошибке может содержать значения из .env.
|
||||
compose_service_validate: true
|
||||
|
||||
# URL health-check после старта. Пустая строка — проверка пропускается.
|
||||
compose_service_health_url: ""
|
||||
compose_service_health_status: [200]
|
||||
compose_service_health_retries: 24
|
||||
compose_service_health_delay: 5
|
||||
compose_service_health_follow_redirects: safe
|
||||
@@ -0,0 +1,7 @@
|
||||
---
|
||||
# Юнит должен быть перечитан ДО задачи enable/start, поэтому вызывающая роль
|
||||
# сразу после установки юнита делает `meta: flush_handlers`.
|
||||
- name: Reload systemd for compose services
|
||||
ansible.builtin.systemd:
|
||||
daemon_reload: true
|
||||
listen: compose_service_daemon_reload
|
||||
@@ -0,0 +1,4 @@
|
||||
---
|
||||
# Зависимостей у роли нет: подготовка хоста и раскладка стека независимы
|
||||
# и подключаются в нужном порядке из плейбука.
|
||||
dependencies: []
|
||||
@@ -0,0 +1,173 @@
|
||||
---
|
||||
- name: Validate compose_service parameters
|
||||
ansible.builtin.assert:
|
||||
that:
|
||||
- compose_service_name | length > 0
|
||||
- (compose_service_compose_content | length > 0)
|
||||
!= (compose_service_compose_template | length > 0)
|
||||
fail_msg: >-
|
||||
Задайте compose_service_name и ровно один из
|
||||
compose_service_compose_content / compose_service_compose_template.
|
||||
|
||||
- name: Ensure the service root directory exists
|
||||
ansible.builtin.file:
|
||||
path: "{{ compose_service_root }}"
|
||||
state: directory
|
||||
owner: "{{ compose_service_owner }}"
|
||||
group: "{{ compose_service_group }}"
|
||||
mode: "{{ compose_service_root_mode }}"
|
||||
|
||||
- name: Ensure the service data directories exist
|
||||
ansible.builtin.file:
|
||||
path: "{{ item.path }}"
|
||||
state: directory
|
||||
owner: "{{ item.owner | default(compose_service_owner) }}"
|
||||
group: "{{ item.group | default(compose_service_group) }}"
|
||||
mode: "{{ item.mode | default('0750') }}"
|
||||
loop: "{{ compose_service_directories }}"
|
||||
loop_control:
|
||||
label: "{{ item.path }}"
|
||||
|
||||
# --- Файл окружения --------------------------------------------------------
|
||||
# Создаётся один раз под umask 077. Секреты никогда не попадают в вывод:
|
||||
# задача целиком под no_log.
|
||||
- name: Generate the environment file once
|
||||
ansible.builtin.shell: |
|
||||
set -eu
|
||||
umask 077
|
||||
if [ -e {{ compose_service_env_path | quote }} ]; then
|
||||
exit 0
|
||||
fi
|
||||
: > {{ compose_service_env_path | quote }}
|
||||
{% for key, value in compose_service_env_static.items() %}
|
||||
printf '%s\n' {{ (key ~ '=' ~ value) | quote }} >> {{ compose_service_env_path | quote }}
|
||||
{% endfor %}
|
||||
{% for key in compose_service_env_generated %}
|
||||
printf '%s=%s\n' {{ key | quote }} "$(openssl rand -hex {{ compose_service_env_secret_bytes }})" >> {{ compose_service_env_path | quote }}
|
||||
{% endfor %}
|
||||
printf created
|
||||
args:
|
||||
executable: /bin/sh
|
||||
register: compose_service_env_result
|
||||
changed_when: compose_service_env_result.stdout == 'created'
|
||||
no_log: true
|
||||
when: >-
|
||||
compose_service_env_static | length > 0 or
|
||||
compose_service_env_generated | length > 0
|
||||
|
||||
- name: Enforce the environment file permissions
|
||||
ansible.builtin.file:
|
||||
path: "{{ compose_service_env_path }}"
|
||||
owner: "{{ compose_service_owner }}"
|
||||
group: "{{ compose_service_group }}"
|
||||
mode: "{{ compose_service_env_mode }}"
|
||||
when: >-
|
||||
compose_service_env_static | length > 0 or
|
||||
compose_service_env_generated | length > 0
|
||||
|
||||
- name: Install the environment example
|
||||
ansible.builtin.copy:
|
||||
dest: "{{ compose_service_env_path }}.example"
|
||||
owner: "{{ compose_service_owner }}"
|
||||
group: "{{ compose_service_group }}"
|
||||
mode: "{{ compose_service_env_example_mode }}"
|
||||
content: "{{ compose_service_env_example }}"
|
||||
when: compose_service_env_example | length > 0
|
||||
|
||||
# --- compose.yml -----------------------------------------------------------
|
||||
- name: Install the Compose configuration from inline content
|
||||
ansible.builtin.copy:
|
||||
dest: "{{ compose_service_root }}/{{ compose_service_compose_file }}"
|
||||
owner: "{{ compose_service_owner }}"
|
||||
group: "{{ compose_service_group }}"
|
||||
mode: "{{ compose_service_compose_mode }}"
|
||||
content: "{{ compose_service_compose_content }}"
|
||||
when: compose_service_compose_content | length > 0
|
||||
register: compose_service_compose_inline
|
||||
|
||||
- name: Install the Compose configuration from a template
|
||||
ansible.builtin.template:
|
||||
src: "{{ compose_service_compose_template }}"
|
||||
dest: "{{ compose_service_root }}/{{ compose_service_compose_file }}"
|
||||
owner: "{{ compose_service_owner }}"
|
||||
group: "{{ compose_service_group }}"
|
||||
mode: "{{ compose_service_compose_mode }}"
|
||||
when: compose_service_compose_template | length > 0
|
||||
register: compose_service_compose_templated
|
||||
|
||||
- name: Record whether the Compose configuration changed
|
||||
ansible.builtin.set_fact:
|
||||
compose_service_compose_changed: >-
|
||||
{{ (compose_service_compose_inline.changed | default(false)) or
|
||||
(compose_service_compose_templated.changed | default(false)) }}
|
||||
|
||||
# --- systemd ---------------------------------------------------------------
|
||||
- name: Install the systemd unit
|
||||
ansible.builtin.copy:
|
||||
dest: "{{ compose_service_unit_path }}"
|
||||
owner: root
|
||||
group: root
|
||||
mode: "0644"
|
||||
content: |
|
||||
[Unit]
|
||||
Description={{ compose_service_description }}
|
||||
Wants=network-online.target
|
||||
After=network-online.target docker.service{{ (' ' ~ compose_service_after | join(' ')) if compose_service_after else '' }}
|
||||
Requires=docker.service{{ (' ' ~ compose_service_requires | join(' ')) if compose_service_requires else '' }}
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
RemainAfterExit=yes
|
||||
WorkingDirectory={{ compose_service_root }}
|
||||
ExecStart={{ compose_service_docker_binary }} compose -f {{ compose_service_root }}/{{ compose_service_compose_file }} up -d --remove-orphans
|
||||
ExecStop={{ compose_service_docker_binary }} compose -f {{ compose_service_root }}/{{ compose_service_compose_file }} down
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
register: compose_service_unit
|
||||
notify: compose_service_daemon_reload
|
||||
|
||||
- name: Apply the pending systemd daemon reload
|
||||
ansible.builtin.meta: flush_handlers
|
||||
|
||||
# --- Валидация -------------------------------------------------------------
|
||||
# no_log: сообщение об ошибке `docker compose config` подставляет значения
|
||||
# переменных из .env.
|
||||
- name: Validate the Compose configuration
|
||||
ansible.builtin.command:
|
||||
argv:
|
||||
- "{{ compose_service_docker_binary }}"
|
||||
- compose
|
||||
- -f
|
||||
- "{{ compose_service_root }}/{{ compose_service_compose_file }}"
|
||||
- config
|
||||
- --quiet
|
||||
args:
|
||||
chdir: "{{ compose_service_root }}"
|
||||
changed_when: false
|
||||
no_log: true
|
||||
when: compose_service_validate
|
||||
|
||||
# --- Запуск ----------------------------------------------------------------
|
||||
- name: Enable and start the service
|
||||
ansible.builtin.systemd:
|
||||
name: "{{ compose_service_name }}"
|
||||
enabled: "{{ compose_service_enabled }}"
|
||||
state: "{{ 'restarted' if compose_service_needs_restart else 'started' }}"
|
||||
vars:
|
||||
compose_service_needs_restart: >-
|
||||
{{ (compose_service_compose_changed | bool) or
|
||||
(compose_service_unit.changed | default(false)) or
|
||||
(compose_service_restart_triggers | select | list | length > 0) }}
|
||||
|
||||
- name: Wait for the service health endpoint
|
||||
ansible.builtin.uri:
|
||||
url: "{{ compose_service_health_url }}"
|
||||
status_code: "{{ compose_service_health_status }}"
|
||||
follow_redirects: "{{ compose_service_health_follow_redirects }}"
|
||||
return_content: false
|
||||
register: compose_service_health
|
||||
retries: "{{ compose_service_health_retries }}"
|
||||
delay: "{{ compose_service_health_delay }}"
|
||||
until: compose_service_health.status in (compose_service_health_status | map('int') | list)
|
||||
when: compose_service_health_url | length > 0
|
||||
@@ -0,0 +1,83 @@
|
||||
# lxc_docker_host
|
||||
|
||||
Приводит непривилегированный Proxmox LXC в состояние «здесь можно запускать
|
||||
Docker»: пакеты, проверка `/dev/fuse`, `storage-driver: fuse-overlayfs`,
|
||||
запуск демона и базовый UFW.
|
||||
|
||||
Роль вынесена из повторяющихся блоков `playbooks/pve-*.yml`
|
||||
(gitea, vaultwarden, mihomo, adguard, memoir-bot, docker-test, grimmory,
|
||||
hermes-ai) — суммарно около 350 строк копипасты.
|
||||
|
||||
## Что делает
|
||||
|
||||
1. Ставит `ca-certificates`, `curl`, `docker.io`, `fuse-overlayfs`
|
||||
(+ `lxc_docker_host_extra_packages`, `ufw` при управлении фаерволом).
|
||||
2. `stat` + `assert` на `/dev/fuse`: без символьного устройства
|
||||
fuse-overlayfs не работает, и Docker молча деградирует до `vfs`.
|
||||
Сообщение об ошибке подсказывает, какие строки добавить в
|
||||
`/etc/pve/lxc/<vmid>.conf` на узле PVE.
|
||||
3. Пишет `/etc/docker/daemon.json` со `storage-driver: fuse-overlayfs`.
|
||||
4. `systemd: docker` — `enabled: true`, `restarted` при смене daemon.json,
|
||||
иначе `started`.
|
||||
5. UFW: SSH из `homelab_lan_cidr` и `openvpn_network_cidr`, node-exporter
|
||||
9100/tcp с хоста мониторинга (192.168.1.30), произвольные порты сервиса
|
||||
из `lxc_docker_host_ufw_service_rules`, затем `policy deny incoming`.
|
||||
Разрешающие правила ставятся ДО включения политики — иначе прогон
|
||||
обрывает собственную SSH-сессию.
|
||||
6. Проверяет `docker info --format '{{.Driver}}'` и падает при расхождении.
|
||||
|
||||
## Переменные
|
||||
|
||||
Полный список с комментариями — в `defaults/main.yml`. Ключевые:
|
||||
|
||||
| Переменная | По умолчанию | Назначение |
|
||||
|---|---|---|
|
||||
| `lxc_docker_host_extra_packages` | `[]` | доп. пакеты сервиса |
|
||||
| `lxc_docker_host_require_fuse` | `true` | проверять `/dev/fuse` |
|
||||
| `lxc_docker_host_storage_driver` | `fuse-overlayfs` | драйвер хранилища |
|
||||
| `lxc_docker_host_manage_ufw` | `true` | трогать ли UFW вообще |
|
||||
| `lxc_docker_host_ssh_sources` | LAN + OpenVPN | откуда разрешён SSH |
|
||||
| `lxc_docker_host_allow_node_exporter` | `true` | 9100 с хоста мониторинга |
|
||||
| `lxc_docker_host_ufw_service_rules` | `[]` | порты сервиса |
|
||||
| `lxc_docker_host_ufw_enable` | `true` | включать `deny incoming` |
|
||||
| `lxc_docker_host_verify_storage_driver` | `true` | финальная проверка |
|
||||
|
||||
## Пример: как выглядела бы подготовка хоста Grimmory
|
||||
|
||||
```yaml
|
||||
- name: Prepare the Grimmory Docker host
|
||||
hosts: grimmory
|
||||
gather_facts: true
|
||||
vars:
|
||||
ansible_become: false
|
||||
roles:
|
||||
- role: lxc_docker_host
|
||||
lxc_docker_host_extra_packages:
|
||||
- mariadb-client
|
||||
- openssl
|
||||
lxc_docker_host_install_node_exporter: true
|
||||
lxc_docker_host_ufw_service_rules:
|
||||
- port: "{{ homelab_services.grimmory.ports[0].port }}"
|
||||
proto: tcp
|
||||
comment: Grimmory HTTP
|
||||
sources:
|
||||
- "{{ homelab_lan_cidr }}"
|
||||
- "{{ openvpn_network_cidr }}"
|
||||
```
|
||||
|
||||
Эти 12 строк заменяют 86 строк из `playbooks/pve-grimmory.yml`.
|
||||
|
||||
## Чего роль НЕ делает
|
||||
|
||||
* Не создаёт LXC и не правит `/etc/pve/lxc/<vmid>.conf` — это роль `pve_lxc`
|
||||
и соответствующий `pve-*.yml`. Роль только проверяет результат.
|
||||
* Не публикует порты Docker в обход UFW. Помните: `-p` в Docker обходит UFW,
|
||||
поэтому для публикуемых портов нужны правила в цепочке `DOCKER-USER`
|
||||
(см. `grimmory-docker-firewall` в `playbooks/pve-grimmory.yml`).
|
||||
* Не ставит node-exporter по умолчанию — этим занимается `monitoring_exporter`.
|
||||
|
||||
## Handlers
|
||||
|
||||
Их нет намеренно. Docker перезапускается прямо в задаче через
|
||||
`state: restarted if changed else started`: handler отработал бы в конце
|
||||
play, уже после того как compose-стек стартовал на старом драйвере хранилища.
|
||||
@@ -0,0 +1,82 @@
|
||||
---
|
||||
# ============================================================================
|
||||
# roles/lxc_docker_host — подготовка непривилегированного LXC под Docker.
|
||||
# Все переменные документированы; значения по умолчанию соответствуют тому,
|
||||
# что фактически делают playbooks/pve-*.yml.
|
||||
# ============================================================================
|
||||
|
||||
# --- Пакеты ----------------------------------------------------------------
|
||||
# Базовый набор, общий для всех Docker-хостов HomeLab.
|
||||
lxc_docker_host_packages:
|
||||
- ca-certificates
|
||||
- curl
|
||||
- docker.io
|
||||
- fuse-overlayfs
|
||||
|
||||
# Дополнительные пакеты конкретного сервиса.
|
||||
# Примеры из существующих плейбуков:
|
||||
# gitea: [sqlite3, rsync]
|
||||
# adguard: [dnsutils]
|
||||
# mihomo: [git]
|
||||
# memoir-bot: [git, openssh-client, rsync]
|
||||
# grimmory: [mariadb-client, openssl]
|
||||
lxc_docker_host_extra_packages: []
|
||||
|
||||
# Ставить пакет docker-compose (в pve-grimmory.yml и pve-hermes-ai.yml он есть).
|
||||
# Юниты используют плагин `docker compose` из docker.io, поэтому по умолчанию
|
||||
# отдельный пакет не нужен.
|
||||
lxc_docker_host_install_compose_package: false
|
||||
|
||||
# Ставить prometheus-node-exporter локально (так делает pve-grimmory.yml).
|
||||
# Обычно экспортёром управляет роль monitoring_exporter.
|
||||
lxc_docker_host_install_node_exporter: false
|
||||
|
||||
# Обновлять кеш apt перед установкой.
|
||||
lxc_docker_host_update_cache: true
|
||||
|
||||
# --- FUSE ------------------------------------------------------------------
|
||||
# Проверять наличие символьного устройства /dev/fuse и падать, если его нет.
|
||||
# Без него fuse-overlayfs не заработает, а Docker молча деградирует.
|
||||
lxc_docker_host_require_fuse: true
|
||||
lxc_docker_host_fuse_device: /dev/fuse
|
||||
|
||||
# --- Docker daemon ---------------------------------------------------------
|
||||
lxc_docker_host_storage_driver: fuse-overlayfs
|
||||
# Итоговое содержимое /etc/docker/daemon.json. Расширяемо: можно передать
|
||||
# дополнительные ключи, storage-driver подставляется отсюда.
|
||||
lxc_docker_host_daemon_config:
|
||||
storage-driver: "{{ lxc_docker_host_storage_driver }}"
|
||||
lxc_docker_host_daemon_config_path: /etc/docker/daemon.json
|
||||
# Проверить `docker info --format {{.Driver}}` в конце и упасть при расхождении.
|
||||
lxc_docker_host_verify_storage_driver: true
|
||||
|
||||
# --- UFW -------------------------------------------------------------------
|
||||
# Управлять ли фаерволом вообще. false — роль не трогает ufw.
|
||||
lxc_docker_host_manage_ufw: true
|
||||
# Ставить пакет ufw, если управление включено.
|
||||
lxc_docker_host_install_ufw: true
|
||||
|
||||
# Источники, которым разрешён SSH.
|
||||
lxc_docker_host_ssh_port: 22
|
||||
lxc_docker_host_ssh_sources:
|
||||
- "{{ homelab_lan_cidr }}"
|
||||
- "{{ openvpn_network_cidr }}"
|
||||
|
||||
# Node exporter: скрейп разрешён только с хоста мониторинга.
|
||||
lxc_docker_host_allow_node_exporter: true
|
||||
lxc_docker_host_node_exporter_port: 9100
|
||||
lxc_docker_host_monitoring_host: "{{ homelab_monitoring_host_ip | default('192.168.1.30') }}"
|
||||
|
||||
# Дополнительные порты сервиса. Формат:
|
||||
# - port: "6060"
|
||||
# proto: tcp # необязательно, по умолчанию tcp
|
||||
# comment: "Grimmory" # необязательно
|
||||
# sources:
|
||||
# - "{{ homelab_lan_cidr }}"
|
||||
# - "{{ openvpn_network_cidr }}"
|
||||
lxc_docker_host_ufw_service_rules: []
|
||||
|
||||
# Включить ufw с политикой deny incoming. Правила выше применяются ДО включения,
|
||||
# чтобы не потерять SSH.
|
||||
lxc_docker_host_ufw_enable: true
|
||||
lxc_docker_host_ufw_policy: deny
|
||||
@@ -0,0 +1,4 @@
|
||||
---
|
||||
# Зависимостей у роли нет: подготовка хоста и раскладка стека независимы
|
||||
# и подключаются в нужном порядке из плейбука.
|
||||
dependencies: []
|
||||
@@ -0,0 +1,113 @@
|
||||
---
|
||||
- name: Install Docker runtime packages
|
||||
ansible.builtin.apt:
|
||||
name: "{{ lxc_docker_host_all_packages }}"
|
||||
state: present
|
||||
update_cache: "{{ lxc_docker_host_update_cache }}"
|
||||
vars:
|
||||
lxc_docker_host_all_packages: >-
|
||||
{{ (lxc_docker_host_packages
|
||||
+ lxc_docker_host_extra_packages
|
||||
+ (['docker-compose'] if lxc_docker_host_install_compose_package else [])
|
||||
+ (['prometheus-node-exporter'] if lxc_docker_host_install_node_exporter else [])
|
||||
+ (['ufw'] if (lxc_docker_host_manage_ufw and lxc_docker_host_install_ufw) else []))
|
||||
| unique | sort }}
|
||||
|
||||
- name: Check the FUSE device
|
||||
ansible.builtin.stat:
|
||||
path: "{{ lxc_docker_host_fuse_device }}"
|
||||
register: lxc_docker_host_fuse
|
||||
when: lxc_docker_host_require_fuse
|
||||
|
||||
- name: Require the FUSE device
|
||||
ansible.builtin.assert:
|
||||
that:
|
||||
- lxc_docker_host_fuse.stat.exists
|
||||
- lxc_docker_host_fuse.stat.ischr
|
||||
fail_msg: >-
|
||||
{{ lxc_docker_host_fuse_device }} отсутствует или не является символьным
|
||||
устройством. Добавьте в /etc/pve/lxc/<vmid>.conf на узле PVE:
|
||||
"lxc.cgroup2.devices.allow: c 10:229 rwm" и
|
||||
"lxc.mount.entry: /dev/fuse dev/fuse none bind,create=file",
|
||||
затем перезапустите контейнер.
|
||||
when: lxc_docker_host_require_fuse
|
||||
|
||||
- name: Ensure the Docker config directory exists
|
||||
ansible.builtin.file:
|
||||
path: "{{ lxc_docker_host_daemon_config_path | dirname }}"
|
||||
state: directory
|
||||
owner: root
|
||||
group: root
|
||||
mode: "0755"
|
||||
|
||||
- name: Configure the Docker storage driver for the unprivileged LXC
|
||||
ansible.builtin.copy:
|
||||
dest: "{{ lxc_docker_host_daemon_config_path }}"
|
||||
owner: root
|
||||
group: root
|
||||
mode: "0644"
|
||||
content: "{{ lxc_docker_host_daemon_config | to_nice_json(indent=2) }}\n"
|
||||
register: lxc_docker_host_daemon_config_result
|
||||
|
||||
- name: Ensure the Docker service is enabled and running
|
||||
ansible.builtin.systemd:
|
||||
name: docker
|
||||
enabled: true
|
||||
state: "{{ 'restarted' if lxc_docker_host_daemon_config_result.changed else 'started' }}"
|
||||
|
||||
# --- UFW -------------------------------------------------------------------
|
||||
# Порядок важен: сначала разрешающие правила, только потом включение политики
|
||||
# deny incoming — иначе SSH обрывается прямо во время прогона.
|
||||
|
||||
- name: Allow SSH from the trusted networks
|
||||
community.general.ufw:
|
||||
rule: allow
|
||||
port: "{{ lxc_docker_host_ssh_port | string }}"
|
||||
proto: tcp
|
||||
src: "{{ item }}"
|
||||
loop: "{{ lxc_docker_host_ssh_sources }}"
|
||||
when: lxc_docker_host_manage_ufw
|
||||
|
||||
- name: Allow the declared service ports
|
||||
community.general.ufw:
|
||||
rule: allow
|
||||
port: "{{ item.0.port | string }}"
|
||||
proto: "{{ item.0.proto | default('tcp') }}"
|
||||
src: "{{ item.1 }}"
|
||||
comment: "{{ item.0.comment | default(omit) }}"
|
||||
loop: "{{ lxc_docker_host_ufw_service_rules | subelements('sources') }}"
|
||||
loop_control:
|
||||
label: "{{ item.0.port }}/{{ item.0.proto | default('tcp') }} from {{ item.1 }}"
|
||||
when: lxc_docker_host_manage_ufw
|
||||
|
||||
- name: Allow Node Exporter from the monitoring host
|
||||
community.general.ufw:
|
||||
rule: allow
|
||||
port: "{{ lxc_docker_host_node_exporter_port | string }}"
|
||||
proto: tcp
|
||||
src: "{{ lxc_docker_host_monitoring_host }}"
|
||||
when:
|
||||
- lxc_docker_host_manage_ufw
|
||||
- lxc_docker_host_allow_node_exporter
|
||||
|
||||
- name: Enable the restrictive firewall
|
||||
community.general.ufw:
|
||||
state: enabled
|
||||
policy: "{{ lxc_docker_host_ufw_policy }}"
|
||||
direction: incoming
|
||||
when:
|
||||
- lxc_docker_host_manage_ufw
|
||||
- lxc_docker_host_ufw_enable
|
||||
|
||||
# --- Verification ----------------------------------------------------------
|
||||
- name: Verify the effective Docker storage driver
|
||||
ansible.builtin.command:
|
||||
argv:
|
||||
- docker
|
||||
- info
|
||||
- --format
|
||||
- "{% raw %}{{.Driver}}{% endraw %}"
|
||||
register: lxc_docker_host_driver
|
||||
changed_when: false
|
||||
failed_when: lxc_docker_host_driver.stdout != lxc_docker_host_storage_driver
|
||||
when: lxc_docker_host_verify_storage_driver
|
||||
Reference in New Issue
Block a user