fix(ops): мониторинг под реальную топологию + проверка воркеров
Монитор лежал только на сервере, не версионировался и месяц проверял конфигурацию, которой уже нет: Ollama на CT 108 (.20.163), остановленном 27.08 при переходе на OpenRouter. Итог — вечный ложный DOWN, на фоне которого теряются настоящие аварии, и полная слепота к реальному серверу эмбеддингов (.1.40) и к воркерам. - скрипт переехал в репозиторий и теперь деплоится вместе с кодом; - адреса читаются из прод-.env, а не зашиты: сервер эмбеддингов переезжал дважды, и каждый раз монитор оставался со старым адресом; - добавлена проверка воркеров Celery — 05.09 брокер лежал час, воркеры молчали, а монитор рапортовал, что всё хорошо, потому что смотрел только TCP-порт; - разбор URL чинит падение на кредах в REDIS_URL/RABBITMQ_URL. Проверено на проде: все восемь проверок отдают OK, включая Embeddings и CeleryWorkers. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -223,8 +223,13 @@ Identity (Universal Auth) и генерирует `.env` заново (`infisica
|
||||
|
||||
## 12. Наблюдаемость и эксплуатация
|
||||
|
||||
- **Мониторинг**: `antiplag_monitor.py` (cron 5 мин, 7 сервисов, email-алерт при смене
|
||||
статуса). Опционально — Prometheus+Grafana (профиль `observability`, метрики API + Flower).
|
||||
- **Мониторинг**: [`scripts/ops/antiplag_monitor.py`](../scripts/ops/antiplag_monitor.py)
|
||||
(cron 5 мин на 1.32, email при смене статуса). Адреса берутся из прод-`.env`, а не
|
||||
зашиты в код: прежняя версия месяц проверяла остановленный CT 108 и не видела
|
||||
реального сервера эмбеддингов — постоянный ложный DOWN заглушал настоящие аварии.
|
||||
Проверяются в том числе **воркеры Celery**: живой брокер ещё не значит работающую
|
||||
систему (05.09 воркеры час простаивали при «зелёном» брокере).
|
||||
Опционально — Prometheus+Grafana (профиль `observability`, метрики API + Flower).
|
||||
- **Бэкапы**: `pg_dump→gzip→MinIO`, cron 03:00, ротация 14. Проверка восстановления —
|
||||
`scripts/ops/pg_restore_verify.sh`. HA/DR — [DR-HA.md](DR-HA.md).
|
||||
- **Шкала загрузки источников** (админка → «Источники»): каждый запуск создаёт строку
|
||||
|
||||
Reference in New Issue
Block a user