feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
All checks were successful
Deploy / test (push) Successful in 3m56s
Deploy / deploy (push) Successful in 31s

Заливка корпуса была чёрным ящиком: у источника только last_status
(idle/running/done/error), без «сколько из скольки», без причины падения и без
способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs,
куда воркер раз в ~2с пишет стадию, счётчики и журнал событий.

Админка:
- шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация),
  раскрытая строка — журнал прогона по шагам с таймингами;
- «Запустить всё» / «Остановить всё» и остановка по одному источнику
  (кооперативная отмена: воркер останавливается сам, не рвя запись в базу);
- пакетное добавление источников (тип + список тем), тип pmc в форме;
- загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload);
- страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ,
  покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов.

Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё
массовый запуск 170+ источников гарантированно ронял воркер:
- PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial;
- worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с
  дефолтным префетчем очередь долгих run_parser убивала канал на задачах,
  которые ещё не начинались.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
jze9
2026-08-27 17:40:23 +05:00
parent 95d2903766
commit 78e27806b9
29 changed files with 2118 additions and 168 deletions

View File

@@ -0,0 +1,26 @@
"""Пересчёт состояния прогона парсинга в шкалу загрузки — чистая логика.
Стадии прогона несопоставимы по единицам (получено из API источника vs.
записано в базу), а шкала в админке нужна одна. Формула живёт здесь одна на
всех, чтобы не разъезжаться между списком источников, карточкой прогона и
панелью отладки.
"""
# Прогоны, после которых двигаться уже некуда
TERMINAL_STATUSES = frozenset({"done", "partial", "error", "cancelled"})
def run_percent(status: str, stage: str, target: int, fetched: int, processed: int) -> float:
"""Процент готовности: 0→50% — выборка из источника, 50→100% — индексация.
Завершённый прогон — всегда 100%, каким бы ни был исход: шкала показывает
«работа окончена», а исход — статус рядом с ней. Пока цель неизвестна
(target=0), выборка не даёт прогресса — рисуем 0.
"""
if status in TERMINAL_STATUSES:
return 100.0
fetch_part = min(fetched / target, 1.0) * 50 if target > 0 else 0.0
if stage != "index":
return round(fetch_part, 1)
index_part = min(processed / fetched, 1.0) * 50 if fetched > 0 else 0.0
return round(fetch_part + index_part, 1)