feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
26
services/api/app/core/progress.py
Normal file
26
services/api/app/core/progress.py
Normal file
@@ -0,0 +1,26 @@
|
||||
"""Пересчёт состояния прогона парсинга в шкалу загрузки — чистая логика.
|
||||
|
||||
Стадии прогона несопоставимы по единицам (получено из API источника vs.
|
||||
записано в базу), а шкала в админке нужна одна. Формула живёт здесь одна на
|
||||
всех, чтобы не разъезжаться между списком источников, карточкой прогона и
|
||||
панелью отладки.
|
||||
"""
|
||||
|
||||
# Прогоны, после которых двигаться уже некуда
|
||||
TERMINAL_STATUSES = frozenset({"done", "partial", "error", "cancelled"})
|
||||
|
||||
|
||||
def run_percent(status: str, stage: str, target: int, fetched: int, processed: int) -> float:
|
||||
"""Процент готовности: 0→50% — выборка из источника, 50→100% — индексация.
|
||||
|
||||
Завершённый прогон — всегда 100%, каким бы ни был исход: шкала показывает
|
||||
«работа окончена», а исход — статус рядом с ней. Пока цель неизвестна
|
||||
(target=0), выборка не даёт прогресса — рисуем 0.
|
||||
"""
|
||||
if status in TERMINAL_STATUSES:
|
||||
return 100.0
|
||||
fetch_part = min(fetched / target, 1.0) * 50 if target > 0 else 0.0
|
||||
if stage != "index":
|
||||
return round(fetch_part, 1)
|
||||
index_part = min(processed / fetched, 1.0) * 50 if fetched > 0 else 0.0
|
||||
return round(fetch_part + index_part, 1)
|
||||
Reference in New Issue
Block a user