78e27806b9
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
27 lines
1.6 KiB
Python
27 lines
1.6 KiB
Python
"""Пересчёт состояния прогона парсинга в шкалу загрузки — чистая логика.
|
||
|
||
Стадии прогона несопоставимы по единицам (получено из API источника vs.
|
||
записано в базу), а шкала в админке нужна одна. Формула живёт здесь одна на
|
||
всех, чтобы не разъезжаться между списком источников, карточкой прогона и
|
||
панелью отладки.
|
||
"""
|
||
|
||
# Прогоны, после которых двигаться уже некуда
|
||
TERMINAL_STATUSES = frozenset({"done", "partial", "error", "cancelled"})
|
||
|
||
|
||
def run_percent(status: str, stage: str, target: int, fetched: int, processed: int) -> float:
|
||
"""Процент готовности: 0→50% — выборка из источника, 50→100% — индексация.
|
||
|
||
Завершённый прогон — всегда 100%, каким бы ни был исход: шкала показывает
|
||
«работа окончена», а исход — статус рядом с ней. Пока цель неизвестна
|
||
(target=0), выборка не даёт прогресса — рисуем 0.
|
||
"""
|
||
if status in TERMINAL_STATUSES:
|
||
return 100.0
|
||
fetch_part = min(fetched / target, 1.0) * 50 if target > 0 else 0.0
|
||
if stage != "index":
|
||
return round(fetch_part, 1)
|
||
index_part = min(processed / fetched, 1.0) * 50 if fetched > 0 else 0.0
|
||
return round(fetch_part + index_part, 1)
|