feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
10
README.md
10
README.md
@@ -232,9 +232,9 @@ docker compose -f docker-compose.prod.yml --profile observability up -d promethe
|
||||
|
||||
1. **Линт** — `ruff` (весь Python) + `mypy` (чистая доменная логика).
|
||||
Конфиги: [`ruff.toml`](ruff.toml), [`mypy.ini`](mypy.ini).
|
||||
2. **Юнит-тесты** — `pytest` по сервисам: 113 тестов на ядро детекции, скоринга,
|
||||
парсеров, форматирования и OAuth, без внешней инфры (БД/Redis/GPU/Ollama
|
||||
замоканы либо не нужны).
|
||||
2. **Юнит-тесты** — `pytest` по сервисам: 130 тестов на ядро детекции, скоринга,
|
||||
парсеров, форматирования, OAuth и прогресса заливки, без внешней инфры
|
||||
(БД/Redis/GPU/Ollama замоканы либо не нужны).
|
||||
|
||||
```bash
|
||||
make lint # ruff + mypy в изолированном контейнере
|
||||
@@ -262,8 +262,10 @@ make test-one SVC=worker-gost # тесты одного сервиса
|
||||
| Итоговый % плагиата + цитаты | `worker-gpu/app/scoring.py` | 18 |
|
||||
| ГОСТ 7.1 / 7.0.5 | `worker-gost/app/formatters/` | 17 |
|
||||
| Список литературы | `worker-gost/app/bibliography.py` | 7 |
|
||||
| Парсеры источников (CyberLeninka, PMC) | `scripts/parsers/` | 14 |
|
||||
| Парсеры источников (CyberLeninka, PMC, прогресс-колбэк) | `scripts/parsers/` | 17 |
|
||||
| OAuth-ссылки (Google/Яндекс) | `api/app/core/oauth.py` | 6 |
|
||||
| Прогресс заливки (счётчики, бюджет) | `worker-indexer/app/progress.py` | 7 |
|
||||
| Шкала загрузки источников | `api/app/core/progress.py` | 7 |
|
||||
|
||||
## Лицензия
|
||||
|
||||
|
||||
Reference in New Issue
Block a user