feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -15,7 +15,7 @@ from collections.abc import Generator
|
||||
from typing import Any
|
||||
|
||||
import httpx
|
||||
from base import BaseParser
|
||||
from base import BaseParser, ProgressCallback
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
@@ -45,6 +45,7 @@ class OpenAlexParser(BaseParser):
|
||||
year_to: int | None = None,
|
||||
type_filter: str = "article",
|
||||
open_access_only: bool = False,
|
||||
progress_cb: ProgressCallback | None = None,
|
||||
) -> list[dict[str, Any]]:
|
||||
"""
|
||||
Получить документы из OpenAlex.
|
||||
@@ -58,6 +59,7 @@ class OpenAlexParser(BaseParser):
|
||||
type_filter: Тип документа (journal-article, book, и т.д.)
|
||||
open_access_only: только open-access работы (is_oa:true) — резко
|
||||
повышает долю статей с доступным PDF (для наполнения корпуса)
|
||||
progress_cb: см. base.ProgressCallback
|
||||
|
||||
Returns:
|
||||
Список сырых словарей из OpenAlex API
|
||||
@@ -74,6 +76,9 @@ class OpenAlexParser(BaseParser):
|
||||
open_access_only=open_access_only,
|
||||
):
|
||||
results.extend(page)
|
||||
if progress_cb and not progress_cb(min(len(results), limit)):
|
||||
logger.info("OpenAlex: выборка остановлена по запросу (получено %d)", len(results))
|
||||
break
|
||||
if len(results) >= limit:
|
||||
break
|
||||
|
||||
|
||||
Reference in New Issue
Block a user