feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -1,8 +1,8 @@
|
||||
"""Модели для админ-панели: источники парсинга, отстойник работ, сессии админа."""
|
||||
"""Модели для админ-панели: источники парсинга, прогоны, отстойник, сессии админа."""
|
||||
|
||||
from datetime import datetime
|
||||
|
||||
from sqlalchemy import JSON, ForeignKey, String, func
|
||||
from sqlalchemy import JSON, Boolean, ForeignKey, String, Text, func
|
||||
from sqlalchemy.orm import Mapped, mapped_column
|
||||
|
||||
from app.database import Base
|
||||
@@ -33,12 +33,57 @@ class ParseSource(Base):
|
||||
last_error: Mapped[str | None] = mapped_column(nullable=True)
|
||||
last_run_at: Mapped[datetime | None] = mapped_column(nullable=True)
|
||||
docs_added: Mapped[int] = mapped_column(default=0)
|
||||
# Последний (пока идёт — текущий) прогон, см. ParseRun
|
||||
last_run_id: Mapped[int | None] = mapped_column(nullable=True)
|
||||
created_at: Mapped[datetime] = mapped_column(server_default=func.now())
|
||||
|
||||
def __repr__(self) -> str:
|
||||
return f"<ParseSource id={self.id} type={self.source_type!r} name={self.name!r}>"
|
||||
|
||||
|
||||
class ParseRun(Base):
|
||||
"""Один прогон парсинга источника: счётчики прогресса + журнал событий.
|
||||
|
||||
Пишется воркером (index.run_parser) на каждом тике прогресса, читается
|
||||
админкой для шкалы загрузки и отладки — по нему видно не только «упало»,
|
||||
но и где именно: на какой стадии, сколько получено/проиндексировано,
|
||||
сколько дублей и ошибок отдельных документов.
|
||||
"""
|
||||
|
||||
__tablename__ = "parse_runs"
|
||||
|
||||
id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
|
||||
source_id: Mapped[int] = mapped_column(
|
||||
ForeignKey("parse_sources.id", ondelete="CASCADE"), nullable=False, index=True
|
||||
)
|
||||
celery_task_id: Mapped[str | None] = mapped_column(String(64), nullable=True)
|
||||
# queued / running / done / partial / error / cancelled
|
||||
status: Mapped[str] = mapped_column(String(20), default="queued", index=True)
|
||||
# queued / fetch / index / finished
|
||||
stage: Mapped[str] = mapped_column(String(20), default="queued")
|
||||
# Цель прогона (limit источника) и фактические счётчики
|
||||
target: Mapped[int] = mapped_column(default=0)
|
||||
fetched: Mapped[int] = mapped_column(default=0)
|
||||
processed: Mapped[int] = mapped_column(default=0)
|
||||
added: Mapped[int] = mapped_column(default=0)
|
||||
duplicates: Mapped[int] = mapped_column(default=0)
|
||||
# Мусор от источника (без title/ext_id) — не то же самое, что ошибка
|
||||
skipped: Mapped[int] = mapped_column(default=0)
|
||||
failed: Mapped[int] = mapped_column(default=0)
|
||||
# Кооперативная отмена: воркер сам проверяет флаг между документами
|
||||
cancel_requested: Mapped[bool] = mapped_column(Boolean, default=False)
|
||||
error: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
# [{"ts": ISO8601, "level": "info|warning|error", "msg": str}]
|
||||
log: Mapped[list | None] = mapped_column(JSON, default=list)
|
||||
started_at: Mapped[datetime] = mapped_column(server_default=func.now(), index=True)
|
||||
# Последний признак жизни: по нему видно зависший прогон (running, но тишина)
|
||||
heartbeat_at: Mapped[datetime | None] = mapped_column(nullable=True)
|
||||
finished_at: Mapped[datetime | None] = mapped_column(nullable=True)
|
||||
|
||||
def __repr__(self) -> str:
|
||||
return f"<ParseRun id={self.id} source={self.source_id} status={self.status!r}>"
|
||||
|
||||
|
||||
class StagedWork(Base):
|
||||
"""Отстойник: проверенная пользовательская работа, ожидающая решения админа.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user