Files
anti-plagiarism/services/api/app/schemas/admin.py
jze9 78e27806b9
All checks were successful
Deploy / test (push) Successful in 3m56s
Deploy / deploy (push) Successful in 31s
feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status
(idle/running/done/error), без «сколько из скольки», без причины падения и без
способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs,
куда воркер раз в ~2с пишет стадию, счётчики и журнал событий.

Админка:
- шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация),
  раскрытая строка — журнал прогона по шагам с таймингами;
- «Запустить всё» / «Остановить всё» и остановка по одному источнику
  (кооперативная отмена: воркер останавливается сам, не рвя запись в базу);
- пакетное добавление источников (тип + список тем), тип pmc в форме;
- загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload);
- страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ,
  покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов.

Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё
массовый запуск 170+ источников гарантированно ронял воркер:
- PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial;
- worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с
  дефолтным префетчем очередь долгих run_parser убивала канал на задачах,
  которые ещё не начинались.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-27 17:40:23 +05:00

192 lines
6.3 KiB
Python

"""Pydantic-схемы для админ-панели."""
from datetime import datetime
from typing import Any
from pydantic import BaseModel, Field, computed_field
from app.core.progress import run_percent
# ─── Сессия доступа ───────────────────────────────────────────────────────────
class AdminSessionResponse(BaseModel):
code: str
url: str
expires_at: datetime
# ─── Клиенты ──────────────────────────────────────────────────────────────────
class AdminUserResponse(BaseModel):
id: int
email: str
name: str
plan: str
is_verified: bool
is_admin: bool
created_at: datetime
tasks_count: int = 0
model_config = {"from_attributes": True}
class AdminUserUpdate(BaseModel):
plan: str | None = None
is_verified: bool | None = None
is_admin: bool | None = None
# ─── Работы ─────────────────────────────────────────────────────────────────
class AdminTaskResponse(BaseModel):
public_id: str
user_id: int
type: str
status: str
error: str | None = None
created_at: datetime
model_config = {"from_attributes": True}
# ─── Документы базы ───────────────────────────────────────────────────────────
class AdminDocumentResponse(BaseModel):
id: int
source: str
ext_id: str
title: str
authors: list = Field(default_factory=list)
year: int | None = None
lang: str | None = None
doi: str | None = None
url: str | None = None
indexed_at: datetime
model_config = {"from_attributes": True}
# ─── Прогоны парсинга ─────────────────────────────────────────────────────────
class ParseRunResponse(BaseModel):
"""Состояние прогона для шкалы загрузки (без журнала — он в ParseRunDetail)."""
id: int
source_id: int
status: str
stage: str
target: int
fetched: int
processed: int
added: int
duplicates: int
skipped: int
failed: int
cancel_requested: bool = False
error: str | None = None
started_at: datetime
heartbeat_at: datetime | None = None
finished_at: datetime | None = None
model_config = {"from_attributes": True}
@computed_field # type: ignore[prop-decorator]
@property
def percent(self) -> float:
return run_percent(self.status, self.stage, self.target, self.fetched, self.processed)
class ParseRunDetail(ParseRunResponse):
log: list[dict[str, Any]] = Field(default_factory=list)
# ─── Источники парсинга ───────────────────────────────────────────────────────
class ParseSourceCreate(BaseModel):
source_type: str = Field(description="openalex / cyberleninka / arxiv / pmc")
name: str = Field(min_length=1, max_length=255)
query: str | None = None
lang: str | None = None
year_from: int | None = None
year_to: int | None = None
limit: int = Field(default=1000, ge=1, le=100000)
enabled: bool = True
class ParseSourceUpdate(BaseModel):
name: str | None = None
query: str | None = None
lang: str | None = None
year_from: int | None = None
year_to: int | None = None
limit: int | None = Field(default=None, ge=1, le=100000)
enabled: bool | None = None
class ParseSourceResponse(BaseModel):
id: int
source_type: str
name: str
query: str | None = None
lang: str | None = None
year_from: int | None = None
year_to: int | None = None
limit: int
enabled: bool
last_status: str
last_error: str | None = None
last_run_at: datetime | None = None
docs_added: int
created_at: datetime
# Последний (или текущий) прогон — источник данных для шкалы в списке
last_run: ParseRunResponse | None = None
model_config = {"from_attributes": True}
class ParseSourceBulkCreate(BaseModel):
"""Пакетное добавление: один тип/лимит, много запросов (по строке на тему)."""
source_type: str = Field(description="openalex / cyberleninka / arxiv / pmc")
queries: list[str] = Field(min_length=1, max_length=500)
name_prefix: str = ""
lang: str | None = None
year_from: int | None = None
year_to: int | None = None
limit: int = Field(default=1000, ge=1, le=100000)
run_now: bool = False
# ─── Отстойник ────────────────────────────────────────────────────────────────
class StagedWorkResponse(BaseModel):
id: int
user_id: int | None = None
task_id: str | None = None
filename: str | None = None
title: str | None = None
authors: list = Field(default_factory=list)
year: int | None = None
lang: str | None = None
word_count: int | None = None
status: str
document_id: int | None = None
created_at: datetime
model_config = {"from_attributes": True}
class StagedWorkDetail(StagedWorkResponse):
text_preview: str | None = None
# ─── Дашборд ──────────────────────────────────────────────────────────────────
class ServiceHealth(BaseModel):
name: str
ok: bool
detail: str | None = None
class AdminStats(BaseModel):
users_total: int
tasks_by_status: dict[str, int]
documents_total: int
documents_by_source: dict[str, int]
staging_pending: int
storage: dict[str, Any]
queues: dict[str, Any]