feat: админ-панель, лицензия, тестовый стек на распределённой инфраструктуре

Админ-панель (доступ: is_admin + секретный код сессии в /admin/<code>): - разделы: дашборд (здоровье сервисов, статистика), клиенты, работы, база документов, хранилище MinIO, источники парсинга, отстойник работ - backend: модели ParseSource/StagedWork/AdminSession, миграция 003, core/admin (авторизация), роутер api/admin - frontend: AdminLayout + 7 вкладок, adminApi, вход из кабинета - Celery index.run_parser (фоновый парсинг), автосбор проверенных работ в отстойник с ручным одобрением → индексация в базу Исправления: - openalex parser: тип article (не journal-article), убран is_oa-фильтр - winnowing: приведение xxh64 к signed int64 (фикс bigint out of range) - bcrypt пин 4.0.1 (совместимость с passlib 1.7.4) - alembic: prepend_sys_path + asyncpg-драйвер - frontend: контракт Task (public_id вместо id), react-dropzone Инфраструктура: - docker-compose.test.yml: api+frontend+воркеры локально, БД/кэш/хранилище/ брокер/LLM — на удалённых серверах через .env - .gitignore: исправлено ошибочное игнорирование кода services/*/app/models/ - LICENSE: проприетарная Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-05-30 20:45:53 +05:00
parent 9ee5ccdc3f
commit 9894fa9320
50 changed files with 5680 additions and 58 deletions
--- a/services/api/app/models/init.py
+++ b/services/api/app/models/init.py
@@ -0,0 +1,19 @@
+"""Экспорт всех моделей для Alembic автоопределения."""
+
+from app.models.admin import AdminSession, ParseSource, StagedWork
+from app.models.document import Document, Fingerprint, UsageLog
+from app.models.task import Task, TaskStatus, TaskType
+from app.models.user import User
+
+__all__ = [
+    "User",
+    "Task",
+    "TaskType",
+    "TaskStatus",
+    "Document",
+    "Fingerprint",
+    "UsageLog",
+    "ParseSource",
+    "StagedWork",
+    "AdminSession",
+]
--- a/services/api/app/models/admin.py
+++ b/services/api/app/models/admin.py
@@ -0,0 +1,92 @@
+"""Модели для админ-панели: источники парсинга, отстойник работ, сессии админа."""
+
+from datetime import datetime
+
+from sqlalchemy import JSON, ForeignKey, String, func
+from sqlalchemy.orm import Mapped, mapped_column
+
+from app.database import Base
+
+
+class ParseSource(Base):
+    """Источник парсинга для наполнения базы документов.
+
+    Админ задаёт тип источника и параметры запроса; задача index.run_parser
+    запускает парсинг в фоне и наполняет базу.
+    """
+
+    __tablename__ = "parse_sources"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    # Тип парсера: openalex / cyberleninka / arxiv
+    source_type: Mapped[str] = mapped_column(String(50), nullable=False, index=True)
+    # Человекочитаемое имя
+    name: Mapped[str] = mapped_column(String(255), nullable=False)
+    query: Mapped[str | None] = mapped_column(nullable=True)
+    lang: Mapped[str | None] = mapped_column(String(10), nullable=True)
+    year_from: Mapped[int | None] = mapped_column(nullable=True)
+    year_to: Mapped[int | None] = mapped_column(nullable=True)
+    limit: Mapped[int] = mapped_column(default=1000)
+    enabled: Mapped[bool] = mapped_column(default=True)
+    # Статус последнего запуска: idle / running / done / error
+    last_status: Mapped[str] = mapped_column(String(20), default="idle")
+    last_error: Mapped[str | None] = mapped_column(nullable=True)
+    last_run_at: Mapped[datetime | None] = mapped_column(nullable=True)
+    docs_added: Mapped[int] = mapped_column(default=0)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now())
+
+    def __repr__(self) -> str:
+        return f"<ParseSource id={self.id} type={self.source_type!r} name={self.name!r}>"
+
+
+class StagedWork(Base):
+    """Отстойник: проверенная пользовательская работа, ожидающая решения админа.
+
+    После одобрения работа добавляется в базу документов (index.add_document),
+    после отклонения — помечается rejected.
+    """
+
+    __tablename__ = "staged_works"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    user_id: Mapped[int | None] = mapped_column(ForeignKey("users.id"), nullable=True, index=True)
+    # Внутренний UUID задачи проверки (Task.id)
+    task_id: Mapped[str | None] = mapped_column(String(36), nullable=True, index=True)
+    filename: Mapped[str | None] = mapped_column(nullable=True)
+    # Ключ исходного файла и извлечённого текста в MinIO
+    minio_key: Mapped[str | None] = mapped_column(nullable=True)
+    text_key: Mapped[str | None] = mapped_column(nullable=True)
+    title: Mapped[str | None] = mapped_column(nullable=True)
+    authors: Mapped[list] = mapped_column(JSON, default=list)
+    year: Mapped[int | None] = mapped_column(nullable=True)
+    lang: Mapped[str | None] = mapped_column(String(10), nullable=True)
+    word_count: Mapped[int | None] = mapped_column(nullable=True)
+    # pending / approved / rejected
+    status: Mapped[str] = mapped_column(String(20), default="pending", index=True)
+    # ID документа в базе после одобрения
+    document_id: Mapped[int | None] = mapped_column(nullable=True)
+    reviewed_by: Mapped[int | None] = mapped_column(nullable=True)
+    reviewed_at: Mapped[datetime | None] = mapped_column(nullable=True)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now(), index=True)
+
+    def __repr__(self) -> str:
+        return f"<StagedWork id={self.id} status={self.status!r} title={(self.title or '')[:30]!r}>"
+
+
+class AdminSession(Base):
+    """Секретный код доступа к админке (часть ссылки /admin/<code>).
+
+    Доступ проверяется по двум факторам: JWT админа (is_admin) И валидный код.
+    """
+
+    __tablename__ = "admin_sessions"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    user_id: Mapped[int] = mapped_column(ForeignKey("users.id"), nullable=False, index=True)
+    code: Mapped[str] = mapped_column(String(64), unique=True, index=True, nullable=False)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now())
+    expires_at: Mapped[datetime] = mapped_column(nullable=False)
+    last_used_at: Mapped[datetime | None] = mapped_column(nullable=True)
+
+    def __repr__(self) -> str:
+        return f"<AdminSession id={self.id} user_id={self.user_id}>"
--- a/services/api/app/models/document.py
+++ b/services/api/app/models/document.py
@@ -0,0 +1,82 @@
+"""Модели документов, fingerprints и логов использования."""
+
+from datetime import datetime
+from typing import TYPE_CHECKING
+
+from sqlalchemy import JSON, BigInteger, ForeignKey, String, func
+from sqlalchemy.orm import Mapped, mapped_column, relationship
+
+from app.database import Base
+
+if TYPE_CHECKING:
+    from app.models.user import User
+
+
+class Document(Base):
+    """Документ в базе знаний системы (статья, книга, веб-страница)."""
+
+    __tablename__ = "documents"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    # Источник: openalex, cyberleninka, arxiv, wikipedia_ru, wikipedia_en
+    source: Mapped[str] = mapped_column(String(50), nullable=False, index=True)
+    # Внешний ID (OpenAlex ID, arXiv ID и т.д.) — уникален в рамках источника
+    ext_id: Mapped[str] = mapped_column(String(255), unique=True, index=True, nullable=False)
+    doi: Mapped[str | None] = mapped_column(String(255), nullable=True, index=True)
+    title: Mapped[str] = mapped_column(nullable=False)
+    authors: Mapped[list] = mapped_column(JSON, default=list)
+    year: Mapped[int | None] = mapped_column(nullable=True, index=True)
+    lang: Mapped[str | None] = mapped_column(String(10), nullable=True, index=True)
+    journal: Mapped[str | None] = mapped_column(nullable=True)
+    volume: Mapped[str | None] = mapped_column(String(50), nullable=True)
+    issue: Mapped[str | None] = mapped_column(String(50), nullable=True)
+    pages: Mapped[str | None] = mapped_column(String(50), nullable=True)
+    abstract: Mapped[str | None] = mapped_column(nullable=True)
+    url: Mapped[str | None] = mapped_column(nullable=True)
+    # Ключ объекта в MinIO (полный текст)
+    minio_key: Mapped[str | None] = mapped_column(nullable=True)
+    # ID вектора в FAISS индексе
+    faiss_id: Mapped[int | None] = mapped_column(nullable=True, index=True)
+    indexed_at: Mapped[datetime] = mapped_column(server_default=func.now())
+
+    # Отпечатки (Winnowing хэши)
+    fingerprints: Mapped[list["Fingerprint"]] = relationship(
+        back_populates="document",
+        lazy="select",
+    )
+
+    def __repr__(self) -> str:
+        return f"<Document id={self.id} source={self.source!r} title={self.title[:40]!r}>"
+
+
+class Fingerprint(Base):
+    """Winnowing fingerprint (хэш n-граммы) для быстрого поиска плагиата."""
+
+    __tablename__ = "fingerprints"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    doc_id: Mapped[int] = mapped_column(ForeignKey("documents.id"), index=True)
+    hash_value: Mapped[int] = mapped_column(BigInteger, index=True)
+    position: Mapped[int] = mapped_column()  # Позиция в документе
+
+    document: Mapped["Document"] = relationship(back_populates="fingerprints")
+
+    def __repr__(self) -> str:
+        return f"<Fingerprint doc_id={self.doc_id} hash={self.hash_value}>"
+
+
+class UsageLog(Base):
+    """Лог использования для подсчёта лимитов по тарифу."""
+
+    __tablename__ = "usage_logs"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    user_id: Mapped[int] = mapped_column(ForeignKey("users.id"), index=True)
+    # Действие: search, plagiarism, summarize, gost
+    action: Mapped[str] = mapped_column(String(50), nullable=False)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now(), index=True)
+
+    user: Mapped["User"] = relationship(back_populates="usage")
+
+    def __repr__(self) -> str:
+        return f"<UsageLog user_id={self.user_id} action={self.action!r}>"
--- a/services/api/app/models/task.py
+++ b/services/api/app/models/task.py
@@ -0,0 +1,75 @@
+"""Модель задачи (асинхронная единица работы)."""
+
+import secrets
+from datetime import datetime
+from enum import Enum
+from typing import TYPE_CHECKING
+from uuid import uuid4
+
+from sqlalchemy import JSON, ForeignKey, String, func
+from sqlalchemy.orm import Mapped, mapped_column, relationship
+
+from app.database import Base
+
+if TYPE_CHECKING:
+    from app.models.user import User
+
+
+class TaskType(str, Enum):
+    """Тип задачи."""
+
+    SEARCH = "search"
+    PLAGIARISM = "plagiarism"
+    SUMMARIZE = "summarize"
+    GOST = "gost"
+
+
+class TaskStatus(str, Enum):
+    """Статус задачи."""
+
+    QUEUED = "queued"
+    PROCESSING = "processing"
+    DONE = "done"
+    FAILED = "failed"
+
+
+class Task(Base):
+    """Задача пользователя, обрабатываемая воркерами Celery."""
+
+    __tablename__ = "tasks"
+
+    # Внутренний UUID — не светится в API/URL
+    id: Mapped[str] = mapped_column(
+        String(36),
+        primary_key=True,
+        default=lambda: str(uuid4()),
+    )
+    # Публичный ID для URL: /tasks/{public_id}
+    # token_urlsafe(16) → 22 символа base64url, не угадываем, не связан с internal UUID
+    public_id: Mapped[str] = mapped_column(
+        String(32),
+        unique=True,
+        index=True,
+        default=lambda: secrets.token_urlsafe(16),
+    )
+    user_id: Mapped[int] = mapped_column(ForeignKey("users.id"), index=True)
+    type: Mapped[str] = mapped_column(String(20), nullable=False)
+    status: Mapped[str] = mapped_column(String(20), default=TaskStatus.QUEUED)
+    celery_task_id: Mapped[str | None] = mapped_column(String(255), nullable=True)
+    # Входные данные: query, filename, doc_ids и т.д.
+    input_data: Mapped[dict] = mapped_column(JSON, default=dict)
+    # Результат работы воркера
+    result: Mapped[dict | None] = mapped_column(JSON, nullable=True)
+    error: Mapped[str | None] = mapped_column(nullable=True)
+    queue_position: Mapped[int | None] = mapped_column(nullable=True)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now())
+    updated_at: Mapped[datetime | None] = mapped_column(
+        nullable=True,
+        onupdate=func.now(),
+    )
+
+    # Связи
+    user: Mapped["User"] = relationship(back_populates="tasks")
+
+    def __repr__(self) -> str:
+        return f"<Task id={self.id!r} type={self.type!r} status={self.status!r}>"
--- a/services/api/app/models/user.py
+++ b/services/api/app/models/user.py
@@ -0,0 +1,42 @@
+"""Модель пользователя."""
+
+from datetime import datetime
+from typing import TYPE_CHECKING
+
+from sqlalchemy import func, String
+from sqlalchemy.orm import Mapped, mapped_column, relationship
+
+from app.database import Base
+
+if TYPE_CHECKING:
+    from app.models.task import Task
+    from app.models.document import UsageLog
+
+
+class User(Base):
+    """Пользователь системы."""
+
+    __tablename__ = "users"
+
+    id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
+    email: Mapped[str] = mapped_column(String(255), unique=True, index=True, nullable=False)
+    hashed_password: Mapped[str] = mapped_column(String(255), nullable=False)
+    name: Mapped[str] = mapped_column(String(255), nullable=False)
+    is_verified: Mapped[bool] = mapped_column(default=False)
+    # Администратор системы (доступ к админ-панели)
+    is_admin: Mapped[bool] = mapped_column(default=False)
+    # Тарифный план: free / student / premium / science
+    plan: Mapped[str] = mapped_column(String(20), default="free")
+    verification_token: Mapped[str | None] = mapped_column(String(255), nullable=True)
+    created_at: Mapped[datetime] = mapped_column(server_default=func.now())
+    updated_at: Mapped[datetime] = mapped_column(
+        server_default=func.now(),
+        onupdate=func.now(),
+    )
+
+    # Связи
+    tasks: Mapped[list["Task"]] = relationship(back_populates="user", lazy="select")
+    usage: Mapped[list["UsageLog"]] = relationship(back_populates="user", lazy="select")
+
+    def __repr__(self) -> str:
+        return f"<User id={self.id} email={self.email!r} plan={self.plan!r}>"