9894fa9320
Админ-панель (доступ: is_admin + секретный код сессии в /admin/<code>): - разделы: дашборд (здоровье сервисов, статистика), клиенты, работы, база документов, хранилище MinIO, источники парсинга, отстойник работ - backend: модели ParseSource/StagedWork/AdminSession, миграция 003, core/admin (авторизация), роутер api/admin - frontend: AdminLayout + 7 вкладок, adminApi, вход из кабинета - Celery index.run_parser (фоновый парсинг), автосбор проверенных работ в отстойник с ручным одобрением → индексация в базу Исправления: - openalex parser: тип article (не journal-article), убран is_oa-фильтр - winnowing: приведение xxh64 к signed int64 (фикс bigint out of range) - bcrypt пин 4.0.1 (совместимость с passlib 1.7.4) - alembic: prepend_sys_path + asyncpg-драйвер - frontend: контракт Task (public_id вместо id), react-dropzone Инфраструктура: - docker-compose.test.yml: api+frontend+воркеры локально, БД/кэш/хранилище/ брокер/LLM — на удалённых серверах через .env - .gitignore: исправлено ошибочное игнорирование кода services/*/app/models/ - LICENSE: проприетарная Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
83 lines
3.7 KiB
Python
83 lines
3.7 KiB
Python
"""Модели документов, fingerprints и логов использования."""
|
|
|
|
from datetime import datetime
|
|
from typing import TYPE_CHECKING
|
|
|
|
from sqlalchemy import JSON, BigInteger, ForeignKey, String, func
|
|
from sqlalchemy.orm import Mapped, mapped_column, relationship
|
|
|
|
from app.database import Base
|
|
|
|
if TYPE_CHECKING:
|
|
from app.models.user import User
|
|
|
|
|
|
class Document(Base):
|
|
"""Документ в базе знаний системы (статья, книга, веб-страница)."""
|
|
|
|
__tablename__ = "documents"
|
|
|
|
id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
|
|
# Источник: openalex, cyberleninka, arxiv, wikipedia_ru, wikipedia_en
|
|
source: Mapped[str] = mapped_column(String(50), nullable=False, index=True)
|
|
# Внешний ID (OpenAlex ID, arXiv ID и т.д.) — уникален в рамках источника
|
|
ext_id: Mapped[str] = mapped_column(String(255), unique=True, index=True, nullable=False)
|
|
doi: Mapped[str | None] = mapped_column(String(255), nullable=True, index=True)
|
|
title: Mapped[str] = mapped_column(nullable=False)
|
|
authors: Mapped[list] = mapped_column(JSON, default=list)
|
|
year: Mapped[int | None] = mapped_column(nullable=True, index=True)
|
|
lang: Mapped[str | None] = mapped_column(String(10), nullable=True, index=True)
|
|
journal: Mapped[str | None] = mapped_column(nullable=True)
|
|
volume: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
|
issue: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
|
pages: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
|
abstract: Mapped[str | None] = mapped_column(nullable=True)
|
|
url: Mapped[str | None] = mapped_column(nullable=True)
|
|
# Ключ объекта в MinIO (полный текст)
|
|
minio_key: Mapped[str | None] = mapped_column(nullable=True)
|
|
# ID вектора в FAISS индексе
|
|
faiss_id: Mapped[int | None] = mapped_column(nullable=True, index=True)
|
|
indexed_at: Mapped[datetime] = mapped_column(server_default=func.now())
|
|
|
|
# Отпечатки (Winnowing хэши)
|
|
fingerprints: Mapped[list["Fingerprint"]] = relationship(
|
|
back_populates="document",
|
|
lazy="select",
|
|
)
|
|
|
|
def __repr__(self) -> str:
|
|
return f"<Document id={self.id} source={self.source!r} title={self.title[:40]!r}>"
|
|
|
|
|
|
class Fingerprint(Base):
|
|
"""Winnowing fingerprint (хэш n-граммы) для быстрого поиска плагиата."""
|
|
|
|
__tablename__ = "fingerprints"
|
|
|
|
id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
|
|
doc_id: Mapped[int] = mapped_column(ForeignKey("documents.id"), index=True)
|
|
hash_value: Mapped[int] = mapped_column(BigInteger, index=True)
|
|
position: Mapped[int] = mapped_column() # Позиция в документе
|
|
|
|
document: Mapped["Document"] = relationship(back_populates="fingerprints")
|
|
|
|
def __repr__(self) -> str:
|
|
return f"<Fingerprint doc_id={self.doc_id} hash={self.hash_value}>"
|
|
|
|
|
|
class UsageLog(Base):
|
|
"""Лог использования для подсчёта лимитов по тарифу."""
|
|
|
|
__tablename__ = "usage_logs"
|
|
|
|
id: Mapped[int] = mapped_column(primary_key=True, autoincrement=True)
|
|
user_id: Mapped[int] = mapped_column(ForeignKey("users.id"), index=True)
|
|
# Действие: search, plagiarism, summarize, gost
|
|
action: Mapped[str] = mapped_column(String(50), nullable=False)
|
|
created_at: Mapped[datetime] = mapped_column(server_default=func.now(), index=True)
|
|
|
|
user: Mapped["User"] = relationship(back_populates="usage")
|
|
|
|
def __repr__(self) -> str:
|
|
return f"<UsageLog user_id={self.user_id} action={self.action!r}>"
|