feat: админ-панель, лицензия, тестовый стек на распределённой инфраструктуре
Админ-панель (доступ: is_admin + секретный код сессии в /admin/<code>): - разделы: дашборд (здоровье сервисов, статистика), клиенты, работы, база документов, хранилище MinIO, источники парсинга, отстойник работ - backend: модели ParseSource/StagedWork/AdminSession, миграция 003, core/admin (авторизация), роутер api/admin - frontend: AdminLayout + 7 вкладок, adminApi, вход из кабинета - Celery index.run_parser (фоновый парсинг), автосбор проверенных работ в отстойник с ручным одобрением → индексация в базу Исправления: - openalex parser: тип article (не journal-article), убран is_oa-фильтр - winnowing: приведение xxh64 к signed int64 (фикс bigint out of range) - bcrypt пин 4.0.1 (совместимость с passlib 1.7.4) - alembic: prepend_sys_path + asyncpg-драйвер - frontend: контракт Task (public_id вместо id), react-dropzone Инфраструктура: - docker-compose.test.yml: api+frontend+воркеры локально, БД/кэш/хранилище/ брокер/LLM — на удалённых серверах через .env - .gitignore: исправлено ошибочное игнорирование кода services/*/app/models/ - LICENSE: проприетарная Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -12,10 +12,11 @@ RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
curl \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
# Сделать python3.11 дефолтным
|
||||
# Сделать python3.11 дефолтным и поставить pip именно для 3.11 (на CUDA-базе
|
||||
# python3-pip ставит pip для системного python3.10 — он не виден из python3.11)
|
||||
RUN update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.11 1 && \
|
||||
update-alternatives --install /usr/bin/python python python3.11 1 && \
|
||||
python3.11 -m pip install --upgrade pip
|
||||
update-alternatives --install /usr/bin/python python /usr/bin/python3.11 1 && \
|
||||
curl -sS https://bootstrap.pypa.io/get-pip.py | python3.11
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
|
||||
@@ -10,6 +10,7 @@ class Settings(BaseSettings):
|
||||
env_file=".env",
|
||||
env_file_encoding="utf-8",
|
||||
case_sensitive=False,
|
||||
extra="ignore", # игнорировать поля общего .env, не относящиеся к воркеру
|
||||
)
|
||||
|
||||
# PostgreSQL
|
||||
|
||||
3
services/worker-gpu/app/models/__init__.py
Normal file
3
services/worker-gpu/app/models/__init__.py
Normal file
@@ -0,0 +1,3 @@
|
||||
from app.models.base import Base, Document, Task, User
|
||||
|
||||
__all__ = ["Base", "User", "Task", "Document"]
|
||||
67
services/worker-gpu/app/models/base.py
Normal file
67
services/worker-gpu/app/models/base.py
Normal file
@@ -0,0 +1,67 @@
|
||||
"""Базовые модели данных для GPU воркера (минимальный набор для работы с БД)."""
|
||||
|
||||
from datetime import datetime
|
||||
from uuid import uuid4
|
||||
|
||||
from sqlalchemy import JSON, BigInteger, ForeignKey, Integer, String, Text, func
|
||||
from sqlalchemy.orm import DeclarativeBase, Mapped, mapped_column, relationship
|
||||
|
||||
|
||||
class Base(DeclarativeBase):
|
||||
"""Базовый класс SQLAlchemy моделей."""
|
||||
pass
|
||||
|
||||
|
||||
class User(Base):
|
||||
"""Минимальная модель пользователя для GPU воркера."""
|
||||
|
||||
__tablename__ = "users"
|
||||
|
||||
id: Mapped[int] = mapped_column(Integer, primary_key=True)
|
||||
email: Mapped[str] = mapped_column(String(255))
|
||||
name: Mapped[str] = mapped_column(String(255))
|
||||
plan: Mapped[str] = mapped_column(String(20), default="free")
|
||||
is_verified: Mapped[bool] = mapped_column(default=False)
|
||||
created_at: Mapped[datetime] = mapped_column(server_default=func.now())
|
||||
|
||||
|
||||
class Task(Base):
|
||||
"""Модель задачи."""
|
||||
|
||||
__tablename__ = "tasks"
|
||||
|
||||
id: Mapped[str] = mapped_column(String(36), primary_key=True)
|
||||
user_id: Mapped[int] = mapped_column(ForeignKey("users.id"))
|
||||
type: Mapped[str] = mapped_column(String(20))
|
||||
status: Mapped[str] = mapped_column(String(20), default="queued")
|
||||
celery_task_id: Mapped[str | None] = mapped_column(String(255), nullable=True)
|
||||
input_data: Mapped[dict] = mapped_column(JSON, default=dict)
|
||||
result: Mapped[dict | None] = mapped_column(JSON, nullable=True)
|
||||
error: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
queue_position: Mapped[int | None] = mapped_column(nullable=True)
|
||||
created_at: Mapped[datetime] = mapped_column(server_default=func.now())
|
||||
updated_at: Mapped[datetime | None] = mapped_column(nullable=True)
|
||||
|
||||
|
||||
class Document(Base):
|
||||
"""Модель документа в базе знаний."""
|
||||
|
||||
__tablename__ = "documents"
|
||||
|
||||
id: Mapped[int] = mapped_column(Integer, primary_key=True)
|
||||
source: Mapped[str] = mapped_column(String(50))
|
||||
ext_id: Mapped[str] = mapped_column(String(255))
|
||||
doi: Mapped[str | None] = mapped_column(String(255), nullable=True)
|
||||
title: Mapped[str] = mapped_column(Text)
|
||||
authors: Mapped[list] = mapped_column(JSON, default=list)
|
||||
year: Mapped[int | None] = mapped_column(nullable=True)
|
||||
lang: Mapped[str | None] = mapped_column(String(10), nullable=True)
|
||||
journal: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
volume: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
||||
issue: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
||||
pages: Mapped[str | None] = mapped_column(String(50), nullable=True)
|
||||
abstract: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
url: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
minio_key: Mapped[str | None] = mapped_column(Text, nullable=True)
|
||||
faiss_id: Mapped[int | None] = mapped_column(nullable=True)
|
||||
indexed_at: Mapped[datetime] = mapped_column(server_default=func.now())
|
||||
@@ -3,7 +3,7 @@ redis==5.0.4
|
||||
sqlalchemy==2.0.30
|
||||
psycopg2-binary==2.9.9
|
||||
sentence-transformers==3.0.0
|
||||
faiss-gpu==1.7.4
|
||||
faiss-cpu==1.8.0 # faiss-gpu нет в pip для py3.11; индексы в коде CPU-типа, GPU занят эмбеддингами (torch) и LLM (Ollama)
|
||||
torch==2.3.0
|
||||
numpy==1.26.4
|
||||
httpx==0.27.0
|
||||
|
||||
Reference in New Issue
Block a user