feat: initial microservices project structure

Services:
- api: FastAPI gateway with JWT auth, async endpoints, WebSocket
- worker-gpu: CUDA sentence-transformers, FAISS IVFFlat, Ollama LLM
- worker-indexer: Winnowing+MinHash plagiarism detection, PDF/DOCX extraction
- worker-notifier: SMTP email notifications
- worker-gost: GOST 7.1-2003 and GOST R 7.0.5-2008 formatting

Infrastructure:
- docker-compose.yml (production) + docker-compose.dev.yml (hot reload)
- Nginx reverse proxy + WebSocket support
- PostgreSQL 16 with Alembic migrations
- Elasticsearch 8 with Russian/English analyzers
- MinIO, RabbitMQ, Redis, Ollama

Frontend:
- React 18 + Vite + TypeScript + TailwindCSS + Zustand + React Query v5
- 9 pages: Home, Search, Cabinet, Task, Check, Bibliography, Pricing, Login, Register

Scripts:
- Parser stubs: OpenAlex, КиберЛенинка, arXiv (Phase 0 - to be filled)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
jze9
2026-05-24 19:42:39 +05:00
commit 7758315632
120 changed files with 9500 additions and 0 deletions

View File

@@ -0,0 +1,15 @@
FROM python:3.11-slim
RUN apt-get update && apt-get install -y --no-install-recommends \
gcc \
libpq-dev \
&& rm -rf /var/lib/apt/lists/*
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD ["celery", "-A", "app.celery_app", "worker", "-Q", "queue.notify", "-c", "16", "-n", "notifier@%h", "--loglevel=info"]

View File

View File

@@ -0,0 +1,29 @@
"""Celery приложение notifier-воркера."""
from celery import Celery
from app.config import settings
celery_app = Celery(
"worker_notifier",
broker=settings.RABBITMQ_URL,
backend=settings.REDIS_URL,
include=["app.tasks.notify"],
)
celery_app.conf.update(
task_serializer="json",
result_serializer="json",
accept_content=["json"],
timezone="Europe/Moscow",
enable_utc=True,
task_track_started=True,
task_routes={
"notify.*": {"queue": "queue.notify"},
"gpu.*": {"queue": "queue.gpu"},
"index.*": {"queue": "queue.index"},
"gost.*": {"queue": "queue.gost"},
},
task_acks_late=True,
result_expires=86400,
)

View File

@@ -0,0 +1,46 @@
"""Конфигурация notifier-воркера."""
from pydantic_settings import BaseSettings, SettingsConfigDict
class Settings(BaseSettings):
model_config = SettingsConfigDict(
env_file=".env",
env_file_encoding="utf-8",
case_sensitive=False,
)
# PostgreSQL
POSTGRES_HOST: str = "postgres"
POSTGRES_PORT: int = 5432
POSTGRES_DB: str = "antiplagiator"
POSTGRES_USER: str = "antiplagiator"
POSTGRES_PASSWORD: str = "changeme"
# Redis
REDIS_URL: str = "redis://redis:6379/0"
# RabbitMQ
RABBITMQ_URL: str = "amqp://guest:guest@rabbitmq:5672/"
# SMTP
SMTP_HOST: str = "smtp.yandex.ru"
SMTP_PORT: int = 465
SMTP_USER: str = "noreply@jze9.ru"
SMTP_PASSWORD: str = "changeme"
SMTP_FROM: str = "noreply@jze9.ru"
# App
APP_URL: str = "https://academic.jze9.ru"
ENVIRONMENT: str = "development"
DEBUG: bool = False
@property
def database_url_sync(self) -> str:
return (
f"postgresql+psycopg2://{self.POSTGRES_USER}:{self.POSTGRES_PASSWORD}"
f"@{self.POSTGRES_HOST}:{self.POSTGRES_PORT}/{self.POSTGRES_DB}"
)
settings = Settings()

View File

@@ -0,0 +1,32 @@
"""Подключение к PostgreSQL для notifier-воркера."""
from contextlib import contextmanager
from typing import Generator
from sqlalchemy import create_engine
from sqlalchemy.orm import Session, sessionmaker
from app.config import settings
engine = create_engine(
settings.database_url_sync,
pool_size=3,
max_overflow=5,
pool_pre_ping=True,
)
SessionLocal = sessionmaker(bind=engine, autocommit=False, autoflush=False)
@contextmanager
def db_session() -> Generator[Session, None, None]:
"""Контекстный менеджер для сессии БД."""
session = SessionLocal()
try:
yield session
session.commit()
except Exception:
session.rollback()
raise
finally:
session.close()

View File

@@ -0,0 +1,165 @@
"""Отправка email уведомлений через SMTP."""
import logging
import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from app.config import settings
logger = logging.getLogger(__name__)
TASK_TYPE_SUBJECTS = {
"search": "Источники найдены — Академический помощник",
"plagiarism": "Проверка плагиата завершена — Академический помощник",
"summarize": "Краткое изложение готово — Академический помощник",
"gost": "Библиография отформатирована — Академический помощник",
}
class EmailSender:
"""Отправщик email уведомлений."""
def _send(self, to_email: str, subject: str, html_body: str) -> None:
"""
Отправить email через SMTP SSL.
Args:
to_email: Email получателя
subject: Тема письма
html_body: HTML тело письма
"""
msg = MIMEMultipart("alternative")
msg["Subject"] = subject
msg["From"] = settings.SMTP_FROM
msg["To"] = to_email
msg.attach(MIMEText(html_body, "html", "utf-8"))
try:
with smtplib.SMTP_SSL(settings.SMTP_HOST, settings.SMTP_PORT) as smtp:
smtp.login(settings.SMTP_USER, settings.SMTP_PASSWORD)
smtp.send_message(msg)
logger.info(f"Email отправлен: {to_email!r}, тема: {subject!r}")
except smtplib.SMTPException as e:
logger.error(f"SMTP ошибка при отправке письма на {to_email!r}: {e}")
raise
def send_task_done(
self,
user_email: str,
user_name: str,
task_id: str,
task_type: str,
summary: str,
app_url: str,
) -> None:
"""
Отправить уведомление о завершении задачи.
Args:
user_email: Email пользователя
user_name: Имя пользователя
task_id: ID завершённой задачи
task_type: Тип задачи (search, plagiarism, и т.д.)
summary: Краткое описание результата
app_url: Базовый URL приложения
"""
subject = TASK_TYPE_SUBJECTS.get(task_type, "Задача выполнена — Академический помощник")
task_url = f"{app_url}/tasks/{task_id}"
html_body = f"""<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
</head>
<body style="margin:0;padding:0;background-color:#f8fafc;font-family:system-ui,-apple-system,sans-serif;">
<div style="max-width:600px;margin:40px auto;background:#fff;border-radius:12px;overflow:hidden;box-shadow:0 4px 6px rgba(0,0,0,0.07);">
<!-- Header -->
<div style="background:#2563eb;padding:32px 40px;">
<h1 style="margin:0;color:#fff;font-size:22px;font-weight:600;">
Академический помощник
</h1>
<p style="margin:4px 0 0;color:#bfdbfe;font-size:14px;">academic.jze9.ru</p>
</div>
<!-- Body -->
<div style="padding:40px;">
<p style="margin:0 0 16px;color:#1e293b;font-size:16px;">
Здравствуйте, <strong>{user_name}</strong>!
</p>
<p style="margin:0 0 24px;color:#475569;font-size:15px;line-height:1.6;">
{summary}
</p>
<a href="{task_url}"
style="display:inline-block;background:#2563eb;color:#fff;padding:14px 28px;
border-radius:8px;text-decoration:none;font-size:15px;font-weight:500;">
Открыть результат →
</a>
</div>
<!-- Footer -->
<div style="padding:24px 40px;border-top:1px solid #e2e8f0;background:#f8fafc;">
<p style="margin:0;color:#94a3b8;font-size:12px;">
Академический помощник · <a href="{app_url}" style="color:#94a3b8;">academic.jze9.ru</a><br>
Это автоматическое письмо, не нужно отвечать на него.
</p>
</div>
</div>
</body>
</html>"""
self._send(user_email, subject, html_body)
def send_verification(self, user_email: str, user_name: str, token: str, app_url: str) -> None:
"""
Отправить письмо для верификации email.
Args:
user_email: Email для верификации
user_name: Имя пользователя
token: Токен верификации
app_url: Базовый URL приложения
"""
verify_url = f"{app_url}/verify-email/{token}"
subject = "Подтвердите email — Академический помощник"
html_body = f"""<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
</head>
<body style="margin:0;padding:0;background:#f8fafc;font-family:system-ui,-apple-system,sans-serif;">
<div style="max-width:600px;margin:40px auto;background:#fff;border-radius:12px;overflow:hidden;box-shadow:0 4px 6px rgba(0,0,0,0.07);">
<div style="background:#2563eb;padding:32px 40px;">
<h1 style="margin:0;color:#fff;font-size:22px;font-weight:600;">Подтвердите ваш email</h1>
</div>
<div style="padding:40px;">
<p style="margin:0 0 16px;color:#1e293b;font-size:16px;">
Здравствуйте, <strong>{user_name}</strong>!
</p>
<p style="margin:0 0 24px;color:#475569;font-size:15px;line-height:1.6;">
Нажмите кнопку ниже, чтобы подтвердить ваш email и активировать аккаунт.
</p>
<a href="{verify_url}"
style="display:inline-block;background:#16a34a;color:#fff;padding:14px 28px;
border-radius:8px;text-decoration:none;font-size:15px;font-weight:500;">
Подтвердить email →
</a>
<p style="margin:24px 0 0;color:#94a3b8;font-size:12px;">
Ссылка действительна 48 часов. Если вы не регистрировались, проигнорируйте это письмо.
</p>
</div>
</div>
</body>
</html>"""
self._send(user_email, subject, html_body)

View File

@@ -0,0 +1,141 @@
"""Celery задачи отправки email уведомлений."""
import logging
from celery.utils.log import get_task_logger
from app.celery_app import celery_app
from app.config import settings
from app.db import db_session
from app.email_sender import EmailSender
logger = get_task_logger(__name__)
@celery_app.task(
name="notify.send_task_done",
bind=True,
max_retries=3,
default_retry_delay=30,
)
def send_task_done(self, task_id: str) -> dict:
"""
Отправить email уведомление о завершении задачи.
Args:
task_id: ID завершённой задачи
Returns:
dict со статусом отправки
"""
from app.models import Task, User
logger.info(f"Отправка уведомления для задачи {task_id!r}")
try:
with db_session() as session:
task = session.get(Task, task_id)
if task is None:
logger.error(f"Задача {task_id!r} не найдена")
return {"status": "task_not_found"}
user = session.get(User, task.user_id)
if user is None:
logger.error(f"Пользователь {task.user_id} не найден")
return {"status": "user_not_found"}
# Формируем краткое описание результата
summary = _build_summary(task)
sender = EmailSender()
sender.send_task_done(
user_email=user.email,
user_name=user.name,
task_id=task_id,
task_type=task.type,
summary=summary,
app_url=settings.APP_URL,
)
logger.info(f"Уведомление отправлено пользователю {user.email!r} для задачи {task_id!r}")
return {"status": "sent", "email": user.email}
except Exception as exc:
logger.error(f"Ошибка отправки уведомления для задачи {task_id!r}: {exc}", exc_info=True)
raise self.retry(exc=exc, countdown=30)
def _build_summary(task) -> str:
"""Сформировать краткое описание результата для email."""
result = task.result or {}
if task.type == "search":
count = len(result.get("sources", []))
query = task.input_data.get("query", "")
return (
f'Найдено <strong>{count} источников</strong> по запросу "{query[:80]}".'
f' Откройте результат, чтобы просмотреть список с ГОСТ-цитатами.'
)
elif task.type == "plagiarism":
similarity = result.get("overall_similarity", 0)
total = result.get("total_fragments", 0)
flagged = result.get("flagged_fragments", 0)
filename = task.input_data.get("filename", "")
color = "#dc2626" if similarity > 30 else "#d97706" if similarity > 10 else "#16a34a"
label = "Высокий" if similarity > 30 else "Средний" if similarity > 10 else "Низкий"
return (
f'Проверка файла <strong>"{filename}"</strong> завершена.<br>'
f'Уровень схожести: <strong style="color:{color};">{similarity:.1f}% ({label})</strong>.<br>'
f'Проверено {total} фрагментов, выявлено совпадений: {flagged}.'
)
elif task.type == "gost":
count = len(result.get("bibliography", []))
style = result.get("style", "7.1")
return (
f'Библиография из <strong>{count} источников</strong>'
f' отформатирована по ГОСТ {style}-2003.'
)
elif task.type == "summarize":
return "Краткое изложение успешно создано."
return "Ваша задача выполнена."
@celery_app.task(
name="notify.send_verification",
bind=True,
max_retries=3,
default_retry_delay=60,
)
def send_verification(self, user_email: str, user_name: str, token: str) -> dict:
"""
Отправить письмо с подтверждением email.
Args:
user_email: Email для верификации
user_name: Имя пользователя
token: Токен верификации
Returns:
dict со статусом отправки
"""
logger.info(f"Отправка письма верификации на {user_email!r}")
try:
sender = EmailSender()
sender.send_verification(
user_email=user_email,
user_name=user_name,
token=token,
app_url=settings.APP_URL,
)
logger.info(f"Письмо верификации отправлено на {user_email!r}")
return {"status": "sent"}
except Exception as exc:
logger.error(f"Ошибка отправки верификации на {user_email!r}: {exc}", exc_info=True)
raise self.retry(exc=exc, countdown=60)

View File

@@ -0,0 +1,5 @@
celery==5.4.0
redis==5.0.4
sqlalchemy==2.0.30
psycopg2-binary==2.9.9
pydantic-settings==2.2.1