78e27806b9
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
34 lines
1.8 KiB
Bash
Executable File
34 lines
1.8 KiB
Bash
Executable File
#!/usr/bin/env bash
|
|
# Статический анализ Python-кода в изолированном контейнере — гейт CI перед деплоем.
|
|
# 1) ruff — линт всего кода (services + scripts), конфиг ruff.toml
|
|
# 2) mypy — проверка типов (пока только чистая логика L1/L2 + ГОСТ), конфиг mypy.ini
|
|
# область растёт по мере типизации кода; запуск per-service, чтобы
|
|
# резолвился локальный пакет `app`.
|
|
#
|
|
# PIP_INDEX_URL переопределяется при необходимости (по умолчанию Tsinghua-зеркало).
|
|
set -euo pipefail
|
|
|
|
MIRROR="${PIP_INDEX_URL:-https://pypi.tuna.tsinghua.edu.cn/simple/}"
|
|
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
|
RUFF_VERSION="0.16.2"
|
|
MYPY_VERSION="1.13.0"
|
|
|
|
docker run --rm \
|
|
-v "$ROOT":/repo -w /repo \
|
|
-e PIP_INDEX_URL="$MIRROR" \
|
|
-e PIP_DISABLE_PIP_VERSION_CHECK=1 \
|
|
python:3.11-slim bash -c "
|
|
set -e
|
|
pip install --no-cache-dir --timeout 60 -q ruff==$RUFF_VERSION mypy==$MYPY_VERSION
|
|
|
|
echo '▶ ruff (services/ scripts/)'
|
|
ruff check services/ scripts/
|
|
|
|
echo '▶ mypy (чистая логика L1/L2 + ГОСТ + скоринг + OAuth + прогресс заливки)'
|
|
( cd services/worker-indexer && mypy --config-file /repo/mypy.ini app/algorithms/ app/fragments.py app/staging.py app/progress.py )
|
|
( cd services/worker-gost && mypy --config-file /repo/mypy.ini app/formatters/ app/bibliography.py )
|
|
( cd services/worker-gpu && mypy --config-file /repo/mypy.ini app/scoring.py )
|
|
( cd services/api && mypy --config-file /repo/mypy.ini app/core/oauth.py app/core/progress.py )
|
|
"
|
|
echo "✅ Линт (ruff + mypy) пройден"
|