9d005486df
Корпус на 99.4% английский, 0 русских источников — при том что сервис для русских студентов. Корень: парсер CyberLeninka был сломан (слал GET на /api/search → HTTP 405) и ни разу не наполнял базу. - cyberleninka.py: GET→POST с JSON-телом (mode=articles); authors теперь из списка (API отдаёт список, не строку); чистка <b>-подсветки и HTML-сущностей ("). Проверено вживую: 5/5 студенческих тем возвращают реальные русские статьи. - Юнит-тесты парсера (scripts/parsers/tests/, 5 шт.) + обвязка; run_tests.sh обобщён на пути → парсеры теперь в тест-гейте CI. Всего тестов: 87. - scripts/seed_ru_sources.py: сидер parse_sources по 30 студенческим дисциплинам (dry-run по умолчанию, --apply для записи). НЕ запускает заливку — готовит задания. - docs/INGESTION.md: runbook (текущее состояние, шаги запуска, проверка, масштаб). Прод-путь index.run_parser уже поддерживает cyberleninka и openalex(lang=ru). Заливку не запускал — это отдельный go (ресурсоёмко: GPU-эмбеддинги, рост БД). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
71 lines
2.8 KiB
Bash
Executable File
71 lines
2.8 KiB
Bash
Executable File
#!/usr/bin/env bash
|
||
# Прогон юнит-тестов всех сервисов в изолированных python:3.11-slim контейнерах.
|
||
#
|
||
# Тесты бьют по ЧИСТОЙ логике детекции и форматирования и не требуют внешней
|
||
# инфраструктуры (БД/Redis/RabbitMQ/GPU/Ollama) — поэтому гоняются одинаково на
|
||
# машине разработчика и в CI. Запуск в контейнере не засоряет хост зависимостями.
|
||
#
|
||
# Использование:
|
||
# scripts/run_tests.sh # все сервисы
|
||
# scripts/run_tests.sh worker-gost # только один сервис
|
||
#
|
||
# PIP_INDEX_URL можно переопределить (по умолчанию — Tsinghua-зеркало, т.к.
|
||
# pypi.org из LAN недоступен).
|
||
set -euo pipefail
|
||
|
||
MIRROR="${PIP_INDEX_URL:-https://pypi.tuna.tsinghua.edu.cn/simple/}"
|
||
ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)"
|
||
IMAGE="python:3.11-slim"
|
||
|
||
# относительный-путь:apt-пакеты (нужны faiss-cpu → libgomp1)
|
||
SERVICES=(
|
||
"services/worker-indexer:"
|
||
"services/worker-gost:"
|
||
"services/worker-gpu:libgomp1"
|
||
"scripts/parsers:"
|
||
)
|
||
|
||
run_service() {
|
||
local dir_rel="$1" apt_pkgs="$2"
|
||
local dir="$ROOT/$dir_rel"
|
||
local name="${dir_rel##*/}"
|
||
if [[ ! -f "$dir/requirements-test.txt" ]]; then
|
||
echo "⚠ $name: нет requirements-test.txt — пропуск"
|
||
return 0
|
||
fi
|
||
echo "──────────────────────────────────────────────"
|
||
echo "▶ Тесты: $name"
|
||
echo "──────────────────────────────────────────────"
|
||
docker run --rm \
|
||
-v "$dir":/app -w /app \
|
||
-e PIP_INDEX_URL="$MIRROR" \
|
||
-e PIP_DISABLE_PIP_VERSION_CHECK=1 \
|
||
"$IMAGE" bash -c "
|
||
set -e
|
||
${apt_pkgs:+apt-get update -qq && apt-get install -y -qq --no-install-recommends $apt_pkgs >/dev/null && rm -rf /var/lib/apt/lists/*}
|
||
pip install --no-cache-dir --timeout 60 -q -r requirements-test.txt
|
||
python -m pytest
|
||
"
|
||
}
|
||
|
||
FILTER="${1:-}"
|
||
failed=0
|
||
for entry in "${SERVICES[@]}"; do
|
||
dir_rel="${entry%%:*}"
|
||
apt="${entry#*:}"
|
||
name="${dir_rel##*/}"
|
||
[[ -n "$FILTER" && "$FILTER" != "$name" ]] && continue
|
||
if ! run_service "$dir_rel" "$apt"; then
|
||
failed=1
|
||
echo "✗ $name: тесты упали"
|
||
fi
|
||
done
|
||
|
||
echo "══════════════════════════════════════════════"
|
||
if [[ $failed -eq 0 ]]; then
|
||
echo "✅ Все юнит-тесты прошли"
|
||
else
|
||
echo "❌ Есть упавшие тесты"
|
||
exit 1
|
||
fi
|