anti-plagiarism

jze9/anti-plagiarism

Fork 0

Commit Graph

Author	SHA1	Message	Date
jze9	4c15f11efa	refactor(gpu): вынести скоринг плагиата в чистый app.scoring + 8 тестов Итоговый процент схожести (тот, что видит студент) и дедупликация совпадений жили внутри Celery-задачи check_plagiarism и не тестировались. Вынес в чистую функцию app.scoring.aggregate_results (без Celery/БД/сети) — правильная «высота» (доменная логика отдельно от оркестрации) и теперь покрыто тестами: - процент = доля УНИКАЛЬНЫХ помеченных позиций от всех фрагментов; - одна позиция с несколькими источниками считается один раз (не раздувает %); - точный дубль (source_title:pos) дедуплицируется; - деление на ноль фрагментов; кап на 100%; округление до 2 знаков; by_method. Поведение сохранено 1:1 (лог задачи переведён на result[...]). scoring.py добавлен в mypy-гейт. Тестов всего: 61 (indexer 19, gost 17, gpu 25). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-08-11 20:13:27 +05:00
jze9	426796a9a7	test(gpu): покрыть L4 OllamaClient (парсинг парафраза, 12 тестов) Сеть замокана (monkeypatch httpx.post/get). Проверяется устойчивость слоя LLM: - нормализация ответа: is_paraphrase→bool, confidence→float, reason→str; - кривой/невалидный JSON от модели → безопасные дефолты, не падение; - отсутствие ключа "response" → пустой объект → безопасные значения; - таймаут/ConnectError → «LLM недоступна»; прочие ошибки перехвачены; - summarize: strip ответа и фолбэк в аннотацию/заголовок при ошибке; - is_available: 200 → True, исключение → False. Тестов всего: 53 (indexer 19, gost 17, gpu 17). httpx добавлен в requirements-test. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-08-11 20:10:34 +05:00
jze9	ecc10a4413	test: юнит-суит L1/L2/L3 + ГОСТ (41 тест) и гейт в CI перед деплоем Первый настоящий автоматический тест-суит проекта — раньше регрессии ловились руками. Покрыта чистая логика детекции и форматирования (без БД/Redis/GPU/Ollama): - worker-indexer: L1 Winnowing (точные совпадения, идемпотентность отпечатка, диапазон signed int64) и L2 MinHash LSH (шинглы, Jaccard, near-duplicate + upsert через in-memory-фолбэк). - worker-gpu: L3 FAISS — возврат doc_id из PostgreSQL (IndexIDMap2), идемпотентность add_vectors (remove-before-add, без дублей), self-match ≈ 1, ранжирование. Прямо стережёт баги, из-за которых индекс переписывался. - worker-gost: ГОСТ 7.1-2003 и 7.0.5-2008 — авторы (≤3 / 4+ «и др.»/et al.), статья/книга/web, DOI, порядок сортировки кириллица→латиница, стр. в ссылке. Обвязка: per-service pytest.ini/conftest/requirements-test. scripts/run_tests.sh гоняет тесты в изолированных python:3.11-slim контейнерах (не засоряя хост), через Tsinghua-зеркало. CI: job `test` теперь гейтит `deploy` (needs: test) — падение тестов блокирует прод-деплой. make test / make test-one SVC=... Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-08-11 17:11:08 +05:00

Author

SHA1

Message

Date

jze9

4c15f11efa

refactor(gpu): вынести скоринг плагиата в чистый app.scoring + 8 тестов

Итоговый процент схожести (тот, что видит студент) и дедупликация совпадений
жили внутри Celery-задачи check_plagiarism и не тестировались. Вынес в чистую
функцию app.scoring.aggregate_results (без Celery/БД/сети) — правильная «высота»
(доменная логика отдельно от оркестрации) и теперь покрыто тестами:

- процент = доля УНИКАЛЬНЫХ помеченных позиций от всех фрагментов;
- одна позиция с несколькими источниками считается один раз (не раздувает %);
- точный дубль (source_title:pos) дедуплицируется;
- деление на ноль фрагментов; кап на 100%; округление до 2 знаков; by_method.

Поведение сохранено 1:1 (лог задачи переведён на result[...]). scoring.py добавлен
в mypy-гейт. Тестов всего: 61 (indexer 19, gost 17, gpu 25).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-08-11 20:13:27 +05:00

jze9

426796a9a7

test(gpu): покрыть L4 OllamaClient (парсинг парафраза, 12 тестов)

Сеть замокана (monkeypatch httpx.post/get). Проверяется устойчивость слоя LLM:
- нормализация ответа: is_paraphrase→bool, confidence→float, reason→str;
- кривой/невалидный JSON от модели → безопасные дефолты, не падение;
- отсутствие ключа "response" → пустой объект → безопасные значения;
- таймаут/ConnectError → «LLM недоступна»; прочие ошибки перехвачены;
- summarize: strip ответа и фолбэк в аннотацию/заголовок при ошибке;
- is_available: 200 → True, исключение → False.

Тестов всего: 53 (indexer 19, gost 17, gpu 17). httpx добавлен в requirements-test.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-08-11 20:10:34 +05:00

jze9

ecc10a4413

test: юнит-суит L1/L2/L3 + ГОСТ (41 тест) и гейт в CI перед деплоем

Первый настоящий автоматический тест-суит проекта — раньше регрессии ловились
руками. Покрыта чистая логика детекции и форматирования (без БД/Redis/GPU/Ollama):

- worker-indexer: L1 Winnowing (точные совпадения, идемпотентность отпечатка,
  диапазон signed int64) и L2 MinHash LSH (шинглы, Jaccard, near-duplicate +
  upsert через in-memory-фолбэк).
- worker-gpu: L3 FAISS — возврат doc_id из PostgreSQL (IndexIDMap2),
  идемпотентность add_vectors (remove-before-add, без дублей), self-match ≈ 1,
  ранжирование. Прямо стережёт баги, из-за которых индекс переписывался.
- worker-gost: ГОСТ 7.1-2003 и 7.0.5-2008 — авторы (≤3 / 4+ «и др.»/et al.),
  статья/книга/web, DOI, порядок сортировки кириллица→латиница, стр. в ссылке.

Обвязка: per-service pytest.ini/conftest/requirements-test. scripts/run_tests.sh
гоняет тесты в изолированных python:3.11-slim контейнерах (не засоряя хост),
через Tsinghua-зеркало. CI: job `test` теперь гейтит `deploy` (needs: test) —
падение тестов блокирует прод-деплой. make test / make test-one SVC=...

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-08-11 17:11:08 +05:00

3 Commits