chore(lint): ruff-гейт в CI + фиксы (0 находок) — блокирует кривой деплой
Второй CI-гейт после тестов: ruff как статический анализатор всего Python-кода (services + scripts). Раньше ни линта, ни проверки типов в CI не было вовсе. Конфиг ruff.toml: правила E/F/W/I/UP/B/SIM/C4, line-length 100. Осознанно выключены E501 (длину держит форматтер; длинные RU-комментарии — норма), B008 (Depends()/Query() в дефолтах — идиома FastAPI, не баг) и UP042 ((str, Enum)→StrEnum меняет __str__/сериализацию — не трогаем). Починено под ноль находок: - B904 (11): raise ... from exc / from None — читаемые цепочки исключений в Celery-ретраях и HTTPException, ошибки обработки не маскируют исходные. - SIM105 (5): try/except/pass → contextlib.suppress (faiss remove_ids, lsh.remove, сброс кэша, ws-disconnect, парс года). - C416/SIM108/B905/F841/UP035/UP017/F401/I001: dict(rows), тернарник, zip strict, мёртвая переменная, устаревшие импорты, timezone.utc→UTC, чистка/сортировка. Обвязка: scripts/run_lint.sh (ruff в изолированном python:3.11-slim), шаг «Линт» в job test перед юнит-тестами (падаем раньше). make lint / make lint-fix. Все 41 юнит-тест по-прежнему зелёные, изменённые файлы компилируются. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -6,13 +6,12 @@ API: https://info.arxiv.org/help/api/index.html
|
||||
Использует Atom XML API.
|
||||
"""
|
||||
|
||||
import time
|
||||
import logging
|
||||
import time
|
||||
import xml.etree.ElementTree as ET
|
||||
from typing import Any
|
||||
|
||||
import httpx
|
||||
|
||||
from base import BaseParser
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
@@ -203,9 +202,6 @@ class ArxivParser(BaseParser):
|
||||
# Определить язык (arXiv — преимущественно английский)
|
||||
lang = "en"
|
||||
|
||||
# Категории как JSON
|
||||
categories = raw.get("categories", [])
|
||||
|
||||
return {
|
||||
"source": self.source_name,
|
||||
"ext_id": f"arxiv:{ext_id}",
|
||||
|
||||
@@ -7,15 +7,15 @@
|
||||
а не недокументированное API.
|
||||
"""
|
||||
|
||||
import contextlib
|
||||
import logging
|
||||
import re
|
||||
import time
|
||||
import logging
|
||||
from typing import Any
|
||||
|
||||
import httpx
|
||||
from bs4 import BeautifulSoup
|
||||
|
||||
from base import BaseParser
|
||||
from bs4 import BeautifulSoup
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
@@ -122,10 +122,8 @@ class CyberLeninkaParser(BaseParser):
|
||||
year_raw = raw.get("year")
|
||||
year = None
|
||||
if year_raw:
|
||||
try:
|
||||
with contextlib.suppress(ValueError, TypeError):
|
||||
year = int(str(year_raw)[:4])
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
# URL
|
||||
link = raw.get("link", "")
|
||||
|
||||
@@ -9,12 +9,12 @@ API: https://docs.openalex.org/
|
||||
- Идемпотентность: проверка по ext_id перед добавлением
|
||||
"""
|
||||
|
||||
import time
|
||||
import logging
|
||||
from typing import Any, Generator
|
||||
import time
|
||||
from collections.abc import Generator
|
||||
from typing import Any
|
||||
|
||||
import httpx
|
||||
|
||||
from base import BaseParser
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
Reference in New Issue
Block a user