chore(lint): ruff-гейт в CI + фиксы (0 находок) — блокирует кривой деплой
Второй CI-гейт после тестов: ruff как статический анализатор всего Python-кода (services + scripts). Раньше ни линта, ни проверки типов в CI не было вовсе. Конфиг ruff.toml: правила E/F/W/I/UP/B/SIM/C4, line-length 100. Осознанно выключены E501 (длину держит форматтер; длинные RU-комментарии — норма), B008 (Depends()/Query() в дефолтах — идиома FastAPI, не баг) и UP042 ((str, Enum)→StrEnum меняет __str__/сериализацию — не трогаем). Починено под ноль находок: - B904 (11): raise ... from exc / from None — читаемые цепочки исключений в Celery-ретраях и HTTPException, ошибки обработки не маскируют исходные. - SIM105 (5): try/except/pass → contextlib.suppress (faiss remove_ids, lsh.remove, сброс кэша, ws-disconnect, парс года). - C416/SIM108/B905/F841/UP035/UP017/F401/I001: dict(rows), тернарник, zip strict, мёртвая переменная, устаревшие импорты, timezone.utc→UTC, чистка/сортировка. Обвязка: scripts/run_lint.sh (ruff в изолированном python:3.11-slim), шаг «Линт» в job test перед юнит-тестами (падаем раньше). make lint / make lint-fix. Все 41 юнит-тест по-прежнему зелёные, изменённые файлы компилируются. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -38,22 +38,21 @@ def fetch_full_text(url: str) -> str | None:
|
||||
follow_redirects=True,
|
||||
timeout=settings.FULL_TEXT_TIMEOUT,
|
||||
headers=_HEADERS,
|
||||
) as client:
|
||||
with client.stream("GET", url) as resp:
|
||||
resp.raise_for_status()
|
||||
ctype = resp.headers.get("content-type", "").lower()
|
||||
) as client, client.stream("GET", url) as resp:
|
||||
resp.raise_for_status()
|
||||
ctype = resp.headers.get("content-type", "").lower()
|
||||
|
||||
# Скачиваем с ограничением размера
|
||||
buf = bytearray()
|
||||
for chunk in resp.iter_bytes():
|
||||
buf += chunk
|
||||
if len(buf) > settings.FULL_TEXT_MAX_BYTES:
|
||||
logger.info(
|
||||
f"full-text превысил лимит {settings.FULL_TEXT_MAX_BYTES} байт, "
|
||||
f"обрезаю: {url}"
|
||||
)
|
||||
break
|
||||
data = bytes(buf)
|
||||
# Скачиваем с ограничением размера
|
||||
buf = bytearray()
|
||||
for chunk in resp.iter_bytes():
|
||||
buf += chunk
|
||||
if len(buf) > settings.FULL_TEXT_MAX_BYTES:
|
||||
logger.info(
|
||||
f"full-text превысил лимит {settings.FULL_TEXT_MAX_BYTES} байт, "
|
||||
f"обрезаю: {url}"
|
||||
)
|
||||
break
|
||||
data = bytes(buf)
|
||||
except Exception as e:
|
||||
logger.info(f"full-text: скачать не удалось {url!r}: {type(e).__name__}: {str(e)[:120]}")
|
||||
return None
|
||||
|
||||
Reference in New Issue
Block a user