fix(openalex): пауза между страницами и живой backoff — заливка тонула в 429
Массовый запуск показал: лимит вежливого пула OpenAlex (10 req/s) общий на mailto, а не на процесс. Четыре воркера с паузой 0.1с получали сплошные 429, и каждый прогон уходил в 900с бесполезного backoff, не забрав ничего. - RATE_LIMIT_DELAY 0.1 → 1.0с (≈4 req/s на четырёх воркерах); - backoff спит кусками по 5с и отчитывается через progress_cb: прогон больше не выглядит зависшим в админке и отменяется во время ожидания, а не после. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -7,7 +7,9 @@
|
||||
|
||||
from typing import Any
|
||||
|
||||
import openalex
|
||||
from cyberleninka import CyberLeninkaParser
|
||||
from openalex import _sleep_alive
|
||||
|
||||
|
||||
class FakeResponse:
|
||||
@@ -66,3 +68,26 @@ def test_fetch_works_without_callback(monkeypatch):
|
||||
"""Скрипты заливки зовут парсеры без progress_cb — поведение прежнее."""
|
||||
p = _parser(monkeypatch)
|
||||
assert len(p.fetch(query="x", limit=20)) == 20
|
||||
|
||||
|
||||
def test_backoff_sleep_reports_life_and_can_be_interrupted(monkeypatch):
|
||||
"""Минуты ожидания в backoff OpenAlex — не молчание: тик и шанс остановиться."""
|
||||
slept: list[float] = []
|
||||
monkeypatch.setattr(openalex.time, "sleep", lambda s: slept.append(s))
|
||||
monkeypatch.setattr(openalex, "BACKOFF_TICK_S", 5.0)
|
||||
|
||||
ticks: list[int] = []
|
||||
assert _sleep_alive(20, lambda n: ticks.append(n) or True, fetched=7) is True
|
||||
assert sum(slept) == 20 and ticks == [7, 7, 7, 7]
|
||||
|
||||
slept.clear()
|
||||
# Останавливаемся на первом же тике — не досыпая оставшиеся 900с
|
||||
assert _sleep_alive(900, lambda n: False, fetched=7) is False
|
||||
assert sum(slept) == 5
|
||||
|
||||
|
||||
def test_backoff_sleep_without_callback_just_sleeps(monkeypatch):
|
||||
slept: list[float] = []
|
||||
monkeypatch.setattr(openalex.time, "sleep", lambda s: slept.append(s))
|
||||
assert _sleep_alive(60, None, fetched=0) is True
|
||||
assert slept == [60]
|
||||
|
||||
Reference in New Issue
Block a user