fix(core): ходить в CORE через sing-box — с российских адресов ключ не работает
Заливка встала после двух порций: прогоны стали заканчиваться за две минуты с нулём документов. Выглядело как поломка сети, и на ложные следы ушло время — MTU в норме (1472 байта проходят), IPv6 ни при чём, Cloudflare из того же контейнера качается на 2.2 МБ/с, ключ и квота целы (с домашней машины тот же запрос отвечает за 6с, лимит нетронут). Разница оказалась в адресе. С прода: напрямую — код 000, обрыв на 25с (соединение есть, тело не приходит) через sing-box — код 200 за 1.7с, 207 КБ Анонимные короткие запросы проходят и напрямую — поэтому блокировка и маскировалась под сетевой сбой. CORE ведёт себя как OpenRouter, ради которого singbox-proxy и заводили, поэтому решение то же: httpx получает proxy из CORE_PROXY_URL (умолчание — socks5://singbox-proxy:1080, пусто = напрямую для локальных прогонов). В образ индексатора добавлен socksio: без него httpx не умеет SOCKS5. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -25,6 +25,10 @@
|
||||
обогащать корпус нечем.
|
||||
|
||||
Грабли API, все проверены живьём:
|
||||
- **с российских адресов ключ не работает**: прямой запрос с прода виснет без
|
||||
ошибки (соединение есть, тело ответа не приходит), через `singbox-proxy` тот
|
||||
же запрос отвечает за 1.7с. Анонимные короткие запросы проходят и напрямую,
|
||||
из-за чего поломка выглядит как сетевая. Адрес прокси — `CORE_PROXY_URL`;
|
||||
- у `/v3/search/works` обязателен слэш на конце: иначе 301, а при редиректе
|
||||
теряется заголовок Authorization и запрос уходит анонимным;
|
||||
- `offset` упирается в 100 000 (под капотом Azure Search, глубже — 400),
|
||||
@@ -62,6 +66,12 @@ PAGE = 100 # максимум записей за запрос
|
||||
MAX_OFFSET = 100_000 # потолок глубины у Azure Search
|
||||
MIN_CHARS = 1500 # короче — обрывок или аннотация, а не статья
|
||||
RETRIES = 3
|
||||
# CORE отдаёт данные по ключу только за пределами РФ: с прода прямой запрос
|
||||
# молча виснет (TCP есть, тело ответа не приходит), а тот же запрос через
|
||||
# sing-box возвращается за 1.7с. Анонимные мелкие запросы проходят и напрямую,
|
||||
# поэтому со стороны это выглядит как поломка сети, а не блокировка. Тот же
|
||||
# приём, что для OpenRouter в worker-gpu. Пусто = ходить напрямую.
|
||||
DEFAULT_PROXY = "socks5://singbox-proxy:1080"
|
||||
|
||||
|
||||
class COREParser(BaseParser):
|
||||
@@ -70,9 +80,12 @@ class COREParser(BaseParser):
|
||||
source_name = "core"
|
||||
bulk = True
|
||||
|
||||
def __init__(self, api_key: str | None = None) -> None:
|
||||
def __init__(self, api_key: str | None = None, proxy_url: str | None = None) -> None:
|
||||
super().__init__()
|
||||
self.api_key = api_key or os.environ.get("CORE_API_KEY", "")
|
||||
# Вне compose-сети (локальный прогон, тесты) имени singbox-proxy нет —
|
||||
# там прокси отключают, выставив CORE_PROXY_URL пустым
|
||||
self.proxy_url = self._proxy(proxy_url)
|
||||
if not self.api_key:
|
||||
logger.warning("CORE: ключ не задан (CORE_API_KEY) — API ответит 401")
|
||||
# Страница весит ~5 МБ, обычный ответ ~7с. 30с — запас на джиттер в
|
||||
@@ -81,6 +94,7 @@ class COREParser(BaseParser):
|
||||
# та же грабля, что чинили в pmc_bulk)
|
||||
self.client = httpx.Client(
|
||||
timeout=30,
|
||||
proxy=self.proxy_url or None,
|
||||
headers={
|
||||
"Authorization": f"Bearer {self.api_key}",
|
||||
"User-Agent": "AcademicHelper/1.0 (noreply@jze9.ru)",
|
||||
@@ -88,6 +102,13 @@ class COREParser(BaseParser):
|
||||
)
|
||||
self.last_token: str | None = None
|
||||
|
||||
@staticmethod
|
||||
def _proxy(proxy_url: str | None) -> str:
|
||||
"""Адрес прокси: явный аргумент, иначе CORE_PROXY_URL, иначе умолчание."""
|
||||
if proxy_url is not None:
|
||||
return proxy_url
|
||||
return os.environ.get("CORE_PROXY_URL", DEFAULT_PROXY)
|
||||
|
||||
def fetch( # type: ignore[override]
|
||||
self,
|
||||
limit: int = 1000,
|
||||
|
||||
Reference in New Issue
Block a user