docs: сервер эмбеддингов переехал на .1.40 + честные итоги проверок
All checks were successful
Deploy / test (push) Successful in 2m59s
Deploy / deploy (push) Successful in 3s

Прод переключён на новый сервер эмбеддингов (VM 210 «embedding-cpu»,
192.168.1.40, хост pve2). Ключевое, чего не было в исходном плане переключения:
OLLAMA_URL живёт в Infisical, и deploy.sh генерирует .env из него на каждом
запуске — правка .env на сервере откатилась бы первым же деплоем.

Совместимость векторов проверена прямым сравнением, а не на слово: косинус
0.9999997, расхождение 1e-4 (округление AVX2 против AVX-512) — переиндексация
93 тыс. векторов не понадобилась.

Документация приведена в соответствие с фактами:
- ARCHITECTURE/DIAGRAM/README/CREDENTIALS: новый сервер, старый помечен как
  выведенный; убрано упоминание CUDA — GPU в проекте нет;
- DR-HA: эмбеддинги больше не висят на хосте .254, чьё падение 28.08 разом
  унесло брокер, прокси и секреты;
- INGESTION: исправлено собственное враньё про КиберЛенинку — «48 часов на
  100 тысяч» опровергнуто практикой, сайт блокирует выкачку после ~130 статей;
  снапшот OpenAlex вычеркнут как путь к миллионам (там только метаданные).

bulk_ingest_pmc.py: снята пометка «не закончен» — бага не было, первый прогон
упал уже после успешной вставки, а второй корректно пропустил дубли. Проверено:
100 статей, 183 090 отпечатков. Реальный темп 0.3 ст/с записан честно.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
jze9
2026-08-31 17:06:41 +05:00
parent 2d38dfd1f4
commit e4ca4a7150
6 changed files with 68 additions and 39 deletions

View File

@@ -55,14 +55,16 @@ Redis у нас — кэш/rate-limits/LSH-индекс (префикс `antipla
| Векторный индекс | было | `VECTOR_BACKEND=qdrant` снимает (см. README) ✅ |
| RabbitMQ .82 | да | мониторинг ловит падение ✅; кластер — по потребности |
| app/ES 1.32 | да | воркеры горизонтальны; ES single-node (для BM25 не критично) |
| Хост Proxmox .254 | **да, широкий** | митигации нет — см. ниже |
| Хост Proxmox .254 | **да, широкий** | эмбеддинги вынесены на pve2 ✅; брокер/прокси/секреты — нет, см. ниже |
**Гипервизор — самая широкая единая точка отказа.** На хосте `192.168.20.254`
одновременно живут RabbitMQ (.82), embedding-gpu (.109), Infisical (.111) и
CT 102 (.253) — фронтенд и реверс-прокси. Его падение снимает сразу: приём и
обработку задач (нет брокера), эмбеддинги (нет Ollama), деплой (нет Infisical и
Gitea) и весь публичный доступ (нет прокси) — при том что API, PostgreSQL и
MinIO продолжают работать. Проверено на практике 2026-08-28: хост перестал
одновременно живут RabbitMQ (.82), Infisical (.111) и CT 102 (.253) — фронтенд
и реверс-прокси. С 31.08.2026 эмбеддинги отсюда вынесены: сервер `embedding-cpu`
(192.168.1.40) стоит на другом физическом хосте (pve2, .1.37), так что падение
.254 больше не уносит с собой L3. Его падение по-прежнему снимает сразу: приём
и обработку задач (нет брокера), деплой (нет Infisical и Gitea) и весь публичный
доступ (нет прокси) — при том что API, PostgreSQL, MinIO и сервер эмбеддингов
продолжают работать. Проверено на практике 2026-08-28: хост перестал
отвечать даже на ARP, всё перечисленное отвалилось разом, данные не пострадали.
Разнести хотя бы прокси/брокер по разным физическим хостам — самая дешёвая
мера; пока её нет, восстановление требует физического доступа к железу.
@@ -77,7 +79,8 @@ MinIO продолжают работать. Проверено на практ
(`restart: unless-stopped`) поднимает его заново, недоставленное сообщение
передоставляется — и цикл повторяется бесконечно, монополизируя весь пул воркера
(было и на `worker-indexer` из-за backoff `scripts/parsers/openalex.py`, и на
`worker-gpu` из-за зависшей Ollama на embedding-gpu).
`worker-gpu` из-за зависшей Ollama на прежнем embedding-gpu; на новом сервере
эмбеддингов зависание закрыто сторожевым таймером на самой машине).
Митигации (2026-08-27, сделано для `worker-indexer`):