docs: сервер эмбеддингов переехал на .1.40 + честные итоги проверок
Прод переключён на новый сервер эмбеддингов (VM 210 «embedding-cpu», 192.168.1.40, хост pve2). Ключевое, чего не было в исходном плане переключения: OLLAMA_URL живёт в Infisical, и deploy.sh генерирует .env из него на каждом запуске — правка .env на сервере откатилась бы первым же деплоем. Совместимость векторов проверена прямым сравнением, а не на слово: косинус 0.9999997, расхождение 1e-4 (округление AVX2 против AVX-512) — переиндексация 93 тыс. векторов не понадобилась. Документация приведена в соответствие с фактами: - ARCHITECTURE/DIAGRAM/README/CREDENTIALS: новый сервер, старый помечен как выведенный; убрано упоминание CUDA — GPU в проекте нет; - DR-HA: эмбеддинги больше не висят на хосте .254, чьё падение 28.08 разом унесло брокер, прокси и секреты; - INGESTION: исправлено собственное враньё про КиберЛенинку — «48 часов на 100 тысяч» опровергнуто практикой, сайт блокирует выкачку после ~130 статей; снапшот OpenAlex вычеркнут как путь к миллионам (там только метаданные). bulk_ingest_pmc.py: снята пометка «не закончен» — бага не было, первый прогон упал уже после успешной вставки, а второй корректно пропустил дубли. Проверено: 100 статей, 183 090 отпечатков. Реальный темп 0.3 ст/с записан честно. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -55,14 +55,16 @@ Redis у нас — кэш/rate-limits/LSH-индекс (префикс `antipla
|
||||
| Векторный индекс | было | `VECTOR_BACKEND=qdrant` снимает (см. README) ✅ |
|
||||
| RabbitMQ .82 | да | мониторинг ловит падение ✅; кластер — по потребности |
|
||||
| app/ES 1.32 | да | воркеры горизонтальны; ES single-node (для BM25 не критично) |
|
||||
| Хост Proxmox .254 | **да, широкий** | митигации нет — см. ниже |
|
||||
| Хост Proxmox .254 | **да, широкий** | эмбеддинги вынесены на pve2 ✅; брокер/прокси/секреты — нет, см. ниже |
|
||||
|
||||
**Гипервизор — самая широкая единая точка отказа.** На хосте `192.168.20.254`
|
||||
одновременно живут RabbitMQ (.82), embedding-gpu (.109), Infisical (.111) и
|
||||
CT 102 (.253) — фронтенд и реверс-прокси. Его падение снимает сразу: приём и
|
||||
обработку задач (нет брокера), эмбеддинги (нет Ollama), деплой (нет Infisical и
|
||||
Gitea) и весь публичный доступ (нет прокси) — при том что API, PostgreSQL и
|
||||
MinIO продолжают работать. Проверено на практике 2026-08-28: хост перестал
|
||||
одновременно живут RabbitMQ (.82), Infisical (.111) и CT 102 (.253) — фронтенд
|
||||
и реверс-прокси. С 31.08.2026 эмбеддинги отсюда вынесены: сервер `embedding-cpu`
|
||||
(192.168.1.40) стоит на другом физическом хосте (pve2, .1.37), так что падение
|
||||
.254 больше не уносит с собой L3. Его падение по-прежнему снимает сразу: приём
|
||||
и обработку задач (нет брокера), деплой (нет Infisical и Gitea) и весь публичный
|
||||
доступ (нет прокси) — при том что API, PostgreSQL, MinIO и сервер эмбеддингов
|
||||
продолжают работать. Проверено на практике 2026-08-28: хост перестал
|
||||
отвечать даже на ARP, всё перечисленное отвалилось разом, данные не пострадали.
|
||||
Разнести хотя бы прокси/брокер по разным физическим хостам — самая дешёвая
|
||||
мера; пока её нет, восстановление требует физического доступа к железу.
|
||||
@@ -77,7 +79,8 @@ MinIO продолжают работать. Проверено на практ
|
||||
(`restart: unless-stopped`) поднимает его заново, недоставленное сообщение
|
||||
передоставляется — и цикл повторяется бесконечно, монополизируя весь пул воркера
|
||||
(было и на `worker-indexer` из-за backoff `scripts/parsers/openalex.py`, и на
|
||||
`worker-gpu` из-за зависшей Ollama на embedding-gpu).
|
||||
`worker-gpu` из-за зависшей Ollama на прежнем embedding-gpu; на новом сервере
|
||||
эмбеддингов зависание закрыто сторожевым таймером на самой машине).
|
||||
|
||||
Митигации (2026-08-27, сделано для `worker-indexer`):
|
||||
|
||||
|
||||
Reference in New Issue
Block a user