docs: сервер эмбеддингов переехал на .1.40 + честные итоги проверок
Прод переключён на новый сервер эмбеддингов (VM 210 «embedding-cpu», 192.168.1.40, хост pve2). Ключевое, чего не было в исходном плане переключения: OLLAMA_URL живёт в Infisical, и deploy.sh генерирует .env из него на каждом запуске — правка .env на сервере откатилась бы первым же деплоем. Совместимость векторов проверена прямым сравнением, а не на слово: косинус 0.9999997, расхождение 1e-4 (округление AVX2 против AVX-512) — переиндексация 93 тыс. векторов не понадобилась. Документация приведена в соответствие с фактами: - ARCHITECTURE/DIAGRAM/README/CREDENTIALS: новый сервер, старый помечен как выведенный; убрано упоминание CUDA — GPU в проекте нет; - DR-HA: эмбеддинги больше не висят на хосте .254, чьё падение 28.08 разом унесло брокер, прокси и секреты; - INGESTION: исправлено собственное враньё про КиберЛенинку — «48 часов на 100 тысяч» опровергнуто практикой, сайт блокирует выкачку после ~130 статей; снапшот OpenAlex вычеркнут как путь к миллионам (там только метаданные). bulk_ingest_pmc.py: снята пометка «не закончен» — бага не было, первый прогон упал уже после успешной вставки, а второй корректно пропустил дубли. Проверено: 100 статей, 183 090 отпечатков. Реальный темп 0.3 ст/с записан честно. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -23,7 +23,7 @@
|
||||
│ RabbitMQ│ Celery задачи
|
||||
┌────────────▼──┐ ┌──▼──────────────┐
|
||||
│ worker-gpu │ │ worker-indexer │
|
||||
│ (CUDA/FAISS) │ │ (PDF/DOCX parse) │
|
||||
│ (FAISS, CPU) │ │ (PDF/DOCX parse) │
|
||||
│ Sem. search │ │ Winnowing/MinHash │
|
||||
│ LLM paraphrase│ └──────────────────┘
|
||||
└────────────────┘
|
||||
@@ -35,7 +35,8 @@
|
||||
|
||||
Инфраструктура:
|
||||
PostgreSQL 16 · Redis 7 · RabbitMQ 3 · Elasticsearch 8
|
||||
MinIO (S3) · Ollama (qwen2.5:7b) · отдельный GPU-сервер
|
||||
MinIO (S3) · Ollama с bge-m3 на отдельном сервере эмбеддингов (192.168.1.40)
|
||||
LLM-парафраз (L4) — Ollama или OpenRouter, переключается LLM_BACKEND
|
||||
```
|
||||
|
||||
## Быстрый старт
|
||||
|
||||
Reference in New Issue
Block a user