docs: актуализировать документацию (Infisical, OpenRouter, bge-m3, PMC) + чистка
Документация сильно разошлась с кодом за последние недели работы — привёл в
соответствие ARCHITECTURE.md, README, DIAGRAM.md, INGESTION.md:
- LLM (L4) и эмбеддинги (L3) теперь переключаемые бэкенды (LLM_BACKEND,
EMBED_BACKEND), а не жёстко Ollama/qwen2.5:7b — старая модель эмбеддингов
(768d mpnet) заменена на bge-m3 (1024d); L4 может идти через OpenRouter
(DeepSeek) с прокси singbox для обхода геоблокировки.
- .env на проде больше не редактируется руками — на каждом деплое
генерируется из Infisical; старая инструкция "cp .env.example .env; nano
.env" вводила в заблуждение (правки терялись бы на следующем деплое).
- README "Три docker-compose файла"/deploy разделы противоречили реальности:
фронтенд+TLS реально раздаёт хостовой nginx на CT 102, не докеризованный
nginx-сервис из compose (тот не запускается вообще).
добавлен PMC-парсер, self-match исключение объяснено, число тестов (113)
синхронизировано между файлами (было 82/122 в разных местах).
- INGESTION.md: снимок "42K доков, 0 русских" от 12.08 заменён актуальным
(165K доков, ru теперь большинство) — иначе документ откровенно врёт.
- Diagram: узлы под текущую топологию (embedding-gpu, OpenRouter, Infisical).
Заодно, раз перепроверял код на соответствие докам:
- Удалён мёртвый и битый эндпоинт GET /reports/{task_id} — фильтровал по
внутреннему Task.id вместо public_id (никогда не мог сработать через
обычный клиентский поток), фронтенд его всё равно не вызывал —
функциональность полностью дублирует рабочий GET /tasks/{public_id}.
- Убран мёртвый конфиг FAISS_NLIST/FAISS_NPROBE (worker-gpu/config.py) —
индекс всегда IndexFlatIP, IVF нигде не строится, эти поля ничего не делали.
This commit is contained in:
@@ -31,7 +31,9 @@ flowchart TB
|
||||
PG[("PostgreSQL 1.38<br/>users/tasks/documents/<br/>fingerprints/...")]
|
||||
REDIS[("Redis 1.35<br/>кэш · rate-limit · LSH-индекс")]
|
||||
MINIO[("MinIO 1.21<br/>документы · full-text · бэкапы")]
|
||||
OLLAMA["Ollama .163<br/>qwen2.5:7b"]
|
||||
OLLAMA["Ollama .109 embedding-gpu<br/>bge-m3, эмбеддинги (L3)"]
|
||||
OPENROUTER["OpenRouter/DeepSeek<br/>LLM L4 (опц., через singbox-proxy)"]
|
||||
INFISICAL["Infisical .111<br/>секреты → .env на каждом деплое"]
|
||||
end
|
||||
|
||||
subgraph obs["Опционально (профили compose)"]
|
||||
@@ -56,10 +58,12 @@ flowchart TB
|
||||
IDX -->|"gpu.embed_documents"| MQ
|
||||
|
||||
GPU <-->|"documents"| PG
|
||||
GPU -->|"L3 эмбеддинги"| OLLAMA
|
||||
GPU --> VEC
|
||||
VEC --> FAISS
|
||||
VEC -.->|"переключение флагом"| QDR
|
||||
GPU -->|"L4 парафраз"| OLLAMA
|
||||
GPU -.->|"L4 парафраз (LLM_BACKEND)"| OLLAMA
|
||||
GPU -.->|"L4 парафраз, опц."| OPENROUTER
|
||||
GPU --> ES
|
||||
|
||||
GOST <-->|"documents"| PG
|
||||
@@ -81,7 +85,7 @@ sequenceDiagram
|
||||
participant API as API
|
||||
participant IDX as worker-indexer
|
||||
participant GPU as worker-gpu
|
||||
participant LLM as Ollama
|
||||
participant LLM as Ollama/OpenRouter<br/>(LLM_BACKEND)
|
||||
|
||||
U->>API: upload файла
|
||||
API->>API: сохранить в MinIO, создать Task, commit
|
||||
@@ -103,6 +107,7 @@ sequenceDiagram
|
||||
## Легенда
|
||||
|
||||
- Сплошные стрелки — прямые вызовы/запросы; пунктир у `VEC` — переключение бэкенда
|
||||
по настройке `VECTOR_BACKEND`, не одновременная работа обоих.
|
||||
по настройке `VECTOR_BACKEND`, не одновременная работа обоих. Пунктир у L4
|
||||
(`OLLAMA`/`OPENROUTER`) — то же самое для `LLM_BACKEND`.
|
||||
- `obs` (Prometheus/Grafana) и `Qdrant` — опциональны, поднимаются под
|
||||
`docker compose --profile qdrant|observability`, по умолчанию выключены.
|
||||
|
||||
Reference in New Issue
Block a user