feat(llm): переключаемый бэкенд для L4 — Ollama или OpenRouter
All checks were successful
Deploy / test (push) Successful in 3m1s
Deploy / deploy (push) Successful in 19s

LLM_BACKEND=ollama (дефолт, поведение не меняется) | openrouter (облачный
API, дешёвая модель — для да/нет+уверенность "ум" не критичен, зато
не нужен локальный GPU-хост вообще). Общая _complete() прячет разницу
форматов запроса/ответа за check_paraphrase/summarize.
This commit is contained in:
jze9
2026-08-26 17:11:46 +05:00
parent 344f78b795
commit 96a4530a93
2 changed files with 81 additions and 46 deletions

View File

@@ -38,6 +38,14 @@ class Settings(BaseSettings):
# Ollama
OLLAMA_URL: str = "http://ollama:11434"
# LLM_BACKEND: "ollama" (локальная модель, нужен GPU-хост) или "openrouter"
# (облачный API, дешёвая модель — для L4-проверки парафраза "умность" не
# критична, это не творческая задача). Переключается без изменения кода.
LLM_BACKEND: str = "ollama"
OPENROUTER_API_KEY: str = ""
OPENROUTER_MODEL: str = "deepseek/deepseek-chat"
OPENROUTER_URL: str = "https://openrouter.ai/api/v1/chat/completions"
# FAISS / ML
FAISS_INDEX_PATH: str = "/data/index/faiss.index"
FAISS_ID_MAP_PATH: str = "/data/index/faiss_id_map.json"