feat(llm): переключаемый бэкенд для L4 — Ollama или OpenRouter
LLM_BACKEND=ollama (дефолт, поведение не меняется) | openrouter (облачный API, дешёвая модель — для да/нет+уверенность "ум" не критичен, зато не нужен локальный GPU-хост вообще). Общая _complete() прячет разницу форматов запроса/ответа за check_paraphrase/summarize.
This commit is contained in:
@@ -38,6 +38,14 @@ class Settings(BaseSettings):
|
||||
# Ollama
|
||||
OLLAMA_URL: str = "http://ollama:11434"
|
||||
|
||||
# LLM_BACKEND: "ollama" (локальная модель, нужен GPU-хост) или "openrouter"
|
||||
# (облачный API, дешёвая модель — для L4-проверки парафраза "умность" не
|
||||
# критична, это не творческая задача). Переключается без изменения кода.
|
||||
LLM_BACKEND: str = "ollama"
|
||||
OPENROUTER_API_KEY: str = ""
|
||||
OPENROUTER_MODEL: str = "deepseek/deepseek-chat"
|
||||
OPENROUTER_URL: str = "https://openrouter.ai/api/v1/chat/completions"
|
||||
|
||||
# FAISS / ML
|
||||
FAISS_INDEX_PATH: str = "/data/index/faiss.index"
|
||||
FAISS_ID_MAP_PATH: str = "/data/index/faiss_id_map.json"
|
||||
|
||||
Reference in New Issue
Block a user