78e27806b9
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
38 lines
1.5 KiB
Python
38 lines
1.5 KiB
Python
"""Celery приложение индексер-воркера."""
|
||
|
||
from celery import Celery
|
||
|
||
from app.config import settings
|
||
|
||
celery_app = Celery(
|
||
"worker_indexer",
|
||
broker=settings.RABBITMQ_URL,
|
||
backend=settings.REDIS_URL,
|
||
include=["app.tasks.index"],
|
||
)
|
||
|
||
celery_app.conf.update(
|
||
task_serializer="json",
|
||
result_serializer="json",
|
||
accept_content=["json"],
|
||
timezone="Europe/Moscow",
|
||
enable_utc=True,
|
||
task_track_started=True,
|
||
task_routes={
|
||
"gpu.*": {"queue": "queue.gpu"},
|
||
"index.*": {"queue": "queue.index"},
|
||
"notify.*": {"queue": "queue.notify"},
|
||
"gost.*": {"queue": "queue.gost"},
|
||
},
|
||
task_acks_late=True,
|
||
task_reject_on_worker_lost=True,
|
||
# Один неподтверждённый месседж на процесс пула. При acks_late=True всё
|
||
# предвыбранное висит unacked, а RabbitMQ рвёт канал по consumer_timeout
|
||
# (1800с) с момента ДОСТАВКИ, а не начала выполнения. С дефолтным префетчем
|
||
# (4×concurrency) массовая заливка — сотни долгих run_parser в очереди —
|
||
# гарантированно роняет воркер на задачах, которые ещё даже не начинались,
|
||
# и он уходит в краш-луп на передоставленных сообщениях (docs/DR-HA.md §6).
|
||
worker_prefetch_multiplier=1,
|
||
result_expires=86400,
|
||
)
|