diff --git a/services/api/app/api/admin.py b/services/api/app/api/admin.py index 4897c3c..d9f47e2 100644 --- a/services/api/app/api/admin.py +++ b/services/api/app/api/admin.py @@ -9,7 +9,7 @@ import io import logging import os import uuid -from datetime import datetime, timedelta +from datetime import UTC, datetime, timedelta from pathlib import Path import httpx @@ -925,6 +925,25 @@ async def debug_snapshot(db: AsyncSession = Depends(get_db)) -> dict: ) ).scalars().all() + # Зависшая проверка: числится в работе, но воркер давно её не трогал. + # Пользователь видит вечное «обрабатывается» — молча и без следов в логах, + # поэтому такие задачи должны быть видны в отладке (нашлись экземпляры, + # висевшие с мая). + # tasks.created_at/updated_at — timestamptz, поэтому сравниваем с + # осведомлённым о зоне временем (naive utcnow() дал бы TypeError) + task_stale_cutoff = datetime.now(UTC) - timedelta(hours=2) + stale_tasks = ( + await db.execute( + select(Task) + .where( + Task.status == "processing", + func.coalesce(Task.updated_at, Task.created_at) < task_stale_cutoff, + ) + .order_by(Task.created_at.desc()) + .limit(20) + ) + ).scalars().all() + return { "generated_at": datetime.utcnow().isoformat(timespec="seconds"), "celery": celery_state, @@ -956,6 +975,17 @@ async def debug_snapshot(db: AsyncSession = Depends(get_db)) -> dict: } for t in failed_tasks ], + "stale_tasks": [ + { + "public_id": t.public_id, + "type": t.type, + "created_at": t.created_at, + "stuck_hours": round( + (datetime.now(UTC) - (t.updated_at or t.created_at)).total_seconds() / 3600, 1 + ), + } + for t in stale_tasks + ], # Ключи бэкендов задаются в .env (генерируется из Infisical) и влияют на # поведение воркеров — при разборе «почему не так считает» нужны первыми "config": {