jze9/anti-plagiarism
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(admin): честная длительность прогона + добор эмбеддингов

Browse Source 
Разбор итогов массовой заливки показал в отладке «среднюю длительность прогона»
в 2.8 часа там, где парсинг занимал 50 секунд: started_at пишется в момент
постановки в очередь, а очередь из 173 источников разбирается часами. Теперь
момент реального старта пишется отдельно (run_started_at, миграция 006), а
схема отдаёт обе величины — сколько ждал очереди и сколько работал.

Плюс scripts/ops/reembed_missing.py: документ попадает в корпус сразу, а вектор
для L3 считает отдельная задача; когда worker-gpu или Ollama недоступны, эти
задачи теряются и документ остаётся невидимым для семантического поиска. Скрипт
находит faiss_id IS NULL и переотправляет пачками (dry-run по умолчанию) —
сейчас таких 23 101 из 177 147.

Документация: актуальные цифры корпуса, дубли при повторном прогоне, лимит
OpenAlex, и главное — гипервизор .254 зафиксирован в DR-HA как самая широкая
единая точка отказа (брокер, эмбеддинги, секреты и прокси на одном железе;
подтверждено аварией 28.08).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
jze9
2026-08-28 16:51:25 +05:00
parent f1a8d07cb3
commit 99bf14fe6a
10 changed files with 255 additions and 9 deletions
Download Patch File Download Diff File Expand all files Collapse all files

17
services/frontend/src/pages/admin/Sources.tsx
View File

@@ -13,8 +13,9 @@ interface Run {
target: number; fetched: number; processed: number;
added: number; duplicates: number; skipped: number; failed: number;
cancel_requested: boolean; error: string | null;
started_at: string; heartbeat_at: string | null; finished_at: string | null;
percent: number;
started_at: string; run_started_at: string | null;
heartbeat_at: string | null; finished_at: string | null;
percent: number; queued_s: number | null; duration_s: number | null;
}
interface LogEntry { ts: string; elapsed: number; level: string; msg: string }
@@ -360,6 +361,14 @@ export function Sources() {
);
}
/** Секунды → «45с» / «12 мин» / «2 ч 5 мин»: в отладке важен порядок, не точность. */
function fmtDuration(seconds: number): string {
if (seconds < 90) return `${Math.round(seconds)}с`;
const min = Math.round(seconds / 60);
if (min < 90) return `${min} мин`;
return `${Math.floor(min / 60)} ч ${min % 60} мин`;
}
const LOG_COLORS: Record<string, string> = {
error: 'text-red-600',
warning: 'text-amber-600',
@@ -389,7 +398,9 @@ function RunLog({ runId, live }: { runId?: number; live: boolean }) {
<Chip label="дублей" value={String(data.duplicates)} />
{data.skipped > 0 && <Chip label="без метаданных" value={String(data.skipped)} />}
{data.failed > 0 && <Chip label="ошибок" value={String(data.failed)} />}
<Chip label="начат" value={new Date(data.started_at).toLocaleString('ru-RU')} />
<Chip label="поставлен в очередь" value={new Date(data.started_at).toLocaleString('ru-RU')} />
{data.queued_s != null && <Chip label="ждал очереди" value={fmtDuration(data.queued_s)} />}
{data.duration_s != null && <Chip label="работал" value={fmtDuration(data.duration_s)} />}
{data.finished_at && <Chip label="завершён" value={new Date(data.finished_at).toLocaleString('ru-RU')} />}
</div>