feat(admin): шкала загрузки источников, отладка и загрузка работ в корпус
Заливка корпуса была чёрным ящиком: у источника только last_status (idle/running/done/error), без «сколько из скольки», без причины падения и без способа остановить начатое. Теперь каждый запуск создаёт строку parse_runs, куда воркер раз в ~2с пишет стадию, счётчики и журнал событий. Админка: - шкала загрузки у каждого источника (0→50% выборка, 50→100% индексация), раскрытая строка — журнал прогона по шагам с таймингами; - «Запустить всё» / «Остановить всё» и остановка по одному источнику (кооперативная отмена: воркер останавливается сам, не рвя запись в базу); - пакетное добавление источников (тип + список тем), тип pmc в форме; - загрузка PDF/DOCX/TXT прямо в базу сравнения (index.ingest_upload); - страница «Отладка»: воркеры Celery и их текущие таски, очереди RabbitMQ, покрытие корпуса эмбеддингами, зависшие и упавшие прогоны, конфиг бэкендов. Защита от краш-лупа по consumer_timeout RabbitMQ (docs/DR-HA.md §6), без неё массовый запуск 170+ источников гарантированно ронял воркер: - PARSER_TIME_BUDGET_S (1500с) — прогон закругляется сам и помечается partial; - worker_prefetch_multiplier=1 — таймаут считается от ДОСТАВКИ сообщения, и с дефолтным префетчем очередь долгих run_parser убивала канал на задачах, которые ещё не начинались. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -114,9 +114,28 @@ export const adminApi = {
|
||||
|
||||
sources: () => api.get('/admin/sources'),
|
||||
createSource: (data: Record<string, unknown>) => api.post('/admin/sources', data),
|
||||
createSourcesBulk: (data: Record<string, unknown>) => api.post('/admin/sources/bulk', data),
|
||||
updateSource: (id: number, data: Record<string, unknown>) => api.patch(`/admin/sources/${id}`, data),
|
||||
deleteSource: (id: number) => api.delete(`/admin/sources/${id}`),
|
||||
runSource: (id: number) => api.post(`/admin/sources/${id}/run`),
|
||||
cancelSource: (id: number) => api.post(`/admin/sources/${id}/cancel`),
|
||||
runAllSources: (sourceType?: string) =>
|
||||
api.post('/admin/sources/run-all', null, { params: sourceType ? { source_type: sourceType } : undefined }),
|
||||
stopAllSources: () => api.post('/admin/sources/stop-all'),
|
||||
sourceRuns: (id: number) => api.get(`/admin/sources/${id}/runs`),
|
||||
activeRuns: () => api.get('/admin/runs/active'),
|
||||
run: (runId: number) => api.get(`/admin/runs/${runId}`),
|
||||
|
||||
debug: () => api.get('/admin/debug'),
|
||||
|
||||
uploadDocuments: (files: File[]) => {
|
||||
const form = new FormData();
|
||||
files.forEach((f) => form.append('files', f));
|
||||
return api.post('/admin/documents/upload', form, {
|
||||
headers: { 'Content-Type': 'multipart/form-data' },
|
||||
timeout: 300000, // пачка файлов грузится дольше одиночной проверки
|
||||
});
|
||||
},
|
||||
|
||||
staging: (params?: { status?: string; limit?: number; offset?: number }) =>
|
||||
api.get('/admin/staging', { params }),
|
||||
|
||||
Reference in New Issue
Block a user