26de1b9de1
Заливку Википедии и PMC я сделал отдельными скриптами мимо существующей инфраструктуры: запуск руками через ssh, состояние в файле в /tmp, никакой видимости. Результат предсказуем — за неделю обе умерли молча (обрыв базы на 20 008 статьях из 2 млн и таймаут сети на 85 тыс. из 100 тыс.), прогресс потерялся, а узнали мы об этом через неделю. При том что рядом лежит готовый механизм: parse_sources, прогоны со шкалой, журнал, кнопки, ретраи Celery. Теперь это обычные типы источника — wikipedia_ru и pmc_bulk: - заводятся и запускаются из админки, как OpenAlex или КиберЛенинка; - показывают ту же шкалу, журнал и кнопку остановки; - падение воркера больше не теряет прогресс: позиция продолжения хранится в parse_sources.resume_token (номер статьи в дампе / токен страницы бакета), повторный запуск берёт следующую порцию; - укладываются в бюджет времени таска — заливка идёт порциями, а не одним многосуточным процессом. Чего не хватало конвейеру для миллионов и что добавлено: - парсеры отдают генератор, а не список: 2 млн статей в память не влезают; - app/bulk_writer.py — запись пачками через COPY (21 тыс. строк/с против 6.7 тыс. построчно) с переподключением к базе при обрыве; - эмбеддинги при массовой заливке не диспатчатся: они на порядок медленнее и стали бы узким местом, вектора досчитываются отдельно (reembed_missing.py). scripts/ops/bulk_ingest_*.py удалены — их работу делает конвейер. Проверено на проде: оба парсера отдают документы, прогон через run_parser завершается штатно, позиция продолжения сдвигается (300 → 600), повторный запуск продолжает с неё. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
30 lines
1.1 KiB
Python
30 lines
1.1 KiB
Python
"""Позиция продолжения массовой заливки в источнике.
|
||
|
||
Revision ID: 007
|
||
Revises: 006
|
||
Create Date: 2026-09-05
|
||
|
||
Массовые источники (дамп Википедии, бакет PMC) заливаются частями: за один
|
||
прогон берётся столько статей, сколько влезает в бюджет времени таска. Чтобы
|
||
следующий прогон продолжал с того же места, а не перечитывал залитое заново,
|
||
позиция сохраняется прямо в источнике: для Википедии это номер статьи в дампе,
|
||
для PMC — токен страницы бакета.
|
||
"""
|
||
|
||
import sqlalchemy as sa
|
||
|
||
from alembic import op
|
||
|
||
revision = "007"
|
||
down_revision = "006"
|
||
branch_labels = None
|
||
depends_on = None
|
||
|
||
|
||
def upgrade() -> None:
|
||
op.add_column("parse_sources", sa.Column("resume_token", sa.Text(), nullable=True))
|
||
|
||
|
||
def downgrade() -> None:
|
||
op.drop_column("parse_sources", "resume_token")
|