feat(ops): заливка русской Википедии — единственный доступный источник объёма
У корпуса катастрофически мало пригодного русского текста: 99 883 документа КиберЛенинки лежат со средней глубиной 30 отпечатков, то есть заголовок с аннотацией. Проверил все русскоязычные источники, о которых имело смысл думать: - Википедия ru — работает: дамп 5.6 ГБ читается потоком (на app-хосте всего 22 ГБ свободно, поэтому без сохранения на диск), ~919 отпечатков на статью. Wikimedia отдаёт 403 без осмысленного User-Agent — учтено; - КиберЛенинка — блокирует выкачку после ~130 запросов (замер 28.08); - OpenAlex language:ru + OA — заявлено 395 410 работ, но по прямым pdf_url скачалось 2 из 10, остальное 403 издателей; метка языка ненадёжна — в выдаче англоязычные журналы. Массово не годится; - eLIBRARY.RU — только по договору, Math-Net.Ru — 403 на архиве. Википедия формально не научный источник, но студенты копируют из неё чаще, чем из статей, а по объёму связного русского текста альтернатив среди доступного нет. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
@@ -58,6 +58,20 @@
|
||||
документов без вектора. Считает новый сервер эмбеддингов (192.168.1.40,
|
||||
3.6 док/с против 2.2 у прежнего), полный проход занимает около 6.5 часов.
|
||||
|
||||
### Источники русского текста — что проверено (31.08.2026)
|
||||
|
||||
| Источник | Объём | Годен для массовой заливки |
|
||||
|----------|-------|----------------------------|
|
||||
| **Википедия ru** | дамп 5.6 ГБ, ~2 млн статей | **да** — `bulk_ingest_wikipedia_ru.py`, потоком без блокировок, ~919 отпечатков на статью. Требует осмысленный User-Agent, иначе 403 |
|
||||
| КиберЛенинка | ~3 млн статей | нет — блокирует выкачку PDF после ~130 запросов |
|
||||
| OpenAlex `language:ru` + OA | заявлено 395 410 | практически нет — по прямым `pdf_url` скачалось 2 из 10 (остальное 403 издателей), а метка языка ненадёжна: в выдаче попадаются англоязычные журналы |
|
||||
| eLIBRARY.RU (РИНЦ) | ~40 млн | только по договору, публичной выгрузки нет |
|
||||
| Math-Net.Ru | российские матжурналы | архив отдаёт 403 |
|
||||
| НЭБ, BASE, вузовские DSpace | — | открыты, механизм выгрузки не проверялся |
|
||||
|
||||
Википедия формально не научный источник, но студенты копируют из неё чаще всего,
|
||||
а по объёму связного русского текста ей нет альтернативы среди доступного.
|
||||
|
||||
### Массовая заливка: bulk вместо API
|
||||
|
||||
Постраничные API дают 1-2 статьи в секунду и упираются в rate limit — миллионы
|
||||
|
||||
Reference in New Issue
Block a user