fix: корректные source_url для VK постов (screen_name формат)

- VkSource: добавлено поле screen_name, заполняется из VK API при добавлении источника
- vk_parser: source_url теперь в формате vk.com/{screen_name}?w=wall{owner}_{post}
  вместо устаревшего vk.com/wall{owner}_{post}
- _vk_post_exists: проверка через LIKE чтобы находить оба формата URL
- admin_vk: автоматически получает screen_name при создании/обновлении источника
- admin_system: исправлен regex в repair-media-urls — только /news-media/ URL
- Alembic миграция: b2c3d4e5f6a7 добавляет колонку screen_name в vk_sources

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
jze9
2026-05-20 19:32:28 +05:00
parent 9e277de65d
commit 615c819e97
5 changed files with 62 additions and 8 deletions

View File

@@ -138,12 +138,13 @@ async def repair_media_urls(db: AsyncSession = Depends(get_db), _: str = Depends
RETURNING id
"""), {"new_base": new_base, "prefix": new_base + "%"})
# HTML-контент: src="http://host/news-media/path" → src="new_base/path"
# HTML-контент: только MinIO URL вида src="http://host/news-media/path"
# Точный паттерн: URL содержит /news-media/ — не трогаем другие ссылки
r_content = await db.execute(text(r"""
UPDATE articles
SET content = regexp_replace(
content,
'https?://[^/]+(:[0-9]+)?/[^/]+/([^"'' ]+)',
'https?://[^/''"]+(:[0-9]+)?/news-media/([^''">]+)',
:new_base || '/\2',
'g'
)

View File

@@ -1,3 +1,4 @@
import httpx
from fastapi import APIRouter, BackgroundTasks, Depends, HTTPException # BackgroundTasks используется в history endpoints
from pydantic import BaseModel
from sqlalchemy import select
@@ -18,11 +19,30 @@ class SourceIn(BaseModel):
strict_filter: bool = True
async def _fetch_screen_name(group_id: str) -> str | None:
if not VK_TOKEN:
return None
try:
async with httpx.AsyncClient(timeout=5) as client:
r = await client.get(
"https://api.vk.com/method/groups.getById",
params={"group_ids": group_id, "access_token": VK_TOKEN, "v": "5.131"},
)
data = r.json()
groups = data.get("response", [])
if groups:
return groups[0].get("screen_name")
except Exception:
pass
return None
def _source_dict(s: VkSource) -> dict:
return {
"id": str(s.id),
"group_id": s.group_id,
"group_name": s.group_name,
"screen_name": s.screen_name,
"enabled": s.enabled,
"strict_filter": s.strict_filter,
"last_run": s.last_run.isoformat() if s.last_run else None,
@@ -58,7 +78,8 @@ async def add_source(data: SourceIn, db: AsyncSession = Depends(get_db), _: str
exists = (await db.execute(select(VkSource).where(VkSource.group_id == group_id))).scalar_one_or_none()
if exists:
raise HTTPException(status_code=409, detail="Источник с таким group_id уже есть")
source = VkSource(group_id=group_id, group_name=data.group_name, enabled=data.enabled, strict_filter=data.strict_filter)
screen_name = await _fetch_screen_name(group_id)
source = VkSource(group_id=group_id, group_name=data.group_name, screen_name=screen_name, enabled=data.enabled, strict_filter=data.strict_filter)
db.add(source)
await db.commit()
await db.refresh(source)
@@ -74,6 +95,8 @@ async def update_source(source_id: str, data: SourceIn, db: AsyncSession = Depen
source.group_name = data.group_name
source.enabled = data.enabled
source.strict_filter = data.strict_filter
if not source.screen_name:
source.screen_name = await _fetch_screen_name(source.group_id)
await db.commit()
await db.refresh(source)
return _source_dict(source)