Compare commits

...

3 Commits

Author SHA1 Message Date
jze9
d4f0020c2c feat: фильтры ленты синхронизируются с URL (расшариваемые ссылки)
NewsFeed читает category/tag/period/q из query-параметров при загрузке
и пишет их обратно в URL при изменении фильтров. Теперь адрес в строке
браузера — готовая ссылка: ?category=slug1,slug2 открывает ленту сразу
с выбранными колледжами (для кнопок на внешнем сайте).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-07-12 22:13:32 +05:00
jze9
3161470a7d feat: мультивыбор колледжей в фильтре публичной ленты
Параметр category в /news принимает несколько slug'ов через запятую
(category_id IN ...), обратно совместим с одиночным slug. FilterBar:
чипы колледжей стали переключателями (можно отметить несколько),
filters.category теперь массив.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-17 18:47:19 +05:00
jze9
45368c64bf fix: VK-импорт без фильтра добирает всю историю в фоне
run_import останавливал группу по batch_new==0, из-за чего для групп
без строгого фильтра (strict_filter=False) фоновый импорт обрывался на
первом батче без новых записей и не доходил до более старых
нетегированных постов.

_process_post теперь возвращает статус imported|exists|skipped, а
условие остановки ветвится: строгий фильтр — прежнее поведение,
без фильтра — стоп только когда весь батч уже в БД.
Заодно run_history_import передаёт screen_name для корректных source_url.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-17 18:47:13 +05:00
4 changed files with 70 additions and 24 deletions

View File

@@ -62,9 +62,13 @@ async def list_news(
) )
if category: if category:
cat = (await db.execute(select(Category).where(Category.slug == category))).scalar_one_or_none() # Поддержка нескольких колледжей: category="slug1,slug2,..."
if cat: slugs = [s for s in (part.strip() for part in category.split(",")) if s]
base = base.where(Article.category_id == cat.id) cat_ids = (
await db.execute(select(Category.id).where(Category.slug.in_(slugs)))
).scalars().all()
if cat_ids:
base = base.where(Article.category_id.in_(cat_ids))
else: else:
return {"total": 0, "offset": offset, "limit": limit, "has_more": False, "items": []} return {"total": 0, "offset": offset, "limit": limit, "has_more": False, "items": []}

View File

@@ -388,13 +388,17 @@ async def _get_or_create_tag(name: str, db: AsyncSession) -> Tag:
# ── Post processing ─────────────────────────────────────────────────────────── # ── Post processing ───────────────────────────────────────────────────────────
async def _process_post(post: dict, category_name: str, db: AsyncSession, strict_filter: bool = True, screen_name: str | None = None) -> bool: async def _process_post(post: dict, category_name: str, db: AsyncSession, strict_filter: bool = True, screen_name: str | None = None) -> str:
"""Обрабатывает один VK-пост. Возвращает статус:
"imported" — пост сохранён; "exists" — уже есть в БД (догнали историю);
"skipped" — пропущен по другой причине (репост известной группы / фильтр / пустой).
"""
owner_id = post["owner_id"] owner_id = post["owner_id"]
post_id = post["id"] post_id = post["id"]
vk_slug = _vk_slug(owner_id, post_id) vk_slug = _vk_slug(owner_id, post_id)
if await _vk_post_exists(owner_id, post_id, db): if await _vk_post_exists(owner_id, post_id, db):
return False return "exists"
text = post.get("text", "") text = post.get("text", "")
attachments = post.get("attachments", []) attachments = post.get("attachments", [])
@@ -410,7 +414,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
)).scalar_one_or_none() )).scalar_one_or_none()
if in_db: if in_db:
# Оригинал придёт сам из своей группы — пропускаем # Оригинал придёт сам из своей группы — пропускаем
return False return "skipped"
# Берём содержимое оригинала; комментарий репостера добавляем в начало # Берём содержимое оригинала; комментарий репостера добавляем в начало
orig_text = original.get("text", "") orig_text = original.get("text", "")
orig_atts = original.get("attachments", []) orig_atts = original.get("attachments", [])
@@ -421,7 +425,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
# strict_filter=True: пропускаем пост если нет тегов # strict_filter=True: пропускаем пост если нет тегов
# strict_filter=False: импортируем всё, теги назначаем если найдены # strict_filter=False: импортируем всё, теги назначаем если найдены
if strict_filter and not tag_names: if strict_filter and not tag_names:
return False return "skipped"
# Заранее генерируем UUID и slug — используются в путях MinIO # Заранее генерируем UUID и slug — используются в путях MinIO
article_id = uuid.uuid4() article_id = uuid.uuid4()
@@ -545,7 +549,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
content = _sanitize("\n".join(content_parts)) content = _sanitize("\n".join(content_parts))
if not content.strip(): if not content.strip():
return False return "skipped"
title = _early_title title = _early_title
title_slug = _early_slug title_slug = _early_slug
@@ -594,7 +598,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
.values(article_id=article_id) .values(article_id=article_id)
) )
await db.commit() await db.commit()
return True return "imported"
# ── VK API fetch ────────────────────────────────────────────────────────────── # ── VK API fetch ──────────────────────────────────────────────────────────────
@@ -674,13 +678,16 @@ async def run_import() -> dict:
break break
batch_new = 0 batch_new = 0
batch_existing = 0
for post in posts: for post in posts:
try: try:
ok = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name) st = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name)
if ok: if st == "imported":
imported += 1; grp_new += 1; batch_new += 1 imported += 1; grp_new += 1; batch_new += 1
else: else:
skipped += 1; grp_skip += 1 skipped += 1; grp_skip += 1
if st == "exists":
batch_existing += 1
except Exception as exc: except Exception as exc:
print(f"[VK] ✗ Пост {post.get('id')}: {exc}") print(f"[VK] ✗ Пост {post.get('id')}: {exc}")
errors += 1; grp_err += 1 errors += 1; grp_err += 1
@@ -691,7 +698,16 @@ async def run_import() -> dict:
await asyncio.sleep(1.5) await asyncio.sleep(1.5)
if batch_new == 0 or len(posts) < batch or not VK_TOKEN: # Условие остановки:
# — строгий фильтр: новых тегированных постов в батче нет → догнали.
# — без фильтра: останавливаемся только когда ВЕСЬ батч уже в БД,
# иначе пропустили бы более старые нетегированные посты (ранняя остановка).
if source.strict_filter:
caught_up = batch_new == 0
else:
caught_up = batch_existing == len(posts)
if caught_up or len(posts) < batch or not VK_TOKEN:
print(f"[VK] Догнали до уже импортированных, останавливаем группу") print(f"[VK] Догнали до уже импортированных, останавливаем группу")
break break
@@ -749,8 +765,8 @@ async def run_history_import(group_id: str | None = None, since_days: int = 365)
hit_cutoff = True hit_cutoff = True
continue continue
try: try:
ok = await _process_post(post, source.group_name, db, source.strict_filter) st = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name)
if ok: if st == "imported":
imported += 1; grp_new += 1; batch_new += 1 imported += 1; grp_new += 1; batch_new += 1
else: else:
skipped += 1; grp_skip += 1 skipped += 1; grp_skip += 1

View File

@@ -11,19 +11,28 @@ const DATE_PRESETS = [
export default function FilterBar({ categories, tags, filters, onChange }) { export default function FilterBar({ categories, tags, filters, onChange }) {
const set = key => val => onChange({ ...filters, [key]: val }) const set = key => val => onChange({ ...filters, [key]: val })
// Мультивыбор колледжей: filters.category — массив slug'ов
const selected = filters.category ?? []
const toggleCategory = slug => {
const next = selected.includes(slug)
? selected.filter(s => s !== slug)
: [...selected, slug]
set('category')(next)
}
return ( return (
<div className="filter-bar"> <div className="filter-bar">
{/* Категории */} {/* Категории (можно выбрать несколько) */}
<div className="filter-row"> <div className="filter-row">
<button <button
className={`chip ${!filters.category ? 'chip--active' : 'chip--ghost'}`} className={`chip ${selected.length === 0 ? 'chip--active' : 'chip--ghost'}`}
onClick={() => set('category')(null)} onClick={() => set('category')([])}
>Все</button> >Все</button>
{categories.map(c => ( {categories.map(c => (
<button <button
key={c.id} key={c.id}
className={`chip ${filters.category === c.slug ? 'chip--active' : 'chip--ghost'}`} className={`chip ${selected.includes(c.slug) ? 'chip--active' : 'chip--ghost'}`}
onClick={() => set('category')(c.slug)} onClick={() => toggleCategory(c.slug)}
>{c.name}</button> >{c.name}</button>
))} ))}
</div> </div>

View File

@@ -1,4 +1,5 @@
import React, { useState, useEffect, useCallback, useRef } from 'react' import React, { useState, useEffect, useCallback, useRef } from 'react'
import { useSearchParams } from 'react-router-dom'
import { useTheme } from '../hooks/useTheme' import { useTheme } from '../hooks/useTheme'
import { getNews, getCategories, getTags, getArticle } from '../api/index' import { getNews, getCategories, getTags, getArticle } from '../api/index'
import NewsCard from '../components/NewsCard' import NewsCard from '../components/NewsCard'
@@ -19,6 +20,7 @@ function presetToDateFrom(preset) {
export default function NewsFeed() { export default function NewsFeed() {
const { dark, toggle } = useTheme() const { dark, toggle } = useTheme()
const [searchParams, setSearchParams] = useSearchParams()
const [articles, setArticles] = useState([]) const [articles, setArticles] = useState([])
const [total, setTotal] = useState(0) const [total, setTotal] = useState(0)
const [categories, setCategories] = useState([]) const [categories, setCategories] = useState([])
@@ -26,15 +28,20 @@ export default function NewsFeed() {
const [loading, setLoading] = useState(true) const [loading, setLoading] = useState(true)
const [loadingMore, setLoadingMore] = useState(false) const [loadingMore, setLoadingMore] = useState(false)
const [hasMore, setHasMore] = useState(false) const [hasMore, setHasMore] = useState(false)
const [filters, setFilters] = useState({ category: null, tag: null, datePreset: '' }) // Начальное состояние фильтров читаем из URL — ссылка открывает ленту с этими колледжами
const [filters, setFilters] = useState(() => ({
category: (searchParams.get('category') || '').split(',').filter(Boolean),
tag: searchParams.get('tag') || null,
datePreset: searchParams.get('period') || '',
}))
const offsetRef = useRef(0) const offsetRef = useRef(0)
const busyRef = useRef(false) const busyRef = useRef(false)
const sentinelRef = useRef(null) const sentinelRef = useRef(null)
// Поиск с debounce // Поиск с debounce (тоже инициализируется из URL)
const [searchInput, setSearchInput] = useState('') const [searchInput, setSearchInput] = useState(() => searchParams.get('q') || '')
const [searchQuery, setSearchQuery] = useState('') const [searchQuery, setSearchQuery] = useState(() => searchParams.get('q') || '')
const debounceRef = useRef(null) const debounceRef = useRef(null)
const handleSearch = e => { const handleSearch = e => {
@@ -60,7 +67,7 @@ export default function NewsFeed() {
const buildParams = useCallback((offset) => { const buildParams = useCallback((offset) => {
const params = { limit: PAGE_SIZE, offset } const params = { limit: PAGE_SIZE, offset }
if (filters.category) params.category = filters.category if (filters.category?.length) params.category = filters.category.join(',')
if (filters.tag) params.tag = filters.tag if (filters.tag) params.tag = filters.tag
const df = presetToDateFrom(filters.datePreset) const df = presetToDateFrom(filters.datePreset)
if (df) params.date_from = df if (df) params.date_from = df
@@ -68,6 +75,16 @@ export default function NewsFeed() {
return params return params
}, [filters, searchQuery]) }, [filters, searchQuery])
// Синхронизируем фильтры/поиск в URL, чтобы адрес можно было скопировать и расшарить
useEffect(() => {
const p = {}
if (filters.category.length) p.category = filters.category.join(',')
if (filters.tag) p.tag = filters.tag
if (filters.datePreset) p.period = filters.datePreset
if (searchQuery) p.q = searchQuery
setSearchParams(p, { replace: true })
}, [filters, searchQuery, setSearchParams])
// Сброс и первая загрузка при смене фильтров/поиска // Сброс и первая загрузка при смене фильтров/поиска
useEffect(() => { useEffect(() => {
let cancelled = false let cancelled = false