Compare commits
3 Commits
955f46c9ca
...
v1.0.0
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
d4f0020c2c | ||
|
|
3161470a7d | ||
|
|
45368c64bf |
@@ -62,9 +62,13 @@ async def list_news(
|
|||||||
)
|
)
|
||||||
|
|
||||||
if category:
|
if category:
|
||||||
cat = (await db.execute(select(Category).where(Category.slug == category))).scalar_one_or_none()
|
# Поддержка нескольких колледжей: category="slug1,slug2,..."
|
||||||
if cat:
|
slugs = [s for s in (part.strip() for part in category.split(",")) if s]
|
||||||
base = base.where(Article.category_id == cat.id)
|
cat_ids = (
|
||||||
|
await db.execute(select(Category.id).where(Category.slug.in_(slugs)))
|
||||||
|
).scalars().all()
|
||||||
|
if cat_ids:
|
||||||
|
base = base.where(Article.category_id.in_(cat_ids))
|
||||||
else:
|
else:
|
||||||
return {"total": 0, "offset": offset, "limit": limit, "has_more": False, "items": []}
|
return {"total": 0, "offset": offset, "limit": limit, "has_more": False, "items": []}
|
||||||
|
|
||||||
|
|||||||
@@ -388,13 +388,17 @@ async def _get_or_create_tag(name: str, db: AsyncSession) -> Tag:
|
|||||||
|
|
||||||
# ── Post processing ───────────────────────────────────────────────────────────
|
# ── Post processing ───────────────────────────────────────────────────────────
|
||||||
|
|
||||||
async def _process_post(post: dict, category_name: str, db: AsyncSession, strict_filter: bool = True, screen_name: str | None = None) -> bool:
|
async def _process_post(post: dict, category_name: str, db: AsyncSession, strict_filter: bool = True, screen_name: str | None = None) -> str:
|
||||||
|
"""Обрабатывает один VK-пост. Возвращает статус:
|
||||||
|
"imported" — пост сохранён; "exists" — уже есть в БД (догнали историю);
|
||||||
|
"skipped" — пропущен по другой причине (репост известной группы / фильтр / пустой).
|
||||||
|
"""
|
||||||
owner_id = post["owner_id"]
|
owner_id = post["owner_id"]
|
||||||
post_id = post["id"]
|
post_id = post["id"]
|
||||||
vk_slug = _vk_slug(owner_id, post_id)
|
vk_slug = _vk_slug(owner_id, post_id)
|
||||||
|
|
||||||
if await _vk_post_exists(owner_id, post_id, db):
|
if await _vk_post_exists(owner_id, post_id, db):
|
||||||
return False
|
return "exists"
|
||||||
|
|
||||||
text = post.get("text", "")
|
text = post.get("text", "")
|
||||||
attachments = post.get("attachments", [])
|
attachments = post.get("attachments", [])
|
||||||
@@ -410,7 +414,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
|
|||||||
)).scalar_one_or_none()
|
)).scalar_one_or_none()
|
||||||
if in_db:
|
if in_db:
|
||||||
# Оригинал придёт сам из своей группы — пропускаем
|
# Оригинал придёт сам из своей группы — пропускаем
|
||||||
return False
|
return "skipped"
|
||||||
# Берём содержимое оригинала; комментарий репостера добавляем в начало
|
# Берём содержимое оригинала; комментарий репостера добавляем в начало
|
||||||
orig_text = original.get("text", "")
|
orig_text = original.get("text", "")
|
||||||
orig_atts = original.get("attachments", [])
|
orig_atts = original.get("attachments", [])
|
||||||
@@ -421,7 +425,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
|
|||||||
# strict_filter=True: пропускаем пост если нет тегов
|
# strict_filter=True: пропускаем пост если нет тегов
|
||||||
# strict_filter=False: импортируем всё, теги назначаем если найдены
|
# strict_filter=False: импортируем всё, теги назначаем если найдены
|
||||||
if strict_filter and not tag_names:
|
if strict_filter and not tag_names:
|
||||||
return False
|
return "skipped"
|
||||||
|
|
||||||
# Заранее генерируем UUID и slug — используются в путях MinIO
|
# Заранее генерируем UUID и slug — используются в путях MinIO
|
||||||
article_id = uuid.uuid4()
|
article_id = uuid.uuid4()
|
||||||
@@ -545,7 +549,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
|
|||||||
|
|
||||||
content = _sanitize("\n".join(content_parts))
|
content = _sanitize("\n".join(content_parts))
|
||||||
if not content.strip():
|
if not content.strip():
|
||||||
return False
|
return "skipped"
|
||||||
|
|
||||||
title = _early_title
|
title = _early_title
|
||||||
title_slug = _early_slug
|
title_slug = _early_slug
|
||||||
@@ -594,7 +598,7 @@ async def _process_post(post: dict, category_name: str, db: AsyncSession, strict
|
|||||||
.values(article_id=article_id)
|
.values(article_id=article_id)
|
||||||
)
|
)
|
||||||
await db.commit()
|
await db.commit()
|
||||||
return True
|
return "imported"
|
||||||
|
|
||||||
|
|
||||||
# ── VK API fetch ──────────────────────────────────────────────────────────────
|
# ── VK API fetch ──────────────────────────────────────────────────────────────
|
||||||
@@ -674,13 +678,16 @@ async def run_import() -> dict:
|
|||||||
break
|
break
|
||||||
|
|
||||||
batch_new = 0
|
batch_new = 0
|
||||||
|
batch_existing = 0
|
||||||
for post in posts:
|
for post in posts:
|
||||||
try:
|
try:
|
||||||
ok = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name)
|
st = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name)
|
||||||
if ok:
|
if st == "imported":
|
||||||
imported += 1; grp_new += 1; batch_new += 1
|
imported += 1; grp_new += 1; batch_new += 1
|
||||||
else:
|
else:
|
||||||
skipped += 1; grp_skip += 1
|
skipped += 1; grp_skip += 1
|
||||||
|
if st == "exists":
|
||||||
|
batch_existing += 1
|
||||||
except Exception as exc:
|
except Exception as exc:
|
||||||
print(f"[VK] ✗ Пост {post.get('id')}: {exc}")
|
print(f"[VK] ✗ Пост {post.get('id')}: {exc}")
|
||||||
errors += 1; grp_err += 1
|
errors += 1; grp_err += 1
|
||||||
@@ -691,7 +698,16 @@ async def run_import() -> dict:
|
|||||||
|
|
||||||
await asyncio.sleep(1.5)
|
await asyncio.sleep(1.5)
|
||||||
|
|
||||||
if batch_new == 0 or len(posts) < batch or not VK_TOKEN:
|
# Условие остановки:
|
||||||
|
# — строгий фильтр: новых тегированных постов в батче нет → догнали.
|
||||||
|
# — без фильтра: останавливаемся только когда ВЕСЬ батч уже в БД,
|
||||||
|
# иначе пропустили бы более старые нетегированные посты (ранняя остановка).
|
||||||
|
if source.strict_filter:
|
||||||
|
caught_up = batch_new == 0
|
||||||
|
else:
|
||||||
|
caught_up = batch_existing == len(posts)
|
||||||
|
|
||||||
|
if caught_up or len(posts) < batch or not VK_TOKEN:
|
||||||
print(f"[VK] Догнали до уже импортированных, останавливаем группу")
|
print(f"[VK] Догнали до уже импортированных, останавливаем группу")
|
||||||
break
|
break
|
||||||
|
|
||||||
@@ -749,8 +765,8 @@ async def run_history_import(group_id: str | None = None, since_days: int = 365)
|
|||||||
hit_cutoff = True
|
hit_cutoff = True
|
||||||
continue
|
continue
|
||||||
try:
|
try:
|
||||||
ok = await _process_post(post, source.group_name, db, source.strict_filter)
|
st = await _process_post(post, source.group_name, db, source.strict_filter, screen_name=source.screen_name)
|
||||||
if ok:
|
if st == "imported":
|
||||||
imported += 1; grp_new += 1; batch_new += 1
|
imported += 1; grp_new += 1; batch_new += 1
|
||||||
else:
|
else:
|
||||||
skipped += 1; grp_skip += 1
|
skipped += 1; grp_skip += 1
|
||||||
|
|||||||
@@ -11,19 +11,28 @@ const DATE_PRESETS = [
|
|||||||
export default function FilterBar({ categories, tags, filters, onChange }) {
|
export default function FilterBar({ categories, tags, filters, onChange }) {
|
||||||
const set = key => val => onChange({ ...filters, [key]: val })
|
const set = key => val => onChange({ ...filters, [key]: val })
|
||||||
|
|
||||||
|
// Мультивыбор колледжей: filters.category — массив slug'ов
|
||||||
|
const selected = filters.category ?? []
|
||||||
|
const toggleCategory = slug => {
|
||||||
|
const next = selected.includes(slug)
|
||||||
|
? selected.filter(s => s !== slug)
|
||||||
|
: [...selected, slug]
|
||||||
|
set('category')(next)
|
||||||
|
}
|
||||||
|
|
||||||
return (
|
return (
|
||||||
<div className="filter-bar">
|
<div className="filter-bar">
|
||||||
{/* Категории */}
|
{/* Категории (можно выбрать несколько) */}
|
||||||
<div className="filter-row">
|
<div className="filter-row">
|
||||||
<button
|
<button
|
||||||
className={`chip ${!filters.category ? 'chip--active' : 'chip--ghost'}`}
|
className={`chip ${selected.length === 0 ? 'chip--active' : 'chip--ghost'}`}
|
||||||
onClick={() => set('category')(null)}
|
onClick={() => set('category')([])}
|
||||||
>Все</button>
|
>Все</button>
|
||||||
{categories.map(c => (
|
{categories.map(c => (
|
||||||
<button
|
<button
|
||||||
key={c.id}
|
key={c.id}
|
||||||
className={`chip ${filters.category === c.slug ? 'chip--active' : 'chip--ghost'}`}
|
className={`chip ${selected.includes(c.slug) ? 'chip--active' : 'chip--ghost'}`}
|
||||||
onClick={() => set('category')(c.slug)}
|
onClick={() => toggleCategory(c.slug)}
|
||||||
>{c.name}</button>
|
>{c.name}</button>
|
||||||
))}
|
))}
|
||||||
</div>
|
</div>
|
||||||
|
|||||||
@@ -1,4 +1,5 @@
|
|||||||
import React, { useState, useEffect, useCallback, useRef } from 'react'
|
import React, { useState, useEffect, useCallback, useRef } from 'react'
|
||||||
|
import { useSearchParams } from 'react-router-dom'
|
||||||
import { useTheme } from '../hooks/useTheme'
|
import { useTheme } from '../hooks/useTheme'
|
||||||
import { getNews, getCategories, getTags, getArticle } from '../api/index'
|
import { getNews, getCategories, getTags, getArticle } from '../api/index'
|
||||||
import NewsCard from '../components/NewsCard'
|
import NewsCard from '../components/NewsCard'
|
||||||
@@ -19,6 +20,7 @@ function presetToDateFrom(preset) {
|
|||||||
|
|
||||||
export default function NewsFeed() {
|
export default function NewsFeed() {
|
||||||
const { dark, toggle } = useTheme()
|
const { dark, toggle } = useTheme()
|
||||||
|
const [searchParams, setSearchParams] = useSearchParams()
|
||||||
const [articles, setArticles] = useState([])
|
const [articles, setArticles] = useState([])
|
||||||
const [total, setTotal] = useState(0)
|
const [total, setTotal] = useState(0)
|
||||||
const [categories, setCategories] = useState([])
|
const [categories, setCategories] = useState([])
|
||||||
@@ -26,15 +28,20 @@ export default function NewsFeed() {
|
|||||||
const [loading, setLoading] = useState(true)
|
const [loading, setLoading] = useState(true)
|
||||||
const [loadingMore, setLoadingMore] = useState(false)
|
const [loadingMore, setLoadingMore] = useState(false)
|
||||||
const [hasMore, setHasMore] = useState(false)
|
const [hasMore, setHasMore] = useState(false)
|
||||||
const [filters, setFilters] = useState({ category: null, tag: null, datePreset: '' })
|
// Начальное состояние фильтров читаем из URL — ссылка открывает ленту с этими колледжами
|
||||||
|
const [filters, setFilters] = useState(() => ({
|
||||||
|
category: (searchParams.get('category') || '').split(',').filter(Boolean),
|
||||||
|
tag: searchParams.get('tag') || null,
|
||||||
|
datePreset: searchParams.get('period') || '',
|
||||||
|
}))
|
||||||
|
|
||||||
const offsetRef = useRef(0)
|
const offsetRef = useRef(0)
|
||||||
const busyRef = useRef(false)
|
const busyRef = useRef(false)
|
||||||
const sentinelRef = useRef(null)
|
const sentinelRef = useRef(null)
|
||||||
|
|
||||||
// Поиск с debounce
|
// Поиск с debounce (тоже инициализируется из URL)
|
||||||
const [searchInput, setSearchInput] = useState('')
|
const [searchInput, setSearchInput] = useState(() => searchParams.get('q') || '')
|
||||||
const [searchQuery, setSearchQuery] = useState('')
|
const [searchQuery, setSearchQuery] = useState(() => searchParams.get('q') || '')
|
||||||
const debounceRef = useRef(null)
|
const debounceRef = useRef(null)
|
||||||
|
|
||||||
const handleSearch = e => {
|
const handleSearch = e => {
|
||||||
@@ -60,7 +67,7 @@ export default function NewsFeed() {
|
|||||||
|
|
||||||
const buildParams = useCallback((offset) => {
|
const buildParams = useCallback((offset) => {
|
||||||
const params = { limit: PAGE_SIZE, offset }
|
const params = { limit: PAGE_SIZE, offset }
|
||||||
if (filters.category) params.category = filters.category
|
if (filters.category?.length) params.category = filters.category.join(',')
|
||||||
if (filters.tag) params.tag = filters.tag
|
if (filters.tag) params.tag = filters.tag
|
||||||
const df = presetToDateFrom(filters.datePreset)
|
const df = presetToDateFrom(filters.datePreset)
|
||||||
if (df) params.date_from = df
|
if (df) params.date_from = df
|
||||||
@@ -68,6 +75,16 @@ export default function NewsFeed() {
|
|||||||
return params
|
return params
|
||||||
}, [filters, searchQuery])
|
}, [filters, searchQuery])
|
||||||
|
|
||||||
|
// Синхронизируем фильтры/поиск в URL, чтобы адрес можно было скопировать и расшарить
|
||||||
|
useEffect(() => {
|
||||||
|
const p = {}
|
||||||
|
if (filters.category.length) p.category = filters.category.join(',')
|
||||||
|
if (filters.tag) p.tag = filters.tag
|
||||||
|
if (filters.datePreset) p.period = filters.datePreset
|
||||||
|
if (searchQuery) p.q = searchQuery
|
||||||
|
setSearchParams(p, { replace: true })
|
||||||
|
}, [filters, searchQuery, setSearchParams])
|
||||||
|
|
||||||
// Сброс и первая загрузка при смене фильтров/поиска
|
// Сброс и первая загрузка при смене фильтров/поиска
|
||||||
useEffect(() => {
|
useEffect(() => {
|
||||||
let cancelled = false
|
let cancelled = false
|
||||||
|
|||||||
Reference in New Issue
Block a user