Аналитика

Обоз — конкурентная разведка на маркетплейсах

Платформа аналитики на WB/Ozon: 1 848 листингов, 20 245 отзывов, кластеризация через embeddings, авто-SWOT и план 30/60/90 через GigaChat.

Клиент: Внутренний продукт

Год: 2026

Срок: 3+ недели интенсивной разработки

Python 3FastAPITimescaleDBRedisNext.js 15curl_cffiscikit-learnGigaChat-2-MaxQwen3-Embed

8 383

LOC backend Python

5 250

LOC frontend TS/TSX

воркеров фоновых задач

API endpoints (11 роутеров)

1 848

активных листингов (WB+Ozon)

20 245

отзывов в 91 кластере

Задача клиента

1Антибот WB: search.wb.ru с RU-VPS-IP отдаёт 403 → reverse SSH-туннель в дом для wb_search

2Антибот Ozon: composer-api.bx с VPS отдаёт 403 → внешний агент oboz_ozon_scraper.py на Windows-ПК через Я.Браузер CDP

3WB не отдаёт реальные продажи → прокси sold_total = nmFeedbacks * 20 (REVIEW_RATIO=20, эмпирика стройхимии)

4Race protection через pg_advisory_xact_lock(hashtext('oboz_worker_'||name)) ВНУТРИ db.begin() — закрывает гонку cron vs manual

5Sanitize traceback (head 600 + tail 1200) с 6 категориями regex для удаления секретов из worker_run.err_msg

6Cross-process Redis-lock на GigaChat (общий с ChemCat / Horizon / Comply / Perimeter / Komendant) — concurrency=1

Фича 1

18 воркеров: discovery → snapshot → enrich → cluster → SWOT

Полный цикл сборки + analytics + LLM в фоновых задачах

discovery (по 16 tracked-брендам через iter_seller_catalog + wb_search + Ozon iter_seller_products), snapshot (4×/сутки card.wb.ru/v4/detail батчами по 100), reviews (daily, через feedbacks1.wb.ru или feedbacks2.wb.ru), serp (2×/сутки по 54 ключам), enrich_listings (regex CATEGORY_RULES, 1 883 листинга за 2-3с), enrich_wb_basket (basket-CDN до NN=80), fix_sold_total (proxy), review_cluster (KMeans+TF-IDF), auto_swot (7 SQL → 3 prompt), alert_detector (5 детекторов), tasks_sync (6 источников), daily_digest, collect_all (оркестратор).

worker_helper.run_context — async ctx с pg_advisory_xact_lock, mark_orphans_fail, finish_run sanitized

6 категорий sanitize regex: DSN-passwords, Bearer/Auth, Marketplace API keys, JSON secrets, AWS, GIGACHAT_CREDENTIALS

allow_concurrent=True для snapshot/reviews/serp (без advisory-lock)

64 worker_run-записи (V4.7), Ozon отключён через VPS — данные через /api/ingest/ozon от Playwright-агента

Фича 2

Auto-SWOT через GigaChat (3 промпта на бренд)

7 SQL-фактов → SWOT, План 90д, Exec Summary

7 SQL-фактов в JSON (listings WB/Ozon, brands list, top_categories top-10, weak_categories CTE, health_score market vs Основит, top-6 review-кластеров, gray-resellers, GMV WB) → 3 prompt: SWOT (5-7 пунктов в каждой категории, max_tokens 3500), Plan-90d (горизонты 30/60/90 по 5-8 активностей с kpi/action/owner/expected, 3500), Exec Summary (180 слов, 3-4 абзаца, 1500). temperature=0.3. Cross-project Redis-lock TTL 360s, atomic Lua-release. 3 retry × 80s + backoff [10, 30, 60].

GigaChat-2-Max через OAuth + Russian Trusted Root CA

Token cache module-level + tokenRefreshPromise lock, expires_at > now+30s

Парсинг ```json``` обёрток + fallback {raw: text}

91 кластер на 16 брендов, runtime review_cluster 470 сек

Фича 3

Revenue calculator (₽-формулы)

Прозрачные формулы: всё в рубли в месяц

core/revenue_calc.py — content_loss / map_violation_loss / stock_out_loss / serp_loss / grey_market_loss. Константы: DEFAULT_MARGIN=0.30, PHOTO_UPLIFT_PCT=0.05 (+5% CR/фото до 8), DESC_UPLIFT_PER_250=0.03, VIDEO_UPLIFT_PCT=0.08, DEFAULT_CR=0.025, DAYS=30. SERP_CTR таблица: pos1=0.20, pos2=0.12, pos3=0.08, pos5=0.05, pos10=0.022, pos20=0.005.

6 типов auto-suggestions: content_photos / video / desc / serp_low/missing / stock / review_negative

5 детекторов alerts: map_violation (>10%), stock_low (<30 ед), competitor_new, price_drop (>15%), serp_drop

UPSERT alerts через ON CONFLICT (kind, COALESCE(listing_id::text, title)) — дедуп с NULL listing_id

200 content-gaps Основит → 102k ₽/мес упускаемая выручка

Фича 4

Pulse-главная: воронка продаж 7 этапов

Видимость → Показы → Клики → CR → Продано → AOV → GMV

api/pulse.py (413 LOC) — funnel из 7 этапов с цифрами на каждом, 5 KPI с trend 7 дней, top-3 problems / top-3 opportunities (deep-link /sku/{id}), changes_7d. Главная переписана с 8 фактов на структурированный нарратив. Plurals, null-safety, mp echo whitelist. Pulse-воронка Основит: 160 слотов TOP-20 → 960k показов/мес → 48k кликов/мес → CR 15.88% → 7 623 ед → AOV 2 257 ₽ → GMV 17.2M ₽.

SKU-карта /sku/[id] с 11 секциями и 6 типами auto-suggestions

Deep-links из всех страниц аналитики на /sku/[id]

ActionFooter универсальный с owner+₽+link на 5 страницах

Watchlist + Tasks с audit-trail (6 источников: alerts/content-gaps/gray-market/serp/regions/sku)

Источники данных и AI-фичи

WB + Ozon + GigaChat + Qwen3 ONNX

WB API

catalog/search/card/feedbacks/supplier-by-id (5 endpoints)

WB basket-CDN

Full card.json (description, options, media), NN от 01 до 80

WB warehouse-CDN

stores-data.json — 73k записей, 63/63 маппинг

Ozon composer-api

Отключён через VPS (403 antibot), только домашний агент

Ozon Playwright-агент

Я.Браузер + CDP → POST /api/ingest/ozon с Bearer

Embedding service

Qwen3-Embedding-0.6B INT8 ONNX, 1024-dim

GigaChat-2-Max

3 промпта (SWOT, Plan-90d, Exec Summary), Russian Trusted Root CA

Кластеризация отзывов

KMeans + TF-IDF, n_clusters адаптивно от 3 до 10

5 типов alerts

map_violation, stock_low, competitor_new, price_drop, serp_drop

revenue_calc

SERP_CTR таблица pos1=0.20…pos20=0.005, 6 формул потерь

Архитектура

FastAPI Backend

Docker oboz-api :8102, 8 383 LOC

Next.js 15 Frontend

Docker oboz-frontend :3050, App Router

TimescaleDB pg16

Hypertables price/stock/sales/serp

Redis 7

Кэш + in-process lock + GigaChat lock

arq + APScheduler

Async jobs + расписания

HOME_EXIT_PROXY

socks5h://127.0.0.1:10180 — reverse SSH

Технический стек

Backend

Python 3

FastAPI 0.115 + Pydantic 2.10

ORM

SQLAlchemy 2.0

asyncpg + Alembic

Database

TimescaleDB

pg16 + pg_trgm, hypertables

Cache

Redis 7

+ cross-project lock

Frontend

Next.js 15

+ TypeScript + shadcn/ui

Styling

Tailwind

+ Recharts

HTTP

curl_cffi 0.7

TLS-impersonate, обход анти-бота WB

scikit-learn

1.6 — KMeans + TfidfVectorizer

Export

reportlab

+ openpyxl + python-pptx

Workers

arq + APScheduler

0.26 + 3.10 async jobs

LLM

GigaChat-2-Max

OAuth + Russian Trusted Root CA

Embedding

Qwen3-Embed

1024-dim ONNX INT8

Результаты

1 848

отслеживаемых листингов (16 брендов, 21 категория)

20 245

отзывов в 91 кластере (Основит — 10 кластеров на 747 текстов)

17.2M ₽

расчётный месячный GMV Основит на WB

5+6

типов alerts и auto-suggestions с rev-uplift в ₽

Нужен похожий проект?

Обсудим вашу задачу и предложим оптимальное решение.

Обсудить проект