Сквозная аналитика: BI-платформа для производственной компании
Self-hosted BI-стек на Lightdash + dbt + Dagster + Scrapy + Postgres 17: 47 dbt-моделей с full lineage, 22 Dagster ETL-asset, 7 готовых дашбордов (Money In, Атрибуция, Воронка, Correct CPL, Аномалии, Конкуренты, SEO). Multi-touch attribution (first / last / linear / time-decay), Prophet-прогноз CPL на 30 дней, anomaly z-score detection, cross-system stitching через dim_visitor.
Задача клиента
Слой моделей данных с прослеживаемостью
22 staging + 65 marts
87 моделей покрывают весь путь данных: слой нормализации приводит к единому виду сырые данные из восьми источников, витрины собирают факты и измерения для дашбордов. Прослеживаемость и документация генерируются автоматически: видно, какая модель из какого источника зависит и куда передаёт данные дальше. Витрины атрибуции считают first / last / linear / time-decay для каждого лида и сделки.
Слой моделей данных с прослеживаемостью
Данные проходят слоями: сырые источники, очистка вstaging, склейка и обогащение в промежуточном слое, затем витриныmartsдля BI. Любой показатель прослеживается до исходной таблицы по графу зависимостей.
Граф моделей · lineage
Оркестрация загрузок с повторами и контролем
44 процесса по расписанию
Оркестратор ведёт 44 процесса с описанными зависимостями: сбор собственного каталога и каталогов конкурентов плюс интеграции с рекламными кабинетами, веб-аналитикой, CRM, учётной системой, коллтрекингом, email-рассылками и реестром госзакупок. При сбое любого процесса ответственный получает уведомление. Расписание распределено по ночным часам, чтобы равномерно нагружать внешние API.
Оркестрация загрузок
Все выгрузки и пересчёты запускаются по расписанию как отдельные процессы. Сбойный шаг повторяется автоматически с экспоненциальной задержкой; после исчерпания попыток ставится статусerrorи отправляется оповещение, остальные процессы продолжают работу.
Лента прогонов · сегодня
Расписание
13 готовых дашбордов
От расходов на маркетинг до прогнозов
Расходы и отдача от рекламы по каналам. Атрибуция: путь от визита к лиду, сделке и выручке с разбивкой по моделям. Воронка по этапам сделки с конверсиями. Пересчёт стоимости лида по каждой модели атрибуции. Поиск аномалий с уровнями важности. Сравнение цен и наличия с конкурентами. Аналитика SEO, прогнозы и витрины тендеров и B2B-направлений.
Воронка с автоматической атрибуцией
Каждая стадия отслеживается через events в Postgres, склейка визитов и сделок черезdim_visitorс yclid / gclid / phone / email stitching. Drop-rate подсвечивается красным если ухудшается на 10% к предыдущей неделе.
Funnel · last 30 days
Не только last-click
Сравнение четырёх моделей в одной таблице. First-touch показывает где привлекаем впервые, last-touch: где закрываем, linear делит поровну, time-decay даёт вес по близости к конверсии. Решение по бюджету принимается на основе linear / time-decay, а не привычного last-click.
Attribution comparison
| Канал | First-touch | Last-touch | Linear | Time-decay |
|---|---|---|---|---|
| Яндекс.Директ | 4 820 000 ₽ | 2 140 000 ₽ | 3 480 000 ₽ | 3 010 000 ₽ |
| SEO (organic) | 5 230 000 ₽ | 3 870 000 ₽ | 4 510 000 ₽ | 4 320 000 ₽ |
| 1 240 000 ₽ | 2 850 000 ₽ | 1 980 000 ₽ | 2 380 000 ₽ | |
| Direct | 980 000 ₽ | 3 720 000 ₽ | 2 350 000 ₽ | 2 980 000 ₽ |
| Referral | 1 960 000 ₽ | 1 650 000 ₽ | 1 910 000 ₽ | 1 540 000 ₽ |
Prophet-forecast: куда движется CPL
Стандартный Prophet от Meta учитывает недельную сезонность и тренд. Доверительный интервал даёт диапазон вместо точечного значения. Когда фактическое значение выходит за band, отправляется Telegram-нотификация маркетологу.
CPL forecast · Prophet
Аномалии по z-score, 30-day rolling window
Простой и устойчивый детектор: z = (current − mean) / stddev по 30 дням. Пороги настраиваются черезdbt vars. Срабатывает быстрее чем «упало vs прошлая неделя» и не зависит от дня недели.
Anomaly monitor
| KPI | Текущее | 30-day avg | z-score | Severity |
|---|---|---|---|---|
| CPL Я.Директ | 2 480 ₽ | 1 245 ₽ | +3.2 | HIGH |
| Leads / day | 18 | 42 | -2.8 | MEDIUM |
| CR visit → lead | 1.4% | 5.1% | -4.1 | CRITICAL |
| Avg deal value | 78 200 ₽ | 76 094 ₽ | +0.1 | OK |
| Bounce rate | 64% | 48% | +2.6 | MEDIUM |
| Direct traffic | 4 800 | 2 100 | +5.3 | CRITICAL |
Связь с продуктовыми базами и резервное копирование
Аналитика поверх данных продукта без копирования
Платформа умеет читать данные из внешних продуктовых баз напрямую, без переноса и дублирования: можно соединять транзакционные данные продукта с аналитической схемой в одном запросе. Контекст клиента пробрасывается прозрачно, поэтому разграничение доступа на стороне продукта продолжает работать. Резервное копирование ежедневное, с понятным планом восстановления.
Связь с базами и резервное копирование
Источники подключаются единообразно через коннекторы; состояние каждого подключения видно на одной панели. Хранилище и витрины ежедневно копируются с ротацией, недельные снимки закрепляются отдельно для долгого хранения и проверяются восстановлением.
Подключённые источники
Резервное копирование
13 готовых дашбордов
От выручки и воронки до прогнозов и поиска аномалий
Архитектура
BI-интерфейс
Своя BI-платформа, 13 дашбордов, переход в детали, интерфейс на русском
Модели данных
87 моделей (22 staging + 65 marts), полная прослеживаемость и документация
Оркестратор
44 процесса, расписание и контроль, уведомления о сбоях
Сбор каталога
Сбор собственного каталога и каталогов конкурентов
PostgreSQL 17
Аналитическая схема и чтение внешних продуктовых баз
Прогнозирование
Прогноз стоимости лида и заявок на 30 дней с интервалами доверия
Уведомления
Сообщения о сбоях загрузок и об аномалиях
Резервные копии
Ежедневные и недельные копии, план восстановления
