Создание инструмента мониторинга конкурентов на Node.js

Мониторинг изменений на сайте конкурента может быть важным аспектом анализа рынка и поддержания конкурентоспособности. Вместо ручной проверки сайта конкурента, которая может быть трудоемкой и неэффективной, можно создать автоматический инструмент для мониторинга изменений. Этот инструмент может быть реализован на Node.js всего в 30 строках кода.

Обзор подхода

Для создания инструмента мониторинга конкурентов можно использовать API сервиса SnapAPI, который предоставляет структурированную информацию о любой странице сайта, включая тип страницы, основной призыв к действию (CTA), обнаруженные технологии и многое другое. Этот подход позволяет избежать скрапинга HTML и парсинга, вместо этого можно просто запросить необходимую информацию и сравнить ее с предыдущим состоянием.

Реализация инструмента

Инструмент мониторинга конкурентов будет опрашивать заданный URL ежедневно и сообщать об изменениях в основном CTA или технологическом стеке. Для реализации этого инструмента необходимо иметь Node.js 18 или выше (с встроенным fetch) и переменную среды SNAPAPI_KEY с ключом API SnapAPI.

const fs = require('fs');
const API_KEY = process.env.SNAPAPI_KEY;
const URL = process.env.MONITOR_URL || 'https://yourcompetitor.com';
const STATE = './monitor-state.json';

if (!API_KEY) {
  console.error('Set SNAPAPI_KEY env var. Free key at https://snapapi.tech');
  process.exit(1);
}

async function analyze(url) {
  const res = await fetch(
    `https://api.snapapi.tech/v1/analyze?url=${encodeURIComponent(url)}`,
    {
      headers: {
        'x-api-key': API_KEY,
      },
    }
  );

  if (!res.ok) {
    throw new Error(`SnapAPI ${res.status}: ${await res.text()}`);
  }

  return res.json();
}

async function main() {
  const current = await analyze(URL);
  const snapshot = {
    cta: current.primary_cta,
    technologies: current.technologies.sort().join(','),
    page_type: current.page_type,
    checked_at: new Date().toISOString(),
  };

  // Load previous state
  const prev = fs.existsSync(STATE)
    ? JSON.parse(fs.readFileSync(STATE, 'utf8'))
    : null;

  if (prev) {
    if (prev.cta !== snapshot.cta) {
      console.log(`[CHANGE] CTA changed from ${prev.cta} to ${snapshot.cta}`);
    }

    // Проверка изменений технологического стека
    if (prev.technologies !== snapshot.technologies) {
      console.log(`[CHANGE] Technologies changed from ${prev.technologies} to ${snapshot.technologies}`);
    }
  }

  // Сохранение текущего состояния
  fs.writeFileSync(STATE, JSON.stringify(snapshot, null, 2));
}

main();

Преимущества инструмента

Этот инструмент мониторинга конкурентов предоставляет несколько преимуществ, включая:

• Автоматическое обнаружение изменений на сайте конкурента
• Уведомления об изменениях в основном CTA или технологическом стеке
• Возможность анализа изменений с течением времени
• Простота реализации и настройки

В целом, инструмент мониторинга конкурентов на Node.js может быть ценным инструментом для поддержания конкурентоспособности и анализа рынка.