Предыстория проекта
Изначально автор использовал платформу n8n для создания семи отдельных воркфлоу, каждый из которых отвечал за определённую часть процесса обработки новостей. Однако такая архитектура оказалась неустойчивой: при возникновении проблем в одном месте весь процесс нарушался.
Проблемы старой системы
Основные проблемы заключались в следующем:
- Отсутствие прозрачности: сложно понять, почему новости «застревают» или пропадают;
- Многочисленные точки отказа: каждое звено могло стать причиной сбоя всей цепочки;
- Необходимость постоянного контроля: приходилось вручную вмешиваться и исправлять ошибки.
Новая архитектура
В новой версии системы удалось значительно улучшить стабильность и производительность благодаря следующим изменениям:
Локальное размещение модели машинного обучения
Модель была перенесена на домашний мини-компьютер, что позволило избежать зависимости от облачных сервисов и повысить скорость работы.
Использование оркестратора
Теперь управление системой осуществляется через простого бота в Telegram. Достаточно отправить ему сообщение с задачей, и он автоматически запустит необходимые процессы.
Увеличение количества рабочих процессов
Количество воркеров выросло до одиннадцати, а число обрабатываемых источников достигло 160. Это позволяет обрабатывать больше данных одновременно и быстрее реагировать на изменения.
Применение агентов искусственного интеллекта
Пять AI-агентов помогают анализировать информацию, фильтровать её и генерировать контент более эффективно.
Итоговые результаты
Новая система показала себя гораздо стабильнее и эффективнее предыдущей версии. Теперь она способна обрабатывать тысячи записей ежедневно практически без вмешательства человека.
