Проблема видимости цепочки поставок
Понимание того, какие компании находятся в цепочке поставок конкретного производителя, традиционно требует огромных усилий. Обычные подходы — изучение годовых отчётов, извлечение данных из SEC‑файлов, покупка готовых баз коммерческой разведки или привлечение аналитиков — либо дают неполную картину, либо требуют значительных финансовых вложений и времени. При этом большинство необходимых сведений находятся в открытом доступе: новостные публикации, каталоги поставщиков, пресс‑релизы, страницы партнёров и реестры ISO‑сертификаций. Главный вызов заключается в том, как собрать эти разрозненные фрагменты в единую, запрос‑ориентированную структуру.
Концепция решения
Идея состоит в создании автономного агента, который, получив название компании, способен:
- Искать релевантный контент в открытом интернете.
- Скрейпить найденные страницы, извлекая текст, таблицы и метаданные.
- Анализировать полученный материал, выделяя упоминания поставщиков и дистрибьюторов, а также степень уверенности в каждом утверждении.
- Структурировать результаты в виде графа взаимосвязей и визуализировать их интерактивным Sankey‑диаграммами.
Таким образом, агент воспроизводит работу аналитика, но делает это машинными темпами и масштабируется под любые запросы.
Архитектура системы
Система построена из четырёх специализированных компонентов, каждый из которых отвечает за отдельный этап обработки данных.
1. Bright Data – поиск и скрейпинг
Bright Data обеспечивает обход анти‑ботовой защиты и предоставляет протоколы для массового сбора веб‑страниц. Агент формирует поисковые запросы (по имени компании, ключевым словам вроде «supplier», «partner», «distribution») и получает список URL. Затем происходит скачивание контента, включая HTML‑страницы, PDF‑документы и другие доступные форматы.
2. AWS Bedrock AgentCore – серверлес‑хостинг
Для масштабируемого исполнения логики агента используется серверлес‑платформа Bedrock AgentCore. Она автоматически управляет ресурсами, масштабируя количество параллельных экземпляров в зависимости от нагрузки. Это позволяет обрабатывать сотни запросов одновременно без простоя.
3. LangGraph – оркестрация многократных шагов
LangGraph координирует последовательность действий агента: от первоначального поиска до финального построения графа. Каждый шаг описывается как отдельный узел графа, а зависимости между ними задаются явно. Такая модель упрощает отладку и расширение пайплайна (например, добавление нового модуля классификации).
4. Amazon Nova 2 Lite – ядро LLM
Ключевую роль играет небольшая, но мощная языковая модель Nova 2 Lite. Она отвечает за:
- Планирование запросов: определяет, какие типы источников следует искать для конкретного запроса.
- Анализ доказательств: извлекает из текста упоминания компаний‑партнёров, классифицирует их как «upstream» (поставщики) или «downstream» (дистрибьюторы).
- Оценку уверенности: присваивает каждому утверждению вероятность, основанную на контексте и источнике.
В результате каждый найденный факт снабжается URL‑ссылкой и числовой меткой уверенности.
Формирование интерактивного визуала
После получения списка связей система агрегирует их в структуру, пригодную для построения Sankey‑диаграммы. Диаграмма отображает потоки от поставщиков к конечному клиенту, позволяя пользователю интерактивно исследовать уровни вложенности, переключаться между детализацией и общим обзором. При наведении курсора на отдельный поток появляется подсказка с оригинальной ссылкой и оценкой достоверности, что делает карту полностью проверяемой.
Практические результаты
Тестирование на примерах крупных брендов (например, технологических гигантов) показало, что агент способен собрать от 70 % до 90 % всех публично доступных связей в течение нескольких минут. По сравнению с традиционным подходом, где исследование одной компании может занять недели, система ускоряет процесс в десятки раз. Кроме того, автоматическое присвоение уверенности позволяет пользователям быстро оценить, какие узлы требуют дополнительной проверки.
Ограничения и пути развития
Несмотря на высокую эффективность, система сталкивается с несколькими ограничениями:
- Качество исходных данных: если информация в публичных источниках неполна или устарела, модель не сможет восполнить пробелы.
- Языковые барьеры: текущая конфигурация оптимизирована под англоязычные ресурсы; добавление поддержки других языков требует переобучения модели и адаптации парсеров.
- Юридические нюансы: автоматический скрейпинг некоторых сайтов может противоречить их условиям использования, поэтому необходимо внедрять механизмы уважения robots.txt и ограничений доступа.
Дальнейшее развитие может включать интеграцию с корпоративными ERP‑системами для закрытой валидации, обучение специализированных моделей на отраслевых корпусах и расширение визуального представления (например, добавление географической привязки поставок).
Применение в бизнес‑процессах
Автономный агент открывает новые возможности для:
- Оценки рисков: быстрое выявление уязвимых звеньев в цепочке поставок, особенно в условиях геополитических ограничений.
- Поддержки комплаенса: проверка соответствия поставщиков требованиям ESG и ISO‑стандартов.
- Оптимизации закупок: сравнение альтернативных поставщиков на основе их позиций в сети.
- Конкурентного анализа: построение карт конкурентов для стратегического планирования.
В совокупности такие возможности позволяют компаниям переходить от реактивного к проактивному управлению цепочками поставок, используя открытые данные и современные AI‑технологии.