Введение в проблему
Веб уже давно использует файл robots.txt, который позволяет владельцам сайтов указывать, какие части своего контента могут быть проиндексированы поисковыми системами. Однако с развитием ИИ-агентов出现ла новая проблема: эти агенты не просто просматривают информацию, но и выполняют различные действия от имени пользователей, такие как бронирование билетов, заполнение форм и совершение транзакций. Для решения этой проблемы был предложен новый стандарт — agents.txt.
Стандарт agents.txt
Стандарт agents.txt предполагает размещение файла с таким названием в корне домена (https://yourdomain.com/agents.txt), в котором будут указаны правила взаимодействия ИИ-агентов с сайтом. Этот файл будет содержать информацию о том, что агенты могут делать, как они должны это делать и на каких условиях. Например, файл может содержать такие записи, как:
- Site-Name: ExampleShop
- Site-Description: Online marketplace for sustainable home goods
- Allow-Training: no
- Allow-RAG: yes
- Allow-Actions: no
- Preferred-Interface: rest
- API-Docs: https://api.exampleshop.com/openapi.json
- MCP-Server: https://mcp.exampleshop.com
Преимущества и мотивация для агентов
Агенты будут мотивированы следовать правилам, указанным в файле agents.txt, по двум основным причинам:
- Собственный интерес: использование стандартного API или MCP-сервера позволяет агентам работать быстрее и более надежно, чем если бы они пытались парсить HTML-страницы.
- Юридическая позиция: наличие опубликованной машиночитаемой политики делает игнорирование ее действий более легитимным и может быть использовано в качестве доказательства в суде.
Сравнение с robots.txt
Стандарт agents.txt дополняет существующий стандарт robots.txt, расширяя его возможности. В то время как robots.txt только указывает, какие части сайта могут быть проиндексированы, agents.txt позволяет указать, какие действия агенты могут выполнять, как они должны это делать и на каких условиях. Сравнительная таблица возможностей двух стандартов выглядит следующим образом:
- Crawl permissions: robots.txt — да, agents.txt — нет
- Action permissions: robots.txt — нет, agents.txt — да
- API / MCP discovery: robots.txt — нет, agents.txt — да
- Training / RAG consent: robots.txt — нет, agents.txt — да
- Agent identity tiers: robots.txt — нет, agents.txt — да
- Auth methods: robots.txt — нет, agents.txt — да
Статус и перспективы
На данный момент стандарт agents.txt находится на стадии черновика (Draft v0.1) и опубликован под лицензией CC BY 4.0. Авторы приглашают всех заинтересованных лиц к обсуждению и доработке стандарта. Для реализации стандарта необходимо решить несколько открытых вопросов, включая:
- Верификация идентичности агентов
- Использование контролируемого словаря или свободных строк для указания возможностей
- Интеграция со стандартом MCP