OpenAI, Google, Microsoft и Anthropic поддержали единый запрет на сбор данных для ИИ

Владельцы сайтов смогут запрещать обучение ИИ на своих материалах одной строкой вместо отдельной настройки для каждой компании. OpenAI, Google, Microsoft и Anthropic заявили, что поддерживают такой общий сигнал в файле robots.txt и будут ограничивать доступ своих краулеров к ресурсам, где он выставлен.

Инициативу предложил Кевин Келли, технический специалист Anthropic по разработке стандартов, в рамках Рабочей группы по развитию интернета (IETF). Файл robots.txt применяется для управления доступом поисковых роботов к содержимому сайтов давно, но предпочтения насчёт обучения моделей до сих пор приходилось прописывать у каждого поставщика ИИ по отдельности.

Кто когда включит поддержку

Anthropic поддержку стандарта уже внедрила. OpenAI называет сроком ближайшие месяцы, Google и Microsoft — 2027 год.

Microsoft обещает и более дробные настройки: издатель сможет отдельно запретить использование материалов для обучения ИИ и для grounding — подтягивания проверенной информации из внешних источников при формировании ответа. Видимость сайта в выдаче Bing при этом сохранится при любых настройках. У Google похожие механизмы контроля над контентом в ИИ-функциях поиска и в обучении моделей тоже не отнимают место в обычной выдаче.

Meta поддержала идею, но не обязательство

Представитель Meta Энди Стоун общий механизм одобрил и заявил о готовности работать над стандартом и его внедрением вместе с другими разработчиками ИИ. Выполнять такие запреты компания прямо не подтвердила.

Единый сигнал упрощает управление материалами на фоне массового сбора контента ИИ-роботами, но инструментом давления на всех сразу не становится. Стандарт Really Simple Licensing (RSL) идёт дальше и допускает плату за доступ роботов к материалам, а Cloudflare блокирует ИИ-краулеры по умолчанию. Новый сигнал сам по себе не защищает от роботов тех компаний, которые его не поддерживают или не соблюдают.

* Деятельность организации «Американская транснациональная холдинговая компания Meta Platforms Inc. по реализации продуктов - социальных сетей Facebook и Instagram» признана экстремистской и запрещена в РФ.