OpenAI начнет учитывать единый запрет на обучение ИИ в robots.txt
Владельцы сайтов смогут сообщить один и тот же выбор сразу нескольким ИИ-компаниям вместо отдельных правил для каждого краулера.
OpenAI заявила, что начнет учитывать общий сигнал в robots.txt, с помощью которого владельцы сайтов смогут указать, разрешено ли использовать их контент для обучения базовых генеративных моделей. Компания планирует внедрить поддержку в ближайшие месяцы.
Сейчас издателям часто приходится определять краулеры разных ИИ-компаний и поддерживать отдельные правила для каждого провайдера. Общий сигнал должен сократить эту работу: одна настройка сможет передавать одинаковый выбор всем участвующим сервисам. При этом существующие правила OpenAI для отдельных краулеров продолжат действовать — новый механизм их дополнит, а не заменит.
Предложение опирается на работу группы AI Preferences при Инженерном совете интернета. Сигнал остается добровольным, а OpenAI призывает другие ИИ-компании также начать его учитывать. Поэтому это пока не универсальная система принуждения, а общий технический язык, эффективность которого будет зависеть от поддержки провайдеров.
Для издателей практическая польза состоит в более простом управлении правами на обучение моделей без блокировки каждого ИИ-краулера по отдельности. Для индустрии это шаг к единым правилам использования контента открытого веба.
OpenAI
