Google, OpenAI, Anthropic и Microsoft са се ангажирали да спазват общ сигнал в robots.txt за отказ от събиране на съдържание за обучение на генеративен изкуствен интелект, съобщава Engadget. Вместо да разпознават обхождащите роботи на всеки доставчик и да задават отделни правила за тях, собствениците на сайтове ще могат да използват една обща настройка за тази цел.

Предложението е на Кевин Кели, технически ръководител по стандартите в Anthropic, и се разглежда от организацията за интернет стандарти IETF. За да зададат отказ за целия сайт, собствениците трябва да добавят в robots.txt секция с „User-Agent: __usage_ai-training“, последвана на нов ред от „Disallow: /“. По желание могат да добавят на отделен ред „Allow: /press-kit/“, за да разрешат събирането за обучение от тази част на сайта.

Общият сигнал не блокира всяко обхождане на сайта и не пречи съдържанието да се показва в Google търсене. Google ще го прилага спрямо Google-Extended, свързан със събирането на материали за обучение на моделите Gemini. Настройката се отнася до бъдещото събиране за обучение — тя не отменя вече извършеното и не премахва съдържанието, което компаниите вече са получили.

Сроковете за въвеждане са различни: Anthropic вече поддържа сигнала, Microsoft ще започне на 1 февруари 2027 г., а Google — в началото на 2027 г., според Engadget. OpenAI обещава да го приложи през следващите месеци.