Розробники сайтів незабаром отримають зручніший інструмент для регулювання застосування їхніх публікацій у сфері штучного інтелекту. Провідні технологічні корпорації, зокрема Google, OpenAI, Anthropic та Microsoft, оголосили про намір впровадити спільний стандарт для файлів robots.txt. Це нововведення дасть змогу маркувати матеріали, які заборонено використовувати для тренування нейромереж, звільняючи вебмайстрів від необхідності прописувати персональні обмеження для десятків різноманітних краулерів.
Відповідну пропозицію вже передано на розгляд до Internet Engineering Task Force (IETF), що відає за затвердження мережевих стандартів. Про це стало відомо з публікації порталу Engadget, який посилається на дані Search Engine Roundtable. Ініціатором нововведення виступив Кевін Келлі, який обіймає посаду технічного директора зі стандартів в компанії Anthropic.
Універсальний параметр замість безлічі індивідуальних заборон
Традиційно файл robots.txt використовується адміністраторами для контролю доступу роботів до вебсторінок. Проте стрімкий розвиток ШІ-інструментів зробив цю систему занадто громіздкою: кожен розробник використовує власних роботів, через що захисні правила доводиться налаштовувати окремо для кожного сервісу.
Нова система пропонує групувати запити не за назвою конкретного робота, а з огляду на мету обробки даних. Для цього запроваджується єдиний ідентифікатор __usage_ai-training, який інтегрується у звичний файл robots.txt. Наприклад, подібна конфігурація дозволяє заблокувати використання інформації для навчання модельних мереж, залишаючи доступними прес-матеріали:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Завдяки такому рішенню можна вибірково керувати доступом на рівні конкретних розділів ресурсу. Вебмайстри можуть закрити свої статті чи фотографії від використання в навчальних датасетах, водночас залишаючи відкритими сторінки, призначені для ознайомлення розробниками ШІ.
Заборона навчання не впливає на пошукову видимість
Головною особливістю нового стандарту є чіткий поділ між звичайною індексацією сайту пошуковими роботами та залученням інформації до алгоритмів машинного навчання. Застосування обмеження не призведе до автоматичного зникнення сторінок із результатів пошуку Google чи погіршення їх позицій.
Автори сайту зможуть заборонити використання власних текстів для тренування моделей на кшталт Gemini, зберігаючи при цьому повноцінну взаємодію пошукових систем із ресурсом. Зазначений інструмент гармонійно доповнює вже існуючі захисні механізми, зокрема Google-Extended. Це дозволяє видавцям не обирати між присутністю у пошуковій видачі та збереженням прав на власний контент.
Графік впровадження стандарту
Практична реалізація ініціативи вже стартувала, хоча компанії планують різні терміни активації. Першою підтримку нового правила запровадила компанія Anthropic. У Microsoft планують задіяти його з 1 лютого наступного року, тоді як Google орієнтується на початок 2027 року. Своєю чергою, OpenAI обіцяє додати підтримку протягом найближчих місяців.
Водночас нова директива має суттєвий нюанс: вона не охоплює інформацію, яку компанії встигли зібрати до офіційного набрання чинності правил. Якщо матеріали вже заархівовані або увійшли до тренувальних баз, внесення змін до robots.txt не забезпечить їх видалення. Відтак, засіб спрямований переважно на захист майбутніх масивів даних.