Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI-краулеров — и считать, что контент от ИИ закрыт. …
Коротко
- Что: Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ
- Когда: 22 октября 2026 в 14:20
- Источник: Хабр · Машинное обучение (сообщество)
- Тема: Продукты
По теме в библиотеке
- robots.txt — Файл правил обхода для роботов, размещаемый в корне сайта.
Материал подготовлен редакцией Tarasov Code Ильи Тарасова по сообщению Хабр · Машинное обучение.
