Поиск и аналитика
robots.txt
Файл правил обхода для роботов, размещаемый в корне сайта. Он сообщает, какие пути определённым роботам следует не загружать. Правила обхода отличаются от запрета индексирования и не являются механизмом защиты приватных данных.
Пример на практике
В robots.txt указывается карта сайта и ограничиваются технические пути, не предназначенные для обхода.
Когда пригодится
Нужен для управления поведением соблюдающих стандарт роботов.
Что важно учитывать
Запрещённый к обходу URL иногда может появиться в поиске по внешним сигналам; секретные страницы защищают авторизацией.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам