Директива

Директива — это команда для ботов поисковых систем которая вносится в системный файле сайта — robots.txt и призвана упростить взаимодействие бота с сайтом за счет предоставленной информации о страницах которые нет необходимости сканировать.

Примеры директив (команд):

Похожие записи