Allow: директива

Одна из директив которая используется в файле robots.txt

Команда разрешающая индексацию указанных в файле robots.txt адресов

Часто команда не используется, т.к. bot считает «все что не запрещено — разрешено»

Похожие записи