Robots.txt файл
Оглавление
Файл robots.txt — это один из системных файлов сайта в котором прописываются команды управляющие роботами поисковых сиетем. Основное назначение файла — это запрет индексации страниц, категорий которые не должны быть в результатах поиска. Системные страницы, админ панель сайта, страница результатов поиска, другие динамические страницы. Файл должен находиться в корне сайта к которому прописываются правила.
Основные функции файла robots.txt:
- закрытия индексации адресов или переменных
- закрытие от индексации страниц пагинации
- адрес карты сайта (файл sitemap.xml)
- указания основного домена сайта с помощью директивы host
Как редактировать файл в CMS системах
WordPress
С помощью плагина SEO Ultimate
В админ панели сайта, перейти в меню плагина, выбрав File Editor
Приступаем к редактированию файла.
После внесения изменений обязательно проверяйте robots.txt
