Robots.txt файл

Robots.txt файл

Файл robots.txt — это один из системных файлов сайта в котором прописываются команды управляющие роботами поисковых сиетем. Основное назначение файла — это запрет индексации страниц, категорий которые не должны быть в результатах поиска. Системные страницы, админ панель сайта, страница результатов поиска, другие динамические страницы. Файл должен находиться в корне сайта к которому прописываются правила.

Основные функции файла robots.txt:

Как редактировать файл в CMS системах

WordPress

С помощью плагина SEO Ultimate

В админ панели сайта, перейти в меню плагина, выбрав File Editor

Приступаем к редактированию файла.

После внесения изменений обязательно проверяйте robots.txt

4 комментария

Host директива Опубликовано2:27 пп - Окт 19, 2017

[…] в файле robots.txt какой адрес сайта будет индексироваться поисковыми […]

Что такое директива? SEO словарь оптимизатора. Опубликовано3:41 пп - Окт 20, 2017

[…] Команда в системном файле robots.txt […]

Что такое директива Allow? Где применяется и как правильно ее указывать? Опубликовано1:13 пп - Окт 22, 2017

[…] Одна из директив которая используется в файле robots.txt […]

Что такое индексация сайта, как происходит и как ею управлять? Опубликовано12:20 дп - Ноя 17, 2017

[…] условии что страницы не закрыты от индексации в robots.txt  или директивой […]

Для отправки комментария необходимо авторизоваться.