Краулинговый бюджет
Оглавление
Показатель лояльности бота поисковой системы к сайту, выражается во времени которое бот тратит на индексацию страниц сайта
Посещение робота (Crawler‘а) ограничивается, в некоторых случаях, директивой в файле robots.txt Crawl-delay
Для большинства сайтов это не проблема, но самые популярные, вынуждены ограничивать посещение роботов, указывая время посещения робота. Для рядовых сайтов, посещение crawler’а является желанным.
Что уменьшает краулинговый бюджет?
Мало контента
Этот фактор уменьшается если бот находит большое количество страниц на которых нет контента, в этом случае он переводит страницы в статус «Просканировано» но не проиндексировано.
Если таких страниц будет много, траст к сайту теряется и выделяется меньше времени на сканирование
Скорость загрузки страниц
Если страницы сайта медленно загружаются, уменьшается количество сканированных страниц ботом, т.к. бот выделяет определенное время на сканирование вашего сайта. Следите за тем, чтобы страницы загружались быстрее, за одно и тоже время бот сможет больше проиндексировать страниц.
Как повысить краулинговый бюджет?
- Страницы должны содержать контент, пустые не представляют интереса
- Уменьшайте время загрузки страниц (делайте техническую оптимизацию)
- Регулярное обновление контента, залог постоянного посещения роботом вашего сайта
