Краулинговый бюджет

Краулинговый бюджет

Показатель лояльности бота поисковой системы к сайту, выражается во времени которое бот тратит на индексацию страниц сайта

Посещение робота (Crawler‘а) ограничивается, в некоторых случаях, директивой в файле robots.txt Crawl-delay

Для большинства сайтов это не проблема, но самые популярные, вынуждены ограничивать посещение роботов, указывая время посещения робота. Для рядовых сайтов, посещение crawler’а является желанным.

Что уменьшает краулинговый бюджет?

Мало контента

Этот фактор уменьшается если бот находит большое количество страниц на которых нет контента, в этом случае он переводит страницы в статус «Просканировано» но не проиндексировано.

Если таких страниц будет много, траст к сайту теряется и выделяется меньше времени на сканирование

Скорость загрузки страниц

Если страницы сайта медленно загружаются, уменьшается количество сканированных страниц ботом, т.к. бот выделяет определенное время на сканирование вашего сайта. Следите за тем, чтобы страницы загружались быстрее, за одно и тоже время бот сможет больше проиндексировать страниц.

Динамика страниц которые не сканируются из-за низкого качества и уменьшениея краулинговог обюджета

Пример страниц в GSC которые были просканированы но не проиндексированы. При изучении отчета, обнаружили что страницы не содержат должного контента. Crawler просто не тратит на них время.

Как повысить краулинговый бюджет?

  1. Страницы должны содержать контент, пустые не представляют интереса
  2. Уменьшайте время загрузки страниц (делайте техническую оптимизацию)
  3. Регулярное обновление контента, залог постоянного посещения роботом вашего сайта

Для отправки комментария необходимо авторизоваться.