Краулер

Программа поисковой системы БОТ, основная задача которой индексация страниц сайта

Основная статья — поисковый робот

Crawler выделяет время для сайта на основании краулингового бюджета,