Краулер

Программа поисковой системы БОТ, основная задача которой индексация страниц сайта

Основная статья — поисковый робот