Сен 6, 2017 Crawl-delay: директива Автор Александр Милютин вЭнциклопедия Метка Директива Одна из директив которая используется в файле robots.txt
