Сканирование - MAD.by

Сканирование

Поиск новых и измененных веб-страниц. Поисковая система находит URL, переходя по ссылкам, считывая информацию из файлов Sitemap, а также другими способами. Поисковая система сканирует Интернет, чтобы найти новые веб-страницы, а затем при необходимости индексирует их.