Сканирование

(англ. Crawling); поиск новых и измененных веб-страниц. Процесс загрузки страниц поисковым роботом, в результате чего они попадают в хранилище в виде сохранённых копий. Поисковая система находит URL, переходя по ссылкам, считывая информацию из файлов Sitemap, а также другими способами. Поисковая система сканирует Интернет, чтобы найти новые веб-страницы, а затем при необходимости индексирует их.