Краулер

(англ. Crawler); это робот поисковой системы который отвечает за обход и загрузку страниц из интернета в порядке приоритета, который устанавливается планировщиком. Они подразделяются на:

• Главный робот, который обходит содержимое в общем порядке очереди.
• Быстрый робот (или быстробот) — использует самые свежие данные из индекса.