Robots.txt - что это - значение термина

Robots.txt

Инструкция для поисковых роботов, в виде текстового файла, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности не разрешает индексировать определённую часть сайта. Содержит директивы, указывающие поисковым роботам особенности индексации сайта.

Изначально, когда он создавался, содержал в себе достаточно большой набор инструкций, начиная от управления скоростью индексации, заканчивая указанием адреса основного хоста. На сегодня влияние этого файла ограничено. Самыми полезными операторами являются операторы запрета и разрешения индексации определенных URL-ов.