Robots.txt - что это - значение термина

Robots.txt

Инструкция для поисковых роботов, в виде текстового файла, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности не разрешает индексировать определённую часть сайта. Содержит директивы, указывающие поисковым роботам особенности индексации сайта.