Robots.txt

Инструкция для поисковых роботов, в виде текстового файла, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности не разрешает индексировать определённую часть сайта. Содержит директивы, указывающие поисковым роботам особенности индексации сайта.

Изначально, когда он создавался, содержал в себе достаточно большой набор инструкций, начиная от управления скоростью индексации, заканчивая указанием адреса основного хоста. На сегодня влияние этого файла ограничено. Самыми полезными операторами являются операторы запрета и разрешения индексации определенных URL-ов.

В Google robots.txt служит всего лишь рекомендацией для краулера. Даже если файл или директория закрыта в robots.txt, она может попасть в индекс, если алгоритм Google посчитает нужным.

Число директив (команд) не должно превышать 1024. Символ # предназначен для описания комментариев. В описании адресов можно использовать квантор «*», он подразумевает любую последовательность символов и используется для обозначения префикса или суффикса пути до каталога или страницы по сайту (или вообще всего пути).

Файл robots.txt должен быть сохранён в формате plain text (и отдавать такой же заголовок роботу) в кодировке ASCII или UTF-8 и и называться robots.txt.