Robots.txt - MAD.by

Robots.txt

Инструкция для поисковых роботов, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности не разрешает индексировать определённую часть сайта.