Метатег robots

Данный тег аналогичен по своему назначению файлу robots.txt, но относится к конкретной странице, а не ко всему сайту, и позволяет указывать поисковым роботам, какие страницы индексировать, а какие – нет.

Пример:

По умолчанию задаются значения “index, follow” и их не нужно указывать. Если вы указываете несколько значений, разделяйте их запятыми.

Значения, распознающиеся на данный момент:

noindex – запрещает индексирование страницы;
nofollow – запрещает роботу переходить по ссылкам с этой страницы;
nosnippet – запрещает показывать видео или фрагмент текста в результатах поиска. По возможности вместо видео будет демонстрироваться статичное изображение;
noarchive – запрещает показывать ссылку “сохраненная копия”;
unavaliable_after:[дата] – указывает точную дату и время, когда нужно прекратить сканирование индексирование этой страницы;
noimageindex – запрещает указывать вашу страницу как источник изображений, которые появляются в результатах поиска по картинкам;
none – аналогично noindex, nofollow.