Метатег robots

Данный тег аналогичен по своему назначению файлу robots.txt, но относится к конкретной странице, а не ко всему сайту, и позволяет указывать поисковым роботам, какие страницы индексировать, а какие — нет.

Пример:

По умолчанию задаются значения «index, follow» и их не нужно указывать. Если вы указываете несколько значений, разделяйте их запятыми.

Значения, распознающиеся на данный момент:

noindex — запрещает индексирование страницы;
nofollow — запрещает роботу переходить по ссылкам с этой страницы;
nosnippet — запрещает показывать видео или фрагмент текста в результатах поиска. По возможности вместо видео будет демонстрироваться статичное изображение;
noarchive — запрещает показывать ссылку «сохраненная копия»;
unavaliable_after:[дата] — указывает точную дату и время, когда нужно прекратить сканирование индексирование этой страницы;
noimageindex — запрещает указывать вашу страницу как источник изображений, которые появляются в результатах поиска по картинкам;
none — аналогично noindex, nofollow.