Роботы и элемент META
Элемент позволяет авторам документов HTML сообщать роботам о том, может ли документ быть проиндексирован или может ли он использоваться для получения дополнительных ссылок. Для этого не требуется вмешательство администратора сервера.
В следующем примере робот не будет ни индексировать сайт, ни анализировать ссылки.
<META name="ROBOTS" content="NOINDEX, NOFOLLOW">
В атрибуте content могут содержаться следующие слова: ALL, INDEX, NOFOLLOW, NOINDEX. Значения атрибутов name и the учитывают регистр.
Примечание.
В начале 1997 года это использовалось только несколькими роботами, но в этой области ожидается изменение с повышением интереса к управлению работой роботов.