Проверка Meta Robots и X-Robots-Tag заголовков
Для чего предназначен инструмент проверки Meta Robots?
С помощью инструмента проверки Meta Robots и X-Robots-Tag вы можете найти страницы, запрещенные к индексации. Проверьте, не использует ли ваша веб-страница мета-тег robots или HTTP-заголовок X-Robots-Tag для указания поисковым системам не показывать ваш сайт на страницах результатов поиска.
Meta Robots
Meta Robots – это мета-тег, который позволяет настроить инструкции для индексации вашего сайта. Преимуществами использования тега Meta Robots являются надежность и простота установки. Тег указывается в HTML-коде страницы между тегами <head> и </head>. Он может не только запретить индексирование страницы, но и запретить поисковым роботам переходить по внутренним и внешним ссылкам, запретить сохранять документ в кэше поисковых систем и многое другое.
Пример запрета индексации страницы и перехода по ссылкам:
- <meta name="robots" content="noindex, nofollow"/>
X-Robots-Tag
X-Robots-Tag – это HTTP-заголовок, который содержит инструкции по индексации сайта поисковыми системами.
Использование технологии X-Robots-Tag считается удобным способом для оптимизации сайта. Преимуществом X-Robots-Tag является то, что его содержимое поисковая система может получить без загрузки основного текста документа. При этом его инструкции для поисковых систем более авторитетны, чем Meta Robots, поскольку системы тратят меньше ресурсов на анализ документов, а значит, экономят выделенный на сайт бюджет краулинга.
Этот элемент задается на уровне заголовков сервера, поэтому инструкции в нем имеют правила приоритета.
Пример использования (язык программирования PHP):
- header("X-Robots-Tag: noindex, nofollow");
|
