«Majento» - Продвижение Web-проектов
Проверка позиций, биржа сайтов, 60+ сервисов SEO-аналитики


. : Авторизация : .
   
Логин  
Пароль  

Запомнить меня

Регистрация | Забыли пароль?


. : Наши услуги : .

. : SEO аналитика : .

Браузерные расширения
Анализ контента
Анализ текста
Поисковые запросы
Домены
Robots
Инструменты управления сайтом
Позиции и статистика
Информация о сайте
Прочее
 
   


Проверка Meta Robots и X-Robots-Tag заголовков


Список доменов (макс. 10. Снять ограничение...) ↓

Капча: обновить текст

 
(код, изображенный на картинке)




SEOFAQT - агрегатор Телеграм-каналов по SEO и маркетингу. Подключайся!


Для чего предназначен инструмент проверки Meta Robots?

С помощью инструмента проверки Meta Robots и X-Robots-Tag вы можете найти страницы, запрещенные к индексации. Проверьте, не использует ли ваша веб-страница мета-тег robots или HTTP-заголовок X-Robots-Tag для указания поисковым системам не показывать ваш сайт на страницах результатов поиска.

Meta Robots

Meta Robots – это мета-тег, который позволяет настроить инструкции для индексации вашего сайта. Преимуществами использования тега Meta Robots являются надежность и простота установки. Тег указывается в HTML-коде страницы между тегами <head> и </head>. Он может не только запретить индексирование страницы, но и запретить поисковым роботам переходить по внутренним и внешним ссылкам, запретить сохранять документ в кэше поисковых систем и многое другое.

Пример запрета индексации страницы и перехода по ссылкам:

  • <meta name="robots" content="noindex, nofollow"/>

X-Robots-Tag

X-Robots-Tag – это HTTP-заголовок, который содержит инструкции по индексации сайта поисковыми системами.

Использование технологии X-Robots-Tag считается удобным способом для оптимизации сайта. Преимуществом X-Robots-Tag является то, что его содержимое поисковая система может получить без загрузки основного текста документа. При этом его инструкции для поисковых систем более авторитетны, чем Meta Robots, поскольку системы тратят меньше ресурсов на анализ документов, а значит, экономят выделенный на сайт бюджет краулинга.

Этот элемент задается на уровне заголовков сервера, поэтому инструкции в нем имеют правила приоритета.

Пример использования (язык программирования PHP):

  • header("X-Robots-Tag: noindex, nofollow");




 
 


Beget