- Блокировка индексирования при помощи директивы noindex
- Как внедрять правило noindex
- Заголовок HTTP-ответа
- Устранение проблем с правилом noindex
- Как запретить индексирование сайта или страниц
- Запретить индексирование сайта, раздела или страницы
- Запретить индексирование части текста страницы
- Скрыть от индексирования ссылку на странице
- Блокировка индексирования при помощи директивы noindex
- Как внедрять правило noindex
- Заголовок HTTP-ответа
- Устранение проблем с правилом noindex
Блокировка индексирования при помощи директивы noindex
noindex – это правило, которое задается с помощью тега или заголовка HTTP-ответа и запрещает индексирование контента поисковыми системами, поддерживающими noindex , например Google. Обнаружив такой тег или заголовок во время сканирования страницы, робот Googlebot проигнорирует ее, даже если на нее ссылаются другие сайты.
Внимание! Чтобы правило noindex работало, файл robots.txt не должен блокировать поисковому роботу доступ к странице. В противном случае поисковый робот не сможет обработать ее код и не обнаружит правило noindex . В результате контент с такой страницы по-прежнему будет появляться в результатах поиска, например если на нее ссылаются другие ресурсы.
Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.
Как внедрять правило noindex
Внедрить правило noindex можно двумя способами: как тег или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем. Google не поддерживает указание правила noindex в файле robots.txt.
noindex можно объединять с другими правилами, которые управляют индексированием. Например, можно объединить атрибут nofollow и правило noindex : .
Тег
Чтобы ни одна поисковая система, поддерживающая правило noindex , не могла проиндексировать страницу вашего сайта, поместите следующий тег в раздел :
Если вы хотите закрыть доступ к странице только роботам Google, используйте следующий код:
Учитывайте, что некоторые поисковые системы могут по-другому интерпретировать правило noindex и показывать в результатах поиска страницу, на которой оно используется.
Если вы пользуетесь системой управления контентом (например, Wix, WordPress или Blogger), вероятно, у вас нет возможности редактировать код HTML напрямую или вы не хотите этим заниматься. В вашей системе управления контентом, скорее всего, имеется средство для создания метатегов ( meta ) или подобные инструменты.
Если вы хотите добавить тег meta на свой сайт, найдите в системе управления контентом инструкции о том, как изменять раздел на странице (пример запроса: «Wix метатеги» или «wix добавить тег meta «).
Заголовок HTTP-ответа
Вместо тега можно возвращать HTTP-заголовок X-Robots-Tag со значением noindex или none в ответе. Вы можете использовать этот способ для файлов, формат которых отличается от HTML, например PDF, видео и изображений. Ниже приведен пример HTTP-ответа с заголовком X-Robots-Tag , запрещающим поисковым системам индексировать страницу:
HTTP/1.1 200 OK (. ) X-Robots-Tag: noindex (. )
Устранение проблем с правилом noindex
Чтобы обнаружить теги и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не обработали ее после добавления правила noindex . Робот Googlebot может повторно посетить страницу только спустя несколько месяцев. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google.
Если вам нужно быстро убрать страницу сайта из результатов поиска Google, ознакомьтесь с документацией по удалению.
Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt. Это можно сделать с помощью специального инструмента.
Наконец, убедитесь, что правило noindex доступно роботу Googlebot. Проверьте, корректно ли внедрено правило noindex : воспользуйтесь инструментом проверки URL, чтобы увидеть HTML, который робот Googlebot получил при сканировании страницы. Вы можете также использовать отчет об индексировании страниц в Search Console, чтобы отслеживать страницы сайта, из которых робот Googlebot извлек правило noindex .
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2023-06-13 UTC.
Как запретить индексирование сайта или страниц
Запретить индексирование сайта, раздела или страницы
Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:
В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none . Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.
Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt , но на нее ведут ссылки с других сайтов, страница может попасть в результаты поиска.
Примечание. Чтобы неавторизованные пользователи не попадали на закрытые страницы, настройте для таких страниц HTTP-код ответа сервера 404 Not Found, 403 Forbidden или 410 Gone.
Запретить индексирование части текста страницы
Скрыть от индексирования часть текста можно несколькими способами:
<noindex>текст, индексирование которого нужно запретить</noindex>Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега. При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
<!--noindex-->текст, индексирование которого нужно запретить<!--/noindex--><noscript>текст, индексирование которого нужно запретить</noscript>Элемент noscript , как и noindex , запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript.
Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально.
Скрыть от индексирования ссылку на странице
rel="ugc" . Используйте, если на вашем сайте есть форум или возможность оставить отзыв и вы не уверены в качестве ссылок, которые оставляют посетители.
rel="sponsored" . Используйте, если ссылка носит рекламный характер, указывает на рекламное место или размещение в рамках партнерской программы с другим сайтом.
Можно комбинировать несколько значений. Пример:
<a href="url" rel="nofollow,sponsored">текст ссылки</a>\nили\n<a href="url" rel="nofollow sponsored">текст ссылки</a>Значения атрибута rel воспринимаются роботом как рекомендация не принимать ссылку во внимание.
Чтобы скрыть от индексирования все ссылки на странице, укажите в HTML-коде страницы метатег robots с директивой nofollow. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.
При использовании любого из перечисленных указаний ссылка может быть обработана роботом и отобразиться в Вебмастере как внутренняя или внешняя. Само отображение или отсутствие ссылки в Вебмастере не указывает на то, что поисковые алгоритмы учитывают ее.
Блокировка индексирования при помощи директивы noindex
noindex – это правило, которое задается с помощью тега или заголовка HTTP-ответа и запрещает индексирование контента поисковыми системами, поддерживающими noindex , например Google. Обнаружив такой тег или заголовок во время сканирования страницы, робот Googlebot проигнорирует ее, даже если на нее ссылаются другие сайты.
Внимание! Чтобы правило noindex работало, файл robots.txt не должен блокировать поисковому роботу доступ к странице. В противном случае поисковый робот не сможет обработать ее код и не обнаружит правило noindex . В результате контент с такой страницы по-прежнему будет появляться в результатах поиска, например если на нее ссылаются другие ресурсы.
Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.
Как внедрять правило noindex
Внедрить правило noindex можно двумя способами: как тег или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем. Google не поддерживает указание правила noindex в файле robots.txt.
noindex можно объединять с другими правилами, которые управляют индексированием. Например, можно объединить атрибут nofollow и правило noindex : .
Тег
Чтобы ни одна поисковая система, поддерживающая правило noindex , не могла проиндексировать страницу вашего сайта, поместите следующий тег в раздел :
Если вы хотите закрыть доступ к странице только роботам Google, используйте следующий код:
Учитывайте, что некоторые поисковые системы могут по-другому интерпретировать правило noindex и показывать в результатах поиска страницу, на которой оно используется.
Если вы пользуетесь системой управления контентом (например, Wix, WordPress или Blogger), вероятно, у вас нет возможности редактировать код HTML напрямую или вы не хотите этим заниматься. В вашей системе управления контентом, скорее всего, имеется средство для создания метатегов ( meta ) или подобные инструменты.
Если вы хотите добавить тег meta на свой сайт, найдите в системе управления контентом инструкции о том, как изменять раздел на странице (пример запроса: «Wix метатеги» или «wix добавить тег meta «).
Заголовок HTTP-ответа
Вместо тега можно возвращать HTTP-заголовок X-Robots-Tag со значением noindex или none в ответе. Вы можете использовать этот способ для файлов, формат которых отличается от HTML, например PDF, видео и изображений. Ниже приведен пример HTTP-ответа с заголовком X-Robots-Tag , запрещающим поисковым системам индексировать страницу:
HTTP/1.1 200 OK (. ) X-Robots-Tag: noindex (. )
Устранение проблем с правилом noindex
Чтобы обнаружить теги и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не обработали ее после добавления правила noindex . Робот Googlebot может повторно посетить страницу только спустя несколько месяцев. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google.
Если вам нужно быстро убрать страницу сайта из результатов поиска Google, ознакомьтесь с документацией по удалению.
Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt. Это можно сделать с помощью специального инструмента.
Наконец, убедитесь, что правило noindex доступно роботу Googlebot. Проверьте, корректно ли внедрено правило noindex : воспользуйтесь инструментом проверки URL, чтобы увидеть HTML, который робот Googlebot получил при сканировании страницы. Вы можете также использовать отчет об индексировании страниц в Search Console, чтобы отслеживать страницы сайта, из которых робот Googlebot извлек правило noindex .
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2023-06-13 UTC.