Если в поиске всплывают страница входа, внутренний поиск, архивы автора, теги или другие служебные разделы WordPress, это не всегда ошибка. Часть таких страниц действительно лучше убрать из индекса, но не всё подряд. Неправильное закрытие может лишить сайт полезного трафика, а иногда и ухудшить обход страниц поисковыми роботами.
Ниже разберёмся, что обычно закрывают от индексации в WordPress, что лучше оставить, и какими способами это сделать без лишнего риска.
Что на сайте WordPress обычно считают служебными страницами
Под служебными страницами обычно имеют в виду разделы, которые не несут самостоятельной ценности для пользователя из поиска: страница входа в админку, результаты внутреннего поиска, страницы пагинации, некоторые архивы таксономий, технические страницы и похожие URL.
У WordPress логика простая: если страница создаётся системой автоматически и не рассчитана на внешний поисковый трафик, её часто имеет смысл исключить из индекса. Но решение зависит от того, как именно устроен сайт.
Например, архивы тегов на небольшом блоге нередко дублируют рубрики и не дают ничего нового. А на крупном контентном проекте теги могут быть полноценной навигацией и собирать свой трафик. То же самое с архивами автора: на сайте с одним автором они обычно бесполезны, а на медиа-проекте с несколькими редакторами могут быть вполне рабочей страницей.
Что обычно стоит закрыть от индексации
Если говорить практично, чаще всего закрывают следующие типы страниц:
- страницу входа в админку, например
/wp-login.php; - страницу поиска по сайту и её результаты;
- служебные страницы с пустым или почти пустым содержимым;
- архивы автора на сайтах, где у каждого материала один и тот же автор;
- часть архивов тегов, если они дублируют рубрики и не дают отдельной ценности;
- некоторые страницы пагинации, если они не нужны в поиске и создают много слабых URL.
При этом закрытие от индексации не означает запрет на обход. Поисковик может заходить на страницу, но не показывать её в результатах. Это важное различие: для служебных страниц обычно нужен именно noindex, а не полный запрет через robots.txt, если вы не хотите ломать внутренние переходы и диагностику.
Что лучше не закрывать без проверки
Есть страницы, которые часто закрывают по привычке, но это не всегда правильно. Не стоит автоматически убирать из индекса всё подряд.
Осторожнее с:
- рубриками, которые реально собирают поисковый трафик;
- архивами тегов, если они хорошо заполнены и имеют понятную структуру;
- страницами пагинации в больших каталогах и блогах;
- страницами автора на многоавторных сайтах;
- страницами поиска, если они используются как полезный вход в контент и уже получают переходы.
Если сомневаетесь, откройте конкретный URL в поиске и посмотрите, есть ли у него собственный спрос, уникальный текст, нормальная навигация и смысл для пользователя. Если страница просто повторяет список записей без добавленной ценности, её обычно можно закрывать. Если же она помогает находить контент и сама по себе полезна, лучше не спешить.
Как закрыть служебные страницы от индексации в WordPress
Самый надёжный способ — добавить на нужные типы страниц мета-тег noindex. Для WordPress это обычно делают через SEO-плагин или через код темы/мини-плагина. Второй вариант требует аккуратности: если вы правите тему напрямую, изменения могут пропасть после обновления.
Через SEO-плагин
Если на сайте уже стоит SEO-плагин, проверьте его настройки для архивов, таксономий и служебных страниц. Во многих случаях можно отдельно отключить индексацию:
- архивов автора;
- архивов тегов;
- страниц поиска;
- архивов дат;
- страниц пагинации, если плагин это позволяет.
Это удобнее всего, потому что плагин обычно сам добавляет нужные мета-теги и не требует ручного кода. Но важно не включать всё подряд без проверки: на разных сайтах одна и та же настройка даёт разный результат.
Через код, если нужен точечный контроль
Если вы хотите закрыть только конкретные типы страниц, а не весь набор архивов, можно добавить условную логику в мини-плагин или в functions.php дочерней темы. Ниже пример для вывода noindex на странице поиска, архиве автора и страницах тегов.
Перед изменениями сделайте резервную копию файлов темы или работайте в дочерней теме. Ошибка в PHP-коде может временно сломать сайт.
add_action( 'wp_head', function () {
if ( is_search() || is_author() || is_tag() ) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
} );Этот пример добавляет мета-тег в <head> только на нужных типах страниц. Значение follow оставляет роботам возможность переходить по ссылкам на странице, что обычно полезнее, чем полный запрет.
Если вам нужно закрыть не весь архив тегов, а только часть тегов, тогда условие придётся усложнять: например, проверять конкретный термин по ID или слагу. Это уже зависит от структуры сайта.
Когда нужен robots.txt, а когда нет
robots.txt полезен, когда вы хотите ограничить обход, но он не заменяет noindex. Для большинства служебных страниц WordPress лучше сначала использовать именно noindex, а не закрывать URL в robots.txt.
Почему так: если робот не может зайти на страницу, он может не увидеть мета-тег noindex и продолжить держать URL в индексе по внешним ссылкам или по старым данным. Поэтому для удаления из поиска надёжнее дать роботу увидеть страницу и явно сказать, что индексировать её не нужно.
robots.txt имеет смысл использовать точечно, когда нужно уменьшить лишний обход, например для технических параметров или совсем бесполезных URL. Но для страниц, которые уже попали в индекс, это не основной инструмент удаления.
Как проверить, что страница действительно закрыта
После настройки не ограничивайтесь визуальной проверкой. Откройте нужную страницу в браузере и посмотрите исходный код: в <head> должен быть мета-тег noindex. Если используете SEO-плагин, проверьте, не дублируется ли он другим плагином или темой.
Полезно проверить и заголовок ответа сервера. Иногда страницы закрывают через HTTP-заголовок X-Robots-Tag, но это уже зависит от сервера и конфигурации хостинга. Если вы такой способ не настраивали, ориентируйтесь на мета-тег в HTML.
Дальше отправьте URL на повторную проверку в панели для вебмастеров поисковой системы. Удаление из индекса не происходит мгновенно: робот должен переобойти страницу и увидеть актуальные директивы.
Что делать, если страница уже в индексе
Если служебная страница уже ранжируется, одного добавления noindex может быть недостаточно для быстрого результата. Обычно нужно сочетание двух действий: закрыть страницу от индексации и дождаться переобхода. Если нужно ускорить процесс, используйте инструменты удаления URL в панели вебмастеров, но только после того, как на странице уже стоит корректная директива.
Не удаляйте URL из сайта только ради того, чтобы убрать его из поиска. Если страница нужна для навигации или работы сайта, лучше оставить её доступной и просто исключить из индекса.
Практичный ориентир: что закрывать, а что оставлять
Если нужен короткий рабочий ориентир, можно отталкиваться от такой логики:
- закрываем то, что не несёт самостоятельной ценности для пользователя из поиска;
- оставляем то, что помогает находить контент и может привлекать трафик;
- не используем
robots.txtкак заменуnoindexдля уже проиндексированных страниц; - после изменений обязательно проверяем исходный код и статус индексации.
На практике чаще всего достаточно закрыть поиск по сайту, архивы автора на одноавторском блоге и часть тегов. А вот рубрики, полезные архивы и страницы, которые реально приводят посетителей, лучше не трогать без анализа.
Если на сайте много дублей и служебных URL, удобно централизованно управлять ими через SEO-плагин или инструменты для чистки дублей. В экосистеме WPShop для этого подходит Clearfy Pro, если вам нужен именно контроль над индексируемыми архивами и техническими дублями без ручной правки кода.