wpset.ru wordpress WPSet

Как настроить robots.txt в WordPress

Если поисковые роботы заходят не туда, куда нужно, robots.txt помогает направить их по нужным разделам и не тратить бюджет обхода на служебные страницы, архивы и технические URL. В WordPress этот файл часто либо вообще не настраивают, либо правят с ошибками: добавляют слишком жёсткие запреты, путают robots.txt с мета-тегом robots или пытаются закрыть им то, что уже попало в индекс. Ниже — как настроить файл без лишнего риска и что проверить после правки.

Что делает robots.txt и чего от него ждать

robots.txt — это текстовый файл в корне сайта, по адресу https://ваш-домен/robots.txt. Его читают поисковые роботы до обхода страниц. Через него можно подсказать, какие разделы не нужно сканировать, где лежит карта сайта и какие служебные URL лучше не трогать.

Но у файла есть важное ограничение: он управляет обходом, а не гарантирует удаление из индекса. Если страница уже известна поисковику, одного запрета в robots.txt обычно недостаточно. Для удаления из индекса нужны другие инструменты, а robots.txt решает именно задачу обхода.

Когда robots.txt в WordPress действительно нужен

Для небольшого сайта с нормальной структурой часто хватает стандартного файла, который WordPress отдаёт автоматически. Настраивать его вручную имеет смысл, если вы хотите:

  • закрыть от обхода служебные каталоги и системные URL;
  • снизить количество бесполезных запросов к сайту со стороны роботов;
  • не показывать поисковикам внутренние страницы поиска, фильтров или технические разделы;
  • добавить ссылку на XML-карту сайта;
  • аккуратно ограничить обход отдельных директорий, не затрагивая весь сайт.

Если сайт уже нормально индексируется и у вас нет лишних разделов, не стоит усложнять файл без причины. Чем короче и понятнее robots.txt, тем меньше шанс случайно заблокировать важные страницы.

Как WordPress отдаёт robots.txt по умолчанию

У WordPress есть виртуальный robots.txt. Если физического файла в корне сайта нет, система формирует его автоматически. Это удобно, но такой вариант не всегда подходит: вы не сможете управлять содержимым так гибко, как в обычном файле на сервере.

Как только вы создаёте реальный файл robots.txt в корне сайта, он начинает иметь приоритет над виртуальным вариантом WordPress. Поэтому после загрузки собственного файла проверьте, что по адресу /robots.txt открывается именно ваш текст, а не стандартный ответ системы.

Базовая настройка robots.txt: рабочий минимум

Для большинства сайтов достаточно простого и безопасного набора правил. Ниже пример, который можно взять за основу и адаптировать под свой проект:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Что здесь происходит:

  • User-agent: * — правило для всех роботов;
  • Disallow: /wp-admin/ — закрывает административный раздел от обхода;
  • Allow: /wp-admin/admin-ajax.php — оставляет доступ к AJAX-обработчику, который нужен теме и плагинам;
  • Sitemap: — указывает адрес карты сайта, если она у вас есть.

Для WordPress это самый частый и практичный вариант. Он не мешает поисковикам обходить публичные страницы сайта, но убирает из сканирования административную часть.

Как отредактировать robots.txt на практике

Способ зависит от того, как у вас устроен хостинг и есть ли доступ к файловой системе. Самые надёжные варианты — через FTP/SFTP, файловый менеджер хостинга или панель управления сервером.

Если у вас есть доступ к файлам сайта

Откройте корневую папку WordPress, где лежат wp-config.php, wp-content и wp-admin. Если файла robots.txt нет, создайте его как обычный текстовый файл в кодировке UTF-8 без BOM. Если файл уже есть, откройте его и внесите правки.

После сохранения проверьте, что имя файла написано без ошибок: именно robots.txt, а не robots.txt.txt и не RobotS.txt. На Linux-хостингах регистр символов в имени файла важен.

Если сайт на управляемом хостинге

На некоторых хостингах доступ к корню сайта ограничен, а редактирование файла удобнее делать через встроенный файловый менеджер. Логика та же: найти корневую директорию сайта, создать или заменить robots.txt, затем открыть его по прямому URL и убедиться, что изменения применились.

Если хостинг использует кэширование на уровне сервера или CDN, обновление файла может отображаться не сразу. В этом случае очистите кэш на стороне хостинга и, если он подключён, на стороне CDN.

Что можно закрывать, а что лучше не трогать

В robots.txt обычно закрывают только то, что не нужно сканировать поисковым роботам. Для WordPress это часто служебные и технические разделы. Но важно не переусердствовать.

Осторожно относитесь к таким правилам:

  • Disallow: / — полностью закрывает весь сайт от обхода. Это почти всегда ошибка для публичного проекта;
  • Disallow: /wp-content/ — может скрыть от обхода полезные файлы, изображения и ресурсы темы;
  • закрытие категорий, записей или страниц без понимания последствий — можно случайно убрать из обхода важные посадочные страницы;
  • массовые запреты по шаблонам, если вы не проверили, какие URL они затронут.

Если цель — не допустить индексации конкретной страницы, robots.txt не всегда лучший инструмент. Для таких случаев обычно используют мета-тег robots или заголовок X-Robots-Tag, но это уже другая задача: не обход, а индексация.

Типичные ошибки при редактировании robots.txt

На практике проблемы возникают не из-за самого файла, а из-за мелочей в синтаксисе и логике правил.

  • Неправильный путь. Правило должно начинаться с корня сайта, например /wp-admin/, а не с относительного пути.
  • Лишние пробелы и опечатки. Роботы обычно терпимы к мелким ошибкам, но лучше не полагаться на это.
  • Слишком общий запрет. Одно неосторожное правило может закрыть больше, чем вы планировали.
  • Ожидание мгновенного эффекта. Поисковики не перечитывают robots.txt каждую секунду, и изменения могут применяться не сразу.
  • Путаница между виртуальным и физическим файлом. Если WordPress или плагин показывает одно содержимое, а по URL открывается другое, значит вы редактируете не тот источник.

Отдельно проверьте, не создаёт ли файл лишние директивы в нескольких блоках для одного и того же робота. Если правила конфликтуют, поведение зависит от того, как именно их интерпретирует конкретный поисковый робот.

Как проверить, что robots.txt работает правильно

После сохранения файла откройте https://ваш-домен/robots.txt в браузере. Вы должны увидеть именно тот текст, который загрузили на сервер. Если вместо него открывается ошибка, пустая страница или старое содержимое, сначала проверьте путь к файлу и кэш.

Дальше стоит проверить три вещи:

  1. файл доступен по прямому URL;
  2. в нём нет случайного запрета на важные разделы;
  3. ссылка на sitemap ведёт на реальный файл карты сайта, если вы её указали.

Если вы используете инструменты для вебмастеров поисковых систем, там обычно можно проверить, как робот видит robots.txt и не блокируются ли нужные URL. Это полезно после любой серьёзной правки, особенно если файл редактировали вручную впервые.

Когда лучше не править файл вручную

Если на сайте уже есть плагин или системное решение, которое генерирует robots.txt автоматически, ручная правка может быть перезаписана при следующем обновлении настроек. В таком случае сначала нужно понять, кто именно формирует файл: WordPress, плагин SEO, хостинг или собственный код темы.

Если вы не уверены, откуда берётся содержимое, не вносите изменения вслепую. Сначала откройте файл по URL, посмотрите его текущий вид и только потом решайте, где удобнее управлять правилами — в файле на сервере или через настройки плагина.

Для сайтов, где нужно регулярно чистить служебные настройки и убрать дублирующиеся технические элементы, иногда удобнее использовать специализированные инструменты вроде Clearfy Pro, но сам robots.txt всё равно нужно проверять вручную: автоматизация не отменяет базовую логику файла.

Если держать в голове одну практическую мысль, то она простая: robots.txt в WordPress нужен не для «магической SEO-настройки», а для аккуратного управления обходом. Начинайте с минимального набора правил, не закрывайте лишнее и после каждой правки проверяйте файл по прямому адресу. Так вы не сломаете доступ поисковых роботов к важным страницам и не создадите себе лишнюю работу с исправлением ошибок.

×

AI-плагин

WPGPT
Сам создает статьи для вашего сайта WordPress

SEO и мета-теги

Парсинг конкурентов

Изображения

Комментарии

Подробнее