Если в поиске всплывают страница входа, регистрация, корзина, результаты поиска по сайту или другие технические URL, это обычно не признак поломки, а следствие того, что такие страницы доступны для обхода и не ограничены для индексации. Проблема в другом: поисковик тратит обход на служебные адреса, а в выдаче могут появляться страницы, которые не несут ценности пользователю.
Закрывать нужно не всё подряд, а только те URL, которые действительно не должны участвовать в поиске. Для WordPress это чаще всего страницы входа, регистрации, восстановления пароля, внутренний поиск, корзина, оформление заказа, личный кабинет и служебные результаты фильтров или сортировок, если они создают отдельные адреса.
Что именно обычно закрывают от индексации
Логика простая: если страница нужна для работы сайта, но не должна привлекать трафик из поиска, её стоит исключить из индексации. При этом саму страницу удалять не нужно — она должна открываться для пользователей и поисковых роботов, если это требуется для работы сайта.
- Страница входа — чаще всего это
/wp-login.phpили кастомный URL авторизации. - Регистрация и восстановление пароля — если они доступны публично.
- Корзина и оформление заказа — особенно если это интернет-магазин.
- Личный кабинет — профиль, заказы, адреса, подписки.
- Внутренний поиск — страницы вида
?s=или их ЧПУ-аналоги. - Технические страницы фильтров — если они генерируют много дублей и не должны ранжироваться.
Не стоит автоматически закрывать всё, что выглядит «неполезным». Например, если у вас есть отдельная страница «Доставка», «Оплата» или «Контакты», это уже не служебные URL, а нормальные посадочные страницы. Их закрывать не нужно.
Какой способ выбрать: robots.txt, noindex или настройка плагина
Для WordPress обычно используют три подхода, и у каждого своя задача. Самая частая ошибка — пытаться решить всё только через robots.txt. Этот файл управляет обходом, но не гарантирует исключение страницы из индекса, если на неё уже есть ссылки или она была проиндексирована раньше.
| Способ | Что делает | Когда подходит |
|---|---|---|
robots.txt | Запрещает или ограничивает обход | Для технических разделов, которые не нужно активно сканировать |
noindex | Просит поисковик не включать страницу в индекс | Для уже доступных страниц, которые не должны ранжироваться |
| SEO-плагин | Упрощает управление мета-тегами и правилами | Когда нужно массово и аккуратно настроить сайт без правки кода |
Если страница уже попала в поиск, одного запрета в robots.txt обычно недостаточно. В таком случае лучше использовать noindex и оставить страницу доступной для обхода, чтобы поисковик увидел директиву и убрал URL из выдачи.
Как закрыть служебные страницы через SEO-плагин
Самый безопасный вариант для большинства сайтов — настроить индексацию через SEO-плагин, если он уже установлен. В популярных плагинах можно задать noindex для отдельных типов страниц, архивов, результатов поиска и служебных URL без ручного редактирования шаблонов.
Схема действий обычно такая:
- Откройте настройки SEO-плагина.
- Найдите раздел, связанный с индексированием, мета-тегами или архивами.
- Для служебных страниц включите
noindex, если плагин позволяет задать его для конкретного типа страниц. - Проверьте, не добавляет ли плагин одновременно
nofollowбез необходимости. Для служебных страниц это обычно не требуется.
Если плагин умеет управлять архивами и результатами поиска, этого часто достаточно для типовых задач. Но для /wp-login.php или нестандартных URL иногда нужен отдельный способ, потому что такие адреса не являются обычными страницами WordPress.
Что делать с wp-login.php и другими системными URL
Страница входа в админку — особый случай. Её не имеет смысла закрывать от индексации как обычную страницу, потому что это системный файл, а не запись или страница WordPress. Поисковик может знать о ней, но сама по себе она не должна быть полезной для выдачи. Если URL всё же появляется в индексе, обычно проблема в том, что на него есть ссылки или он был обнаружен в карте сайта, что для wp-login.php быть не должно.
Практически полезнее не пытаться «прятать» wp-login.php, а сделать следующее:
- убедиться, что он не попал в XML-карту сайта;
- не ставить на него внутренние ссылки из публичных разделов;
- при необходимости ограничить доступ дополнительной защитой, если речь идёт о безопасности, а не об индексации.
Если у вас кастомный URL входа, созданный плагином, его уже можно обрабатывать как обычный адрес: через noindex, если плагин это поддерживает, или через серверные правила, если нужна более жёсткая настройка.
Как закрыть результаты поиска WordPress
Страницы внутреннего поиска — один из самых частых источников мусора в индексе. Обычно это URL с параметром ?s=. Такие страницы редко полезны в поиске, потому что их содержимое зависит от запроса пользователя и может создавать тысячи почти одинаковых адресов.
Здесь лучше не ограничиваться только robots.txt. Если поисковые страницы уже доступны, поисковику нужно явно показать, что индексировать их не следует. Для этого используют noindex на шаблоне результатов поиска или настройку SEO-плагина, если он умеет исключать search results pages.
Если вы не хотите, чтобы внутренний поиск вообще индексировался, проверьте ещё и ссылки на него в теме: иногда поиск выводится в шапке, а его URL попадает в карту сайта или в блоки навигации. Сам по себе такой URL не страшен, но он не должен становиться посадочной страницей из поиска.
Когда нужен robots.txt, а когда он только мешает
robots.txt полезен, если нужно сократить обход технических разделов, но он не заменяет noindex. Это важно понимать, потому что закрытая в robots.txt страница может остаться в индексе как URL без содержимого, если поисковик уже знает о ней из внешних или внутренних ссылок.
Для WordPress обычно имеет смысл ограничивать в robots.txt только то, что действительно не нужно сканировать массово. Например, служебные каталоги плагинов, если они открыты, или параметры, создающие бесконечные комбинации URL. Но не стоит закрывать там страницы, которые вы хотите убрать именно из индекса: для этого нужен noindex.
Если вы редактируете robots.txt вручную, делайте это осторожно. Ошибка в директиве может случайно закрыть важные разделы сайта. Перед изменением файла лучше сохранить его текущую версию, чтобы можно было быстро откатиться.
Как проверить, что служебные страницы действительно закрыты
После настройки не полагайтесь только на визуальное ощущение. Проверьте несколько вещей.
- Откройте страницу в браузере и посмотрите исходный код: для обычных страниц должен быть мета-тег
noindex, если вы именно его настраивали. - Проверьте, не осталась ли страница в XML-карте сайта.
- Посмотрите, не ведут ли на неё внутренние ссылки из меню, футера, хлебных крошек или блоков.
- Если страница уже была в индексе, дайте поисковику время на переобход. Быстрое исчезновение не гарантируется.
Для проверки в поиске можно использовать оператор site:, но он показывает не всё и не всегда сразу обновляется. Надёжнее смотреть отчёты в панели вебмастера поисковой системы, если сайт там уже добавлен.
Что не стоит закрывать без необходимости
Иногда владельцы сайтов начинают закрывать от индексации почти всё подряд: категории, теги, пагинацию, архивы, страницы автора. Это уже отдельная SEO-задача, и она не равна закрытию служебных URL. Если закрыть лишнее, можно ухудшить внутреннюю перелинковку и потерять полезные посадочные страницы.
Для темы служебных страниц ориентир простой: закрывайте то, что нужно пользователю для работы с сайтом, но не должно ранжироваться само по себе. Всё, что может быть полезной страницей для поиска, оценивайте отдельно.
Если нужен практический минимум, начните с результатов внутреннего поиска, страниц входа и регистрации, корзины, оформления заказа и личного кабинета. Этого обычно достаточно, чтобы убрать из выдачи самые бесполезные технические URL и не навредить нормальным страницам сайта.