Если страница или весь сайт не попадают в поиск, причина часто не в одной настройке, а в сочетании нескольких: noindex в мета-тегах, неправильный canonical и запреты в robots.txt. Эти механизмы решают разные задачи, поэтому и исправлять их нужно по-разному. Убрать их «из индекса» одной кнопкой нельзя: сначала надо понять, что именно мешает роботам, а потом отключить только лишнее.
Ниже разберём, чем отличаются эти способы управления индексацией в WordPress, когда какой из них использовать и как проверить, что поисковик видит нужную версию страницы.
Что именно мешает индексации: noindex, canonical или robots.txt
Путаница возникает из-за того, что все три механизма связаны с поисковыми роботами, но работают по-разному.
noindexговорит поисковику: страницу можно просканировать, но в индекс её не добавлять.canonicalуказывает предпочтительную версию страницы, если есть дубли или очень похожие URL.robots.txtограничивает обход: робот может не дойти до страницы и не увидеть её содержимое.
Это не взаимозаменяемые инструменты. Если страница закрыта в robots.txt, поисковик может вообще не увидеть на ней noindex. Если на странице стоит неправильный canonical, она может индексироваться как дубль другой URL. Если включён noindex, страница обычно не попадёт в индекс даже при корректном canonical.
Когда нужно убирать noindex
noindex используют для страниц, которые не должны ранжироваться: служебные разделы, результаты внутреннего поиска, некоторые архивы, страницы фильтров в зависимости от структуры сайта. Но если вы хотите, чтобы запись, рубрика или важная посадочная страница появилась в поиске, этот тег нужно убрать.
В WordPress noindex часто появляется не в коде темы, а из настроек SEO-плагина или самих настроек чтения. Проверьте:
- Настройки → Чтение — не включена ли опция «Попросить поисковые системы не индексировать сайт».
- Настройки SEO-плагина — не закрыт ли тип записей, рубрики, теги или отдельные страницы.
- Шаблон темы или кастомный код — не добавляет ли он мета-тег
robotsсnoindexвручную.
Если сайт уже был закрыт от индексации, после снятия галочки не ждите мгновенного результата. Поисковику нужно заново обойти страницу, а это зависит от частоты обхода и качества внутренних ссылок.
Как проверить, что noindex действительно убран
Откройте исходный код страницы и найдите строку вида <meta name="robots" content="noindex, nofollow"> или похожую. Если тег есть, страница всё ещё закрыта. Если его нет, но страница не индексируется, проверьте ещё robots.txt и canonical.
В Google Search Console полезно использовать проверку URL: она показывает, видит ли робот страницу и какой статус индексации у неё сейчас. Если страница доступна для сканирования, но не индексируется, причина часто именно в noindex или в конфликте канонического адреса.
Как исправить canonical, если WordPress указывает не ту страницу
canonical нужен, когда у одной и той же страницы есть несколько адресов: с параметрами, со слэшем и без, с сортировкой, с UTM-метками, с пагинацией или с вариантами фильтров. Поисковик должен понять, какой URL считать основным.
Проблема начинается, когда WordPress или SEO-плагин ставит канонический адрес на другую страницу, а не на текущую. Тогда поисковик может считать нужную страницу дублем и не показывать её в выдаче как самостоятельную.
Проверьте канонический URL в исходном коде. Он выглядит так: <link rel="canonical" href="https://example.com/page/">. Адрес должен совпадать с той страницей, которую вы хотите индексировать, с учётом протокола, домена и слэша в конце, если он используется на сайте.
Если canonical указывает на другой URL, ищите причину в:
- настройках SEO-плагина;
- шаблоне страницы или записи;
- дублирующемся контенте, который WordPress сам считает альтернативной версией;
- параметрах URL, которые не должны создавать отдельную страницу.
Для обычной записи или страницы правильный canonical обычно не требует ручной правки. Если же вы специально создаёте посадочную страницу и хотите, чтобы индексировалась именно она, убедитесь, что плагин не подставляет канонический адрес на архив, рубрику или другую похожую страницу.
Когда canonical лучше не трогать вручную
Если у вас нет явной проблемы с дублями, не стоит прописывать canonical вручную «на всякий случай». Неверный адрес может навредить сильнее, чем отсутствие ручной настройки. Особенно это касается страниц с пагинацией, фильтрами и динамическими параметрами: там ошибка в canonical легко уводит трафик на не ту версию URL.
Что делать с robots.txt и почему это не то же самое, что noindex
robots.txt управляет обходом, а не индексом напрямую. Если вы запретили путь в robots.txt, робот может не увидеть содержимое страницы и не обработать мета-теги на ней. Поэтому использовать robots.txt как способ убрать страницу из индекса — плохая идея, если цель именно деиндексация.
В WordPress файл robots.txt может быть виртуальным и формироваться системой, либо физическим, если вы создали его в корне сайта. Проверьте, нет ли там правил вроде:
User-agent: *
Disallow: /wp-content/
Disallow: /category/
Disallow: /tag/
Запрет на /tag/ или другой раздел не удаляет страницы из индекса автоматически. Если они уже известны поисковику, он может продолжать показывать URL без содержимого или с устаревшим сниппетом. Для удаления из индекса обычно надёжнее снять noindex или, наоборот, поставить его на нужную страницу, а не прятать её в robots.txt.
Есть и обратная ситуация: если вы хотите, чтобы важная страница начала индексироваться, но она закрыта в robots.txt, поисковик может не дойти до неё и не увидеть изменения в мета-тегах. Тогда сначала убирают запрет на обход, потом проверяют наличие noindex и корректность canonical.
Какой способ использовать в вашей ситуации
Если коротко: noindex — для страниц, которые не должны быть в индексе; canonical — для выбора основной версии среди дублей; robots.txt — для ограничения обхода, а не для удаления из поиска.
| Ситуация | Что делать |
|---|---|
| Нужно убрать из поиска служебную или малополезную страницу | Ставить noindex, а не закрывать её только в robots.txt |
| Есть дубли с параметрами, фильтрами или сортировкой | Проверить и исправить canonical |
| Нужно ограничить обход технических разделов | Использовать robots.txt, но понимать, что это не удаление из индекса |
| Нужно вернуть страницу в поиск | Убрать noindex, проверить canonical и только потом смотреть на robots.txt |
На практике чаще всего проблема решается в два шага: сначала снимают лишний noindex, потом проверяют, не уводит ли canonical на другой адрес. robots.txt трогают только если он действительно мешает обходу нужной страницы.
Порядок действий в WordPress, если страница не индексируется
Если нужно быстро найти причину, действуйте по порядку:
- Откройте страницу в браузере и посмотрите исходный код.
- Найдите
meta robotsи проверьте, нет лиnoindex. - Найдите
link rel="canonical"и убедитесь, что он ведёт на эту же страницу. - Проверьте
robots.txtна запреты для нужного пути. - Сверьте настройки WordPress и SEO-плагина, если они используются.
Если вы меняете настройки на живом сайте, делайте это аккуратно. Ошибка в robots.txt или canonical может затронуть не одну страницу, а целый раздел. Перед правкой полезно сохранить текущую версию файла и, если есть возможность, проверить изменения на staging-копии.
Как понять, что всё исправлено
После правок не ориентируйтесь только на браузер. Проверьте три вещи: в исходном коде нет лишнего noindex, canonical указывает на нужный URL, а robots.txt не закрывает путь, который должен обходиться поисковиком.
Дальше отправьте страницу на повторную проверку в поисковой панели для вебмастеров. Если всё настроено правильно, со временем статус страницы изменится, но скорость зависит от частоты обхода и авторитетности сайта. Для новых или редко обновляемых страниц это может занять больше времени.
Главная ошибка здесь — пытаться решить всё через robots.txt. Для удаления страницы из индекса он не подходит так же надёжно, как noindex. А если проблема в дублировании, то без корректного canonical поисковик всё равно может выбрать не ту версию.
