Как закрыть от индексации архивы по дате в WordPress через robots.txt и noindex

Архивы по дате в WordPress часто попадают в поиск без пользы для сайта: отдельные страницы за месяц или год дублируют ленту записей, не дают уникального контента и размывают индекс. При этом полностью отключать их не всегда разумно — на сайте они могут быть нужны для навигации, а иногда и для внутренней перелинковки. Поэтому задача обычно не в том, чтобы «удалить архивы», а в том, чтобы безопасно закрыть их от индексации и не сломать пользовательский сценарий.

Если коротко: для архивов по дате чаще всего подходит noindex, а robots.txt — только как дополнительная мера, если вы понимаете её ограничения. Ниже разберём, чем эти способы отличаются, когда какой использовать и как проверить, что всё сработало.

Какие архивы по дате WordPress обычно нужно закрывать

В WordPress архивы по дате — это страницы вида /2024/, /2024/05/ или похожие URL, которые формируются из записей и даты публикации. Они полезны, если посетитель реально ищет материалы за конкретный период. Но на большинстве сайтов такие страницы не несут самостоятельной ценности для поиска.

Чаще всего закрывают:

• архивы по году;
• архивы по месяцу;
• иногда архивы по дню, если они вообще доступны на сайте;
• страницы пагинации таких архивов, если они тоже индексируются и создают лишние URL.

Если архивы используются как часть интерфейса сайта, их не обязательно удалять из шаблона. Достаточно убрать их из индекса поисковых систем.

Что выбрать: robots.txt или noindex

Это главный практический вопрос. Оба способа часто упоминают вместе, но они решают разные задачи.

На практике для архивов по дате безопаснее начинать с noindex. Если просто закрыть URL в robots.txt, поисковик может не зайти на страницу и не увидеть мета-тег noindex, а уже проиндексированный адрес может ещё долго висеть в выдаче без нормального обновления статуса.

Поэтому рабочая схема обычно такая: сначала ставим noindex, а robots.txt используем только там, где это действительно нужно и где вы понимаете последствия.

Как закрыть архивы по дате через noindex

Самый безопасный вариант — добавить на архивные страницы директиву noindex. В WordPress это можно сделать несколькими способами: через SEO-плагин, через настройки темы или кодом. Если у вас уже стоит SEO-плагин, обычно проще использовать его интерфейс. Если плагина нет, можно добавить условную мета-директиву в тему или дочернюю тему.

Способ через SEO-плагин

Если на сайте уже используется плагин для SEO, проверьте, умеет ли он закрывать архивы от индексации. В большинстве случаев это делается в настройках архивов: для архивов по дате нужно включить noindex и сохранить изменения.

Плюс этого способа в том, что он не требует правки шаблонов. Минус — интерфейс и названия пунктов зависят от конкретного плагина, поэтому универсальной инструкции по кнопкам здесь нет. Суть одна: архивные страницы должны отдавать в HTML мета-тег robots с noindex.

Способ через код в теме

Если вы не хотите ставить отдельный плагин, можно добавить условие в functions.php дочерней темы или в собственный мини-плагин. Этот вариант полезен, когда нужно закрыть именно архивы по дате и не трогать другие типы архивов.

Перед изменениями сделайте резервную копию файла или работайте через дочернюю тему. Ошибка в functions.php может временно сломать сайт.

Пример кода:

add_action( 'wp_head', function () {
    if ( is_date() ) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
} );

Здесь условие is_date() срабатывает на архивных страницах по дате: год, месяц или день. Директива noindex,follow говорит поисковику не показывать страницу в выдаче, но при этом не запрещает переходить по ссылкам на ней. Для архивов это обычно разумный вариант: навигация остаётся рабочей, а сама страница не конкурирует в поиске.

Если вам нужно закрыть только архивы по месяцу и году, а дневные не используются, можно уточнить условие:

add_action( 'wp_head', function () {
    if ( is_year() || is_month() ) {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
} );

После добавления кода откройте архивную страницу и проверьте исходный код: в секции <head> должен появиться нужный мета-тег.

Когда имеет смысл использовать robots.txt

robots.txt не заменяет noindex, но может быть полезен как дополнительная мера для технических URL, которые не должны обходиться роботом. Для архивов по дате его используют осторожно: если вы запретите обход, поисковик может не увидеть директиву noindex и не обновить статус страницы так, как вы ожидаете.

Если архивы уже закрыты через noindex, а вы хотите ещё и снизить лишний обход, можно добавить правило в robots.txt. Но делать это стоит только после того, как вы убедились, что нужные страницы уже отдают noindex и не требуют переобхода для снятия из индекса.

Пример, который часто используют для блокировки архивов по дате:

User-agent: *
Disallow: /2024/
Disallow: /2024/05/

Такой подход выглядит просто, но у него есть важная оговорка: он работает только для конкретных путей. Если у вас URL архивов устроены иначе, правила придётся адаптировать. Кроме того, блокировка в robots.txt не удаляет уже проиндексированные страницы мгновенно.

Поэтому для большинства сайтов правильная последовательность такая:

1. сначала поставить noindex на архивы по дате;
2. убедиться, что поисковик видит директиву;
3. только потом при необходимости добавить ограничение в robots.txt.

Как не сломать навигацию и внутренние ссылки

Самая частая ошибка — перепутать индексацию и доступность страницы. Если закрыть архив от индексации, он всё равно может оставаться полезным для посетителя. Это нормально. Не нужно удалять ссылки на архивы из шаблона только потому, что они не должны попадать в поиск.

Проверьте три момента:

• архив открывается в браузере без ошибок;
• ссылки на записи внутри архива доступны и ведут на статьи;
• на самой архивной странице нет редиректа на главную или на 404, если вы специально не отключали архивы целиком.

Если архивы используются в хлебных крошках, боковом меню или виджете, их можно оставить. Для пользователя это нормальная навигация, а для поисковика — просто страница с директивой noindex.

Как проверить, что архивы действительно закрыты

После настройки не стоит полагаться только на предположение. Проверка занимает несколько минут и помогает избежать ситуации, когда в коде всё вроде бы есть, а поисковик продолжает индексировать старые URL.

Что проверить вручную:

• откройте архив по дате в браузере;
• посмотрите исходный код страницы и найдите meta name="robots";
• убедитесь, что там есть noindex;
• если используете robots.txt, проверьте, что правила записаны без ошибок и не перекрывают нужные страницы;
• после переобхода в панели вебмастера посмотрите, как поисковик видит страницу.

Если архив уже был в индексе, удаление может занять время. Это нормально: поисковик должен заново обойти страницу и увидеть новую директиву. Если вы одновременно закрыли URL в robots.txt и поставили noindex, процесс может затянуться, потому что робот не сможет зайти на страницу и прочитать мета-тег.

Что делать, если архивы уже в поиске

Когда архивы по дате уже попали в индекс, одного изменения на сайте иногда недостаточно для быстрого результата. В этом случае сначала оставьте страницу доступной для обхода и отдающей noindex. После переобхода поисковик обычно обновляет статус сам.

Если нужно ускорить процесс, используйте инструменты вебмастера для переобхода или удаления URL из выдачи. Но не подменяйте это жёсткой блокировкой в robots.txt до того, как поисковик увидит noindex. Иначе вы рискуете получить старый URL, который ещё долго будет числиться в индексе без нормального обновления.

Для сайтов на WordPress самый практичный сценарий обычно такой: архивы по дате остаются доступными для пользователей, но получают noindex,follow. Это закрывает проблему дублей и не ломает структуру сайта. robots.txt подключайте только тогда, когда у вас есть понятная причина ограничить именно обход, а не только показ в поиске.

Если нужен более системный способ чистить дубли и технические страницы в WordPress, можно посмотреть на Clearfy Pro: он помогает управлять SEO-настройками сайта без ручной правки шаблонов. Но для архивов по дате всё равно важно понимать логику noindex и не закрывать нужные страницы слишком агрессивно.