Как закрыть дубли страниц авторов в WordPress через robots.txt и noindex

Архивы авторов в WordPress часто становятся источником дублей: на небольшом сайте одна и та же статья доступна через категорию, главную, архив автора и иногда через теги. Если у проекта один автор или архивы не несут самостоятельной ценности, их лучше не тащить в индекс. Но делать это нужно аккуратно: robots.txt и noindex решают разные задачи, и путать их нельзя.

Ниже — рабочая схема, которая помогает убрать архивы авторов из поиска, не ломая внутреннюю навигацию и не создавая новых технических проблем.

Когда архивы авторов действительно нужно закрывать

Не каждый сайт должен прятать страницы авторов. Если это медиа с несколькими редакторами, у автора есть биография, список материалов и отдельная ценность для пользователя, архив может быть полезен. Но если у вас:

• один основной автор;
• на архиве автора повторяется список тех же записей без уникального текста;
• страницы автора конкурируют с категориями и тегами в выдаче;
• в индексе уже есть десятки пустых или почти пустых архивов;

тогда закрытие архивов авторов — нормальная техническая мера. Важно только не пытаться решить задачу одним robots.txt: если страница уже проиндексирована, запрет на обход не гарантирует её исчезновение из выдачи.

Диагностика проблемы: что именно попало в индекс

Сначала проверьте, какие URL реально индексируются. Самый быстрый способ — поиск по оператору site: и фильтр по шаблону URL автора. Обычно это что-то вроде /author/username/. Если в выдаче видны архивы без полезного контента, это уже повод действовать.

Дополнительно посмотрите:

• есть ли у архива автора уникальный заголовок и описание;
• не дублируется ли title с именем автора и названием сайта;
• не закрыт ли архив уже через SEO-плагин;
• не генерирует ли тема собственный шаблон автора с лишними блоками;
• нет ли в sitemap URL архивов авторов.

Если у вас подключена Google Search Console, откройте отчёт по индексированию страниц и проверьте, не растёт ли число URL с шаблоном автора. Это полезнее, чем ориентироваться только на локальный просмотр сайта.

Что выбрать: robots.txt, noindex или удаление шаблона

Для архивов авторов обычно есть три пути. Они не взаимозаменяемы.

Если задача именно SEO-очистка, чаще всего правильная комбинация такая: архив остаётся доступным, но получает noindex, follow. А если архивы авторов не нужны вообще, можно отключить их генерацию на уровне темы или SEO-плагина и при необходимости отдавать 404/410 для старых URL.

Пошаговое решение через код

Ниже вариант без привязки к конкретному SEO-плагину. Он добавляет noindex, follow на архивы авторов и убирает их из XML-карты сайта, если тема или плагин это не делают автоматически.

1. Добавьте мета-robots для архивов авторов

<?php
add_action( 'wp_head', function () {
    if ( is_author() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

Этот код лучше добавлять в дочернюю тему или в небольшой mu-plugin, а не в основной файл темы. Так он не потеряется при обновлении.

2. Исключите архивы авторов из sitemap, если они туда попадают

В WordPress ядро не добавляет авторские архивы в sitemap по умолчанию, но SEO-плагины могут делать это по-своему. Если у вас есть собственная генерация карты сайта, проверьте, не выводятся ли туда author URL. Для кастомного фильтра в плагине или теме логика обычно такая: не включать URL, если это архив автора и он не нужен в индексе.

<?php
add_filter( 'wp_sitemaps_posts_query_args', function( $args, $post_type ) {
    return $args;
}, 10, 2 );

Этот пример сам по себе ничего не меняет — он здесь как ориентир: sitemap лучше править на уровне конкретного генератора, а не через случайные костыли. Если вы используете Yoast SEO, Rank Math или другой SEO-плагин, отключайте архивы авторов в его настройках, а не через хаотичные правки шаблонов.

3. Если архивы не нужны совсем, отключите их в теме

Иногда проще не индексировать, а убрать сущность полностью. Если на сайте один автор и архив не несёт пользы, можно перенаправить архив автора на главную или на страницу «Об авторе». Но редирект должен быть осмысленным: не на случайную страницу, а туда, где пользователь действительно найдёт полезную информацию.

<?php
add_action( 'template_redirect', function () {
    if ( is_author() ) {
        wp_safe_redirect( home_url( '/' ), 301 );
        exit;
    }
} );

Такой вариант уместен только если вы уверены, что архивы автора не нужны ни пользователям, ни внутренней структуре сайта. Если на них есть внешние ссылки или они используются в навигации, сначала проверьте аналитику и логи переходов.

Если используете SEO-плагин: что проверить в настройках

Большинство SEO-плагинов умеют закрывать архивы авторов без кода. Но проблема в том, что настройки часто дублируются: в плагине одно, в теме другое, а в functions.php третье. В итоге робот видит противоречивые сигналы.

• проверьте, не включён ли индекс архивов авторов в настройках SEO;
• убедитесь, что на странице автора реально выводится noindex в исходном коде;
• посмотрите, не остался ли URL в sitemap;
• проверьте canonical: он должен указывать на саму страницу архива или на целевую страницу, если вы делаете редирект;
• сравните поведение для авторов с записями и без записей.

Если у вас уже стоит плагин для технической чистки сайта, например Clearfy Pro, часть этой работы можно закрыть настройками без ручного кода. Но даже в этом случае стоит проверить исходный HTML и sitemap руками: плагины иногда меняют поведение после обновления.

Проверка результата после внедрения

После изменений не ограничивайтесь визуальной проверкой страницы в браузере. Нужны три проверки.

Проверка исходного кода

Откройте архив автора и убедитесь, что в <head> есть:

<meta name="robots" content="noindex,follow" />

Если мета-тега нет, значит условие не сработало или код вставлен не туда.

Проверка ответа сервера и редиректа

Если вы выбрали редирект, проверьте, что URL отдаёт именно 301, а не 302. В терминале это можно посмотреть так:

curl -I https://example.com/author/username/

В ответе должен быть понятный статус и целевой Location. Если редирект цепляется через несколько промежуточных URL, это уже повод упростить схему.

Проверка в Search Console

После переобхода страницы посмотрите, как Google видит URL: исключён ли он из индекса, распознан ли noindex, не остался ли он в sitemap. Для уже проиндексированных архивов обновление не происходит мгновенно, поэтому не ждите моментального исчезновения.

Частые ошибки и как их исправить

Вот проблемы, которые встречаются чаще всего.

• Закрыли только robots.txt. Если URL уже в индексе, он может остаться там без сниппета. Добавьте noindex или удалите страницу из обхода после деиндексации.
• Поставили noindex и одновременно запретили обход в robots.txt. Робот не увидит мета-тег и не сможет корректно обработать директиву. Сначала дайте странице попасть в обход, потом закрывайте от индексации.
• Сделали редирект на главную для всех авторов. Это удобно, но часто ломает логику сайта и мешает пользователю найти информацию об авторе.
• Забыли про sitemap. Даже закрытая страница может продолжать светиться в карте сайта и получать новые обходы.
• Дублируют настройки в теме и SEO-плагине. В результате часть страниц получает один набор правил, часть — другой.

Безопасность и производительность: что учесть

Любые правки лучше выносить в дочернюю тему или mu-plugin. Не редактируйте основной шаблон, если сайт обновляется. Для небольших правок по SEO и индексации это самый частый источник потерь: обновили тему — и все изменения исчезли.

Если вы добавляете редиректы, избегайте тяжёлых условий в template_redirect. Проверка должна быть простой и предсказуемой. Не стоит строить логику на десятках запросов к базе или на внешних HTTP-вызовах.

Для сайтов с большим количеством контента полезно периодически проверять, не появились ли новые типы дублей: архивы дат, вложения медиафайлов, теги, страницы пагинации. Часто проблема с авторами — это только первый слой, а дальше всплывают ещё несколько технических URL, которые тоже нужно привести в порядок.

Короткий чек-лист перед публикацией изменений

• проверили, нужен ли архив автора пользователю;
• выбрали один подход: noindex, редирект или отключение архива;
• убрали противоречия между темой, плагином и robots.txt;
• проверили исходный код страницы;
• проверили sitemap;
• отправили URL на переобход в Search Console;
• сохранили изменения в дочерней теме или mu-plugin.

Если задача шире, чем просто архивы авторов, и нужно навести порядок в дублях, метатегах и технической индексации, удобнее закрывать это через один инструмент, а не набор разрозненных правок. Но в любом случае сначала проверьте, что именно попадает в индекс, а уже потом режьте доступ роботам.