Если у сайта на WordPress есть проблемы с дублями, служебными страницами или лишними обходами, первым делом обычно смотрят на robots.txt. Но это не файл для «закрыть всё подряд». Его задача — подсказать поисковым роботам, какие разделы лучше не обходить, а не спрятать контент от индексации любой ценой.
Для базовой технической SEO-настройки достаточно понять простое правило: в robots.txt закрывают только то, что не нужно тратить на обход, а важные страницы, медиафайлы и публичный контент не трогают без причины. Ниже — рабочая схема именно для WordPress-сайта.
Что делает robots.txt и чего от него не стоит ждать
robots.txt — это текстовый файл в корне сайта, например https://site.ru/robots.txt. Поисковые роботы читают его перед обходом страниц и смотрят, какие пути им разрешены или запрещены. Это не защита от пользователей и не способ удалить страницу из поиска навсегда.
Есть важный нюанс: если страница уже известна поисковику и на неё ведут внешние ссылки, запрет в robots.txt не гарантирует исчезновение из выдачи. В таком случае робот может не заходить на страницу, но сам URL всё равно останется известным поисковой системе. Поэтому robots.txt используют для управления обходом, а не как универсальный инструмент для удаления страниц из индекса.
Что обычно закрывают в WordPress
Для большинства сайтов на WordPress в robots.txt имеет смысл закрывать только служебные и технические разделы, которые не несут пользы пользователю и не должны расходовать бюджет обхода.
Админку и системные каталоги
Почти всегда закрывают /wp-admin/. Это стандартный административный раздел, он не должен обходиться поисковыми роботами. При этом сам файл admin-ajax.php обычно не закрывают отдельной строкой без необходимости: он используется фронтендом и плагинами, а грубое ограничение может ломать часть функций сайта.
Также обычно закрывают /wp-includes/, если сайт отдает там служебные файлы и вы не хотите, чтобы робот тратил на них обход. Но здесь важно не переусердствовать: не стоит закрывать каталоги только потому, что они «похожи на системные». Если вы не уверены, что именно лежит в пути, сначала проверьте, нужен ли он поисковику и пользователю.
Страницы поиска и внутренние результаты
Внутренний поиск WordPress часто создаёт бесполезные для выдачи URL вида /?s=запрос. Такие страницы обычно закрывают от обхода, потому что они не являются самостоятельным контентом и могут плодить мусорные URL.
То же касается служебных страниц сортировки, фильтрации и параметров, если они создают много дублей. Но здесь уже нужно смотреть на конкретную структуру сайта: если параметр влияет на реальный контент и используется как часть навигации, закрывать его вслепую не стоит.
Служебные файлы и приватные разделы
Если на сайте есть каталоги с резервными копиями, логами, временными файлами или приватными выгрузками, их лучше закрыть. Но правильнее всего не допускать их публикации на уровне сервера, а не надеяться только на robots.txt. Файл robots помогает уменьшить обход, но не заменяет нормальную настройку доступа.
Что лучше не закрывать без причины
Самая частая ошибка — закрыть в robots.txt то, что поисковику нужно видеть для нормальной оценки сайта. После этого страницы могут хуже обходиться, а диагностика проблем станет сложнее.
Публичные страницы сайта
Не закрывайте категории, записи, страницы услуг, карточки товаров, авторские страницы и другие разделы, которые должны ранжироваться. Если контент полезен пользователю и должен попадать в поиск, ему не место в Disallow.
Это особенно важно для шаблонов WordPress, где часть URL выглядит «технически», но на деле является полноценной страницей. Если закрыть такие разделы по привычке, можно случайно убрать из обхода значимую часть сайта.
CSS, JavaScript и изображения
Современный поиск оценивает страницу не только по HTML, но и по тому, как она отображается и работает. Поэтому не стоит закрывать каталоги со стилями, скриптами и изображениями, если они нужны для рендеринга страниц. Когда робот не может загрузить ресурсы, он хуже понимает макет, мобильную версию и поведение интерфейса.
Для WordPress это особенно актуально, если тема или плагины подключают стили и скрипты из стандартных директорий. Закрывать их в robots.txt ради «чистоты» не нужно.
Файл sitemap.xml
Карту сайта не закрывают. Напротив, её обычно указывают в robots.txt, чтобы роботы быстрее находили актуальный список URL. Если sitemap у вас есть, это одна из немногих строк, которую действительно полезно добавить в файл.
Базовый рабочий вариант robots.txt для WordPress
Ниже — аккуратный минимальный пример. Он подходит для большинства обычных сайтов на WordPress, если у вас нет нестандартной структуры и специальных требований от SEO-специалиста.
Перед изменением файла сделайте резервную копию текущего robots.txt. Если после правки что-то пойдёт не так, вернуть прежнюю версию будет проще.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://site.ru/sitemap.xml
Что здесь важно:
User-agent: *— правила для всех роботов;Disallow: /wp-admin/— закрывает админку;Disallow: /?s=— ограничивает обход страниц внутреннего поиска;Disallow: /search/— полезно, если на сайте используется ЧПУ-поиск с таким префиксом;Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который часто нужен фронтенду;Sitemap:— указывает карту сайта.
Если у вас нет страницы поиска в формате /search/, эту строку можно убрать. Если sitemap расположен по другому адресу, укажите реальный URL.
Как правильно внести изменения
В WordPress файл robots.txt обычно не редактируют через админку сайта, если нет специального плагина. Чаще всего его создают или меняют на уровне хостинга: через файловый менеджер, FTP или SSH-доступ к корню сайта.
Если файл уже существует, откройте его и внесите правки. Если его нет, создайте новый текстовый файл с именем robots.txt в корневой директории сайта, где лежит wp-config.php и папки WordPress.
После сохранения проверьте, что файл открывается по адресу https://site.ru/robots.txt и отдает именно тот текст, который вы записали. Если вместо него показывается другая версия, значит на сервере есть конфликт: например, файл подменяется настройками хостинга, кэшем или правилами веб-сервера.
Как проверить, что robots.txt настроен нормально
Проверка нужна не только после первой настройки, но и после любого изменения структуры сайта. Ошибки в robots.txt часто замечают слишком поздно — когда уже просели обход и видимость.
Смотрите на три вещи:
- файл доступен по прямому URL и не отдает ошибку 404 или 500;
- в нём нет случайного запрета важных разделов;
- в поисковой системе не закрыты страницы, которые должны индексироваться и обходиться.
Если вы используете Google Search Console или Яндекс Вебмастер, проверьте, как робот видит файл и нет ли предупреждений по доступу к важным URL. Это особенно полезно после переноса сайта, смены темы или установки SEO-плагина.
Типичные ошибки, которые мешают WordPress-сайту
На практике чаще всего встречаются не сложные, а слишком грубые решения. Вот что лучше не делать:
- закрывать весь сайт через
Disallow: /без крайней необходимости; - закрывать каталоги со стилями и скриптами;
- дублировать в
robots.txtто, что уже решается настройками индексации на уровне страниц; - оставлять старый файл после смены домена или структуры URL;
- писать правила под конкретный плагин, не проверив, действительно ли он использует этот путь.
Если сайт небольшой и структура обычная, лучше начать с минимального файла, а не пытаться заранее закрыть всё, что кажется лишним. Для WordPress это почти всегда безопаснее и понятнее.
Когда robots.txt не решает задачу
Если нужно убрать страницу из индекса, но оставить её доступной для пользователей, одного robots.txt недостаточно. В таком случае обычно используют другие механизмы: мета-тег noindex, заголовки ответа или удаление страницы с последующим редиректом. Но это уже отдельная задача, не сводящаяся к настройке robots.
Поэтому не стоит пытаться закрыть в robots.txt всё, что кажется «лишним в поиске». Для WordPress этот файл полезен именно как инструмент аккуратной экономии обхода и отсечения технического мусора, а не как универсальный фильтр для SEO.
Если держаться простой схемы — закрывать админку, внутренний поиск и служебные разделы, а публичный контент и ресурсы темы не трогать — robots.txt будет работать как надо и не создаст лишних проблем при индексации.
