Как закрыть страницу от индексации

Как закрыть страницу от индексации: полное руководство для вебмастеров

Вопрос, как закрыть страницу от индексации, возникает у каждого владельца сайта. Служебные разделы, дубли контента, страницы с личными данными — поисковые системы могут проиндексировать то, что не предназначено для публикации. По нашему опыту (280+ проектов), неправильная настройка запрета индексации — одна из частых причин падения позиций и штрафов от Google и Яндекс. В этой статье разберём все способы, как закрыть URL от поисковых роботов, и покажем, какие методы работают, а какие — нет.

Зачем закрывать страницы от индексации

Поисковые системы тратят краулинговый бюджет на сканирование всех доступных URL. Если на сайте есть технические страницы (корзина, личный кабинет, фильтры) или служебные разделы, их индексация ведёт к:

• Размытию релевантности основных страниц
• Появлению дублей в индексе
• Утечке ссылочного веса на нецелевые URL
• Риску попадания конфиденциальной информации в выдачу

Вагиз Хасанов рекомендует: перед запуском любого проекта обязательно составлять карту запретов. В одном из наших кейсов — интернет-магазин мебели — мы закрыли от индексации 40% страниц (категории с пустыми фильтрами, страницы сравнения, корзину). Результат: +340% трафика за 6 месяцев. Индекс стал чистым, роботы перестали тратить время на мусор.

Основные способы закрыть страницу от индексации

Существует несколько методов запрета индексации. Выбор зависит от того, какой контент нужно скрыть и на каком уровне — отдельная страница, раздел или весь сайт.

1. Файл robots.txt — глобальный запрет для роботов

Самый популярный способ, как закрыть страницу от индексации — использовать файл robots.txt. Это текстовый документ, который лежит в корне сайта. Он указывает поисковым роботам, какие URL сканировать, а какие — нет.

Синтаксис:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /personal/

Директива Disallow запрещает роботу доступ к указанным разделам. Важно помнить: robots.txt не гарантирует полное отсутствие страницы в индексе. Если на страницу ведут внешние ссылки, поисковик может проиндексировать её, игнорируя запрет. Поэтому для конфиденциальных данных используйте комбинированные методы.

Пример настройки для Google и Яндекс:

User-agent: Googlebot
Disallow: /tmp/

User-agent: Yandex
Disallow: /tmp/
Disallow: /private/

2. Мета-тег noindex — запрет на уровне HTML

Если нужно закрыть от индексации конкретную страницу, а не весь раздел, используйте мета-тег noindex. Он размещается в блоке HTML-кода:

<meta name="robots" content="noindex">

Для отдельных поисковых систем:

<meta name="googlebot" content="noindex">
<meta name="yandex" content="noindex">

Этот метод гарантирует, что страница не попадёт в индекс, даже если на неё ведут ссылки. Однако робот всё равно зайдёт на страницу, чтобы прочитать мета-тег. Если нужно сэкономить краулинговый бюджет, комбинируйте с robots.txt.

3. HTTP-заголовок X-Robots-Tag — для не-HTML файлов

Для PDF, изображений, видео и других файлов мета-тег не работает. Здесь помогает HTTP-заголовок X-Robots-Tag. Настройка на сервере (Apache, Nginx) или в .htaccess:

Header set X-Robots-Tag "noindex, nofollow"

Этот способ закрывает файлы от индексации полностью. Используется для политики конфиденциальности в PDF, архивов, изображений-дублей.

4. Закрытие через Google Search Console и Яндекс.Вебмастер

Иногда нужно временно скрыть уже проиндексированные страницы. В Google Search Console есть инструмент «Удаление URL», в Яндекс.Вебмастере — «Удалить страницу». Но это временная мера: через 30–60 дней страница может вернуться в индекс, если не настроены постоянные запреты.

Вагиз Хасанов рекомендует: использовать панели вебмастеров только для экстренного удаления. Основной метод — robots.txt + noindex.

5. Закрытие через JavaScript (не рекомендуется)

Некоторые пытаются скрыть страницу с помощью JS-скриптов. Например, добавить document.cookie или window.location. Это не работает: поисковые роботы (Googlebot, Яндекс.Бот) умеют выполнять JavaScript, но могут не обработать ваш скрипт. Лучше использовать стандартные методы.

Как правильно закрыть раздел сайта от индексации

Часто нужно закрыть не одну страницу, а целый раздел. Например, личный кабинет пользователя, админку или тестовую версию сайта. Рассмотрим пошаговую инструкцию.

Шаг 1. Определите, какие URL нужно закрыть

Составьте список разделов:

• /admin/ — панель управления
• /cart/ — корзина
• /user/ — личный кабинет
• /search/ — страница поиска
• /filter/ — страницы фильтров

Шаг 2. Настройте robots.txt

Добавьте директивы Disallow для каждого раздела. Если сайт большой, используйте отдельные правила для Googlebot и Yandex:

User-agent: Googlebot
Disallow: /admin/
Disallow: /cart/
Disallow: /user/

User-agent: Yandex
Disallow: /admin/
Disallow: /cart/
Disallow: /user/
Disallow: /search/

Шаг 3. Добавьте мета-теги на страницы разделов

Для страниц, которые могут быть проиндексированы через внешние ссылки, пропишите noindex в HTML. Особенно это важно для страниц входа в личный кабинет.

Шаг 4. Проверьте результат

Используйте инструменты вебмастеров. В Google Search Console откройте «Проверка URL» — введите адрес страницы. Если всё настроено правильно, увидите «Страница не проиндексирована: заблокирована robots.txt» или «Страница не проиндексирована: обнаружен тег noindex».

Как закрыть страницу от индексации в Яндекс и Google: отличия

Хотя оба поисковика поддерживают основные методы, есть нюансы.

Рекомендация: для Яндекс используйте комбинацию Disallow + noindex. Для Google достаточно noindex, если страница не критична для краулинга. По нашему опыту (280+ проектов), автосервис, который обратился к нам, потерял 50% трафика из-за того, что закрыл страницы услуг только через robots.txt. После добавления noindex трафик вырос на 280% за 6 месяцев.

Частые ошибки при закрытии страниц от индексации

Даже опытные вебмастеры допускают ошибки. Вот самые распространённые.

Ошибка 1. Disallow для всего сайта

Некоторые пишут Disallow: / — это полностью закрывает сайт от индексации. Используйте только если сайт в разработке.

Ошибка 2. Неправильный синтаксис

Пропуск слеша, лишние пробелы, неверный User-agent. Пример ошибки: Disallow: /admin (без слеша в конце). Это закроет все URL, начинающиеся с «admin», включая «adminpanel».

Ошибка 3. Закрытие страниц с внешними ссылками

Если на страницу ведут ссылки с других сайтов, поисковик может проиндексировать её даже при Disallow. Всегда добавляйте noindex.

Ошибка 4. Игнорирование проверки

После настройки обязательно проверьте результат. Используйте инструменты Google Search Console и Яндекс.Вебмастера.

Когда не нужно закрывать страницу от индексации

Иногда вебмастеры закрывают полезные страницы. Не стоит запрещать индексацию для:

• Страниц с уникальным контентом (статьи, товары)

• Категорий каталога (если они не дубли)
• Страниц с политикой конфиденциальности (если нет личных данных)

Закрытие таких страниц снижает видимость сайта. По нашему опыту (280+ проектов), в 15% случаев клиенты просят закрыть страницы, которые наоборот нужно продвигать. Перед запретом проконсультируйтесь со специалистом.

Как проверить, закрыта ли страница от индексации

Есть несколько способов проверки.

1. Просмотр исходного кода

Откройте страницу в браузере, нажмите Ctrl+U (или ПКМ -> «Просмотр кода страницы»). Найдите мета-тег robots. Если есть content=»noindex», страница закрыта.

2. Инструменты вебмастеров

В Google Search Console: «Проверка URL» -> введите адрес -> смотрите статус индексации. В Яндекс.Вебмастере: «Индексирование» -> «Проверка URL».

3. Команда site:

В поисковой строке введите site:ваш-сайт.ru/адрес-страницы. Если страница в индексе, она отобразится. Если нет — скорее всего, закрыта.

4. Специальные сервисы

Используйте онлайн-проверщики robots.txt или SEO-плагины (например, Screaming Frog SEO Spider). Они покажут, какие страницы закрыты.

Часто задаваемые вопросы

Вопрос 1: Как закрыть страницу от индексации в WordPress?

Используйте плагины Yoast SEO или Rank Math. В настройках страницы выберите «noindex» в разделе «Индексация». Также можно отредактировать robots.txt через файловый менеджер.

Вопрос 2: Что делать, если страница уже в индексе?

Добавьте мета-тег noindex и отправьте страницу на удаление через Google Search Console или Яндекс.Вебмастер. Через 1-2 недели проверьте статус.

Вопрос 3: Можно ли закрыть страницу от индексации без доступа к серверу?

Да, если у вас есть доступ к HTML-коду страницы. Добавьте мета-тег noindex в блок head. Если доступа нет — обратитесь к разработчику.

Вопрос 4: Как закрыть страницу от индексации для одного поисковика?

Используйте мета-теги с указанием конкретного робота: <meta name=»googlebot» content=»noindex»> для Google, <meta name=»yandex» content=»noindex»> для Яндекс.

Вопрос 5: Почему страница не удаляется из индекса после настройки noindex?

Возможно, робот ещё не переиндексировал страницу. Обычно это занимает от 2 до 14 дней. Ускорьте процесс через инструменты вебмастеров.

Закрытие страниц от индексации — важный этап SEO-оптимизации. Неправильная настройка может стоить позиций и трафика. Если сомневаетесь в своих действиях, доверьте эту работу профессионалам.

Получить бесплатный SEO-аудит → seo-rezult.ru