Для чего нужен robots txt

Что такое robots.txt и для чего он нужен

Файл robots.txt — это служебный документ, который указывает поисковым роботам, какие страницы и разделы сайта можно сканировать, а какие — нет. Он располагается в корневой директории сайта и является первым файлом, который запрашивает любой поисковый бот при заходе на ресурс. Без него роботы Яндекса и Google могут индексировать всё подряд: от служебных страниц до дублей контента, что часто приводит к ошибкам в выдаче и снижению позиций.

По нашему опыту (280+ проектов), правильная настройка robots.txt способна увеличить скорость индексации значимых страниц на 30–40%. Например, в одном из кейсов — интернет-магазин мебели — после корректировки правил закрытия дублей и служебных разделов трафик вырос на 340% за 6 месяцев. Причина проста: поисковики перестали тратить бюджет сканирования на мусор и сосредоточились на карточках товаров.

Основные функции файла robots.txt

• Управление индексацией — запрет или разрешение доступа к определённым разделам.

• Экономия краулингового бюджета — поисковые системы не тратят время на сканирование ненужных страниц.
• Защита конфиденциальных данных — служебные папки, админки, временные файлы остаются скрытыми.
• Указание пути к Sitemap — карта сайта в формате xml передаётся роботам напрямую.

Синтаксис и структура robots.txt

Файл имеет простой текстовый формат и состоит из директив. Каждая директива записывается с новой строки. Основные элементы:

Важно: директива Allow используется только совместно с Disallow для уточнения исключений. Например, если вы закрываете всю папку /catalog/, но хотите оставить доступ к странице /catalog/aktsii/, используйте Allow.

Пример базового файла robots.txt

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /search/
Allow: /catalog/

Sitemap: https://site.ru/sitemap.xml

Этот код запрещает доступ к разделам admin, tmp и search для всех поисковых систем, но разрешает сканирование каталога. Также он указывает путь к карте сайта — это помогает Яндексу и Google быстрее находить нужные url.

Как настроить robots.txt для разных CMS

WordPress

Для сайтов на WordPress типичная конфигурация выглядит так:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads/

Sitemap: https://site.ru/sitemap.xml

Закрытие папок /wp-admin/ и /wp-includes/ — стандартная практика, чтобы поисковики не индексировали служебные файлы. Раздел /wp-content/uploads/ лучше открыть, если там хранятся изображения товаров или статей. В проекте автосервиса, который мы вели, после такой настройки количество проиндексированных страниц выросло на 60% за 2 месяца, а заявки увеличились на 280%.

Интернет-магазины на 1С-Битрикс

User-agent: *
Disallow: /bitrix/
Disallow: /personal/
Disallow: /cart/
Disallow: /search/
Allow: /catalog/

Sitemap: https://site.ru/sitemap.xml

Для магазинов критично закрыть корзину, личный кабинет и служебные папки битрикса. Иначе поисковики могут проиндексировать пустые корзины или страницы с ошибками, что ухудшит качество выдачи.

Как проверить robots.txt на ошибки

Даже небольшая опечатка в файле может привести к серьёзным проблемам. Например, если случайно закрыть всю директорию / символом Disallow: /, сайт полностью исчезнет из поиска. Для проверки используйте:

• Яндекс.Вебмастер — раздел «Инструменты» → «Проверка robots.txt».
• Google Search Console — отчёт «Проверка файла robots.txt».
• Онлайн-валидаторы — например, search.google.com/robots.txt или сервисы вроде seositecheckup.com.

Вагиз Хасанов рекомендует проверять файл после каждого изменения, особенно если вы добавляете новые разделы или меняете структуру сайта. Типичные ошибки:

• Отсутствие директивы User-agent — файл не будет работать.

• Несколько блоков User-agent без указания правил — роботы не поймут, что делать.
• Неправильный путь к Sitemap — карта сайта не будет найдена.

Как закрыть страницы от индексации через robots.txt

Чтобы запретить доступ к определённым разделам, используйте директиву Disallow. Примеры:

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /?page=

Если нужно закрыть отдельную страницу, укажите полный путь:

Disallow: /blog/staraya-statya.html

Важно: Disallow не гарантирует, что страница не попадёт в индекс, если на неё ведут внешние ссылки. Для полного исключения из выдачи используйте мета-тег noindex или атрибут rel="nofollow". В одном из проектов мы закрыли /search/ через robots.txt, но трафик на страницы поиска не упал — пришлось дополнительно добавить noindex в HTML.

Как разрешить индексацию нужных страниц

Директива Allow используется для исключений внутри запрещённых папок. Например, если вы закрыли /catalog/, но хотите оставить доступ к /catalog/novinki/:

Disallow: /catalog/
Allow: /catalog/novinki/

Также можно разрешить индексацию отдельных файлов:

Disallow: /pdf/
Allow: /pdf/price.pdf

По нашему опыту (280+ проектов), часто ошибаются, когда пытаются разрешить всё через Allow: / — это бесполезно, так как по умолчанию все страницы открыты. Allow нужен только для уточнения.

Часто задаваемые вопросы

1. Как узнать, что файл robots.txt работает правильно?

Проверьте через Яндекс.Вебмастер или Google Search Console. Введите адрес файла — например, https://site.ru/robots.txt — и посмотрите, какие директивы видит робот. Также можно использовать инструмент «Проверка robots.txt» в консоли поисковика.

2. Что делать, если файл не найден?

Убедитесь, что файл лежит в корневой директории сайта (например, public_html/robots.txt). Если его нет — создайте обычный текстовый файл с именем robots.txt и загрузите через FTP или панель хостинга. Ошибка «404» означает, что файл отсутствует.

3. Можно ли закрыть весь сайт от индексации?

Да, для этого пропишите Disallow: /. Но помните: это полностью удалит сайт из поиска. Используйте только для тестовых или закрытых проектов. Если нужно временно скрыть сайт, лучше использовать пароль или плагин для обслуживания.

4. Как указать несколько Sitemap?

Добавьте несколько директив Sitemap по одной на строку:

Sitemap: https://site.ru/sitemap.xml
Sitemap: https://site.ru/sitemap-news.xml

5. Почему robots.txt не влияет на индексацию в Google?

Google может игнорировать некоторые директивы, если они противоречат его алгоритмам. Например, если страница уже проиндексирована, закрытие её через robots.txt не удалит её из выдачи — нужно использовать noindex. Также Google может сканировать страницы, если на них ведут внешние ссылки.

Заключение

Файл robots.txt — это простой, но мощный инструмент управления индексацией. Он помогает поисковым системам быстрее находить нужные страницы, экономит бюджет сканирования и защищает служебные разделы. Однако неправильная настройка может привести к обратному эффекту: сайт потеряет трафик или полностью исчезнет из выдачи.

Чтобы избежать ошибок, регулярно проверяйте файл через инструменты вебмастера и тестируйте изменения на тестовом поддомене. Если вы сомневаетесь в настройках, доверьте это профессионалам.

Получить бесплатный SEO-аудит → seo-rezult.ru