Управление индексацией — один из базовых блоков технического SEO. Поисковые роботы должны находить нужные страницы, правильно их обходить и корректно понимать структуру сайта. Ошибки в robots.txt могут закрыть от индексации весь сайт. Неправильные canonical создают дубли. Плохая структура URL мешает распределению ссылочного веса.
Robots.txt и управление краулингом
Robots.txt говорит поисковым ботам, какие страницы можно обходить, а какие — нет. Типичные ошибки: закрытие CSS/JS файлов (мешает рендерингу), закрытие страниц пагинации, неправильный синтаксис директив. Sitemap.xml должен содержать только индексируемые страницы с актуальными датами изменения — это помогает роботам эффективно расходовать краулинговый бюджет.
Canonical, редиректы и дубли
Дубли страниц — распространённая проблема: www и без www, HTTP и HTTPS, страницы с «/» и без, фильтры и сортировки в каталогах. Для каждой группы дублей нужно решение: 301-редирект, canonical-тег или meta noindex. Неправильная настройка размывает ссылочный вес и создаёт конкуренцию страниц внутри одного домена.
Статьи о структуре URL и индексации
- Создание и отправка sitemap.xml в Яндекс и Google
- Файл robots.txt: правильная настройка для SEO
- Как настроить файл robots.txt для WordPress и Bitrix
- Canonical URL: как избежать дублей страниц сайта
- 301 и 302 редиректы: когда и как использовать
- SEO-friendly URL: как создать правильную структуру
- Страница 404: как настроить правильно для SEO
- Управление индексацией: что закрывать от поиска
- Что такое ЧПУ URL: полное руководство
- Редирект с www на без www: настройка для SEO
- Мобильная оптимизация сайта для SEO
- hreflang: что это и как настроить
Проверьте индексацию вашего сайта: технический аудит с разбором проблем индексации.
Читайте по теме:
Технический аудит сайта →