robots.txt и краулинг
Правила обхода корректны: нужное открыто, служебное закрыто, AI-краулеры учтены.
robots.txt и краулинг — это блок проверок директив обхода сайта. Проверяем, что robots.txt доступен и валиден, служебные разделы закрыты, а CSS и JavaScript открыты для индексации. Отдельно проверяем политику для AI-краулеров (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended).
Состав блока «robots.txt и краулинг»
- Доступность и валидность robots.txt
- Закрытие служебных разделов от индексации
- Открытость CSS и JS для корректного рендеринга
- Явная политика для AI-краулеров
Методика и источники данных
- 1Запрашиваем robots.txt и разбираем директивы User-agent / Disallow / Allow
- 2Проверяем, что стили и скрипты не закрыты от роботов
- 3Анализируем наличие правил для AI-краулеров и Sitemap
Почему блок важен
- →Ошибка в robots.txt может закрыть от индекса весь сайт
- →Закрытые CSS/JS ломают рендеринг страниц поисковыми роботами
- →Политика по AI-краулерам определяет, попадает ли контент в AI-ответы
Что получаете на выходе
- ✓Разбор текущего robots.txt с найденными ошибками
- ✓Рекомендации по директивам и порядку обхода
- ✓Заданная политика для AI-краулеров
Правила блока «robots.txt и краулинг»
Каждое правило имеет id, критичность и источник сбора данных. Всего в каталоге 73 правил.
| ID | Правило | Критичность | Источник данных |
|---|---|---|---|
| RB-01 | robots.txt валиден и доступен | Высокая | авто: краулер |
| RB-02 | Закрыты служебные разделы | Высокая | авто: краулер |
| RB-04 | CSS/JS открыты для индексации | Высокая | авто: краулер |
| RB-10 | Политика AI-краулеров задана | Средняя | авто: краулер |
Частые вопросы: robots.txt и краулинг
Что такое robots.txt?+
robots.txt — служебный файл в корне сайта, который указывает поисковым и AI-роботам, какие разделы можно обходить, а какие закрыты. SEO-SCAN проверяет его доступность, корректность директив и политику для AI-краулеров.
Можно ли закрыть сайт от AI-краулеров?+
Да, через директивы для конкретных агентов — например, GPTBot, ClaudeBot, PerplexityBot, Google-Extended. SEO-SCAN проверяет, задана ли эта политика явно, чтобы вы управляли присутствием контента в AI-ответах осознанно.
Другие проверки направления SEO
Индексация и редиректы
Поиск видит сайт целиком: без дублей, зеркал и лишних цепочек редиректов.
Метаданные и семантика
Уникальные title и description, один H1 и правильная иерархия заголовков.
Изображения и медиа
Битых картинок нет, у каждой есть alt, форматы и вес в порядке.
Скорость и Core Web Vitals
LCP, CLS и INP в норме, сжатие включено, тяжёлая графика оптимизирована.
Безопасность и инфраструктура
HTTPS обязателен, mixed content нет, сервер не в спам-листах и без санкций.
Карта сайта
sitemap.xml актуален, валиден и не содержит битых или закрытых URL.
Внешние факторы
Ссылочный профиль растёт здоровым, спам-доноров нет, карточки бизнеса заполнены.
Поисковая выдача
Реальные позиции по запросам, сниппеты, быстрые ссылки и лидеры выдачи.
Структура и перелинковка
Понятные ЧПУ, рабочие хлебные крошки, без ссылочных циклов и страниц-сирот.
Проверьте сайт: блок «robots.txt и краулинг»
Зарегистрируйтесь, добавьте проект и запустите проверку по этому и другим блокам методологии SEO-SCAN.