Генераторы
Robots.txt generator
Соберите robots.txt с sitemap, CMS-пресетом или best-effort блоком для AI-crawlers.
Результат
Правил
5 правил
Пресет
open
User-agent групп
1
Правил
5
Sitemap
да
Robots.txt управляет обходом добросовестных роботов, но не является защитой доступа. Crawl-delay поддерживают не все поисковики.
Robots.txt generator помогает быстро собрать файл для корня сайта: открыть обход, закрыть служебные разделы CMS, добавить sitemap или подготовить best-effort правила для AI-crawlers.
Как работает robots.txt
Файл robots.txt читается добросовестными роботами перед обходом сайта. В нём указывают группы User-agent и правила Allow, Disallow, Sitemap и иногда Crawl-delay.
Как сгенерировать robots.txt
- Выберите пресет. Открытый сайт, CMS, AI-crawlers или закрытие обхода задают стартовые правила.
- Укажите sitemap. Добавьте полный URL карты сайта, например https://example.ru/sitemap.xml.
- Проверьте Disallow. Оставьте только те пути, которые действительно не нужно обходить роботам.
- Разместите файл. Сохраните результат как /robots.txt в корне нужного хоста и проверьте доступность URL.
Базовый формат
User-agent: * Disallow: /admin/ Sitemap: https://example.ru/sitemap.xml
Правила robots.txt относятся к конкретному протоколу, хосту и порту. Это не механизм безопасности и не замена авторизации.
Пример
Для интернет-магазина можно закрыть /cart/, /checkout/, /login/ и страницы поиска, но не закрывать CSS, JS и публичные карточки товаров.
Источники
- Google Search Central: How Google interprets robots.txtПроверено: 2026-05-24
- Google Search Central: Create and submit a robots.txt fileПроверено: 2026-05-24
- RFC 9309: Robots Exclusion ProtocolПроверено: 2026-05-24
Подробнее о проверке формул и источников — в методологии Calcup.
Неверный Disallow может закрыть важные страницы от обхода. Перед публикацией проверьте файл в Search Console или другом валидаторе.
FAQ
Часто задаваемые вопросы
Robots.txt скрывает страницу от людей?
Нет. Файл только сообщает роботам правила обхода. Для защиты доступа нужны авторизация, закрытые URL или серверные ограничения.
Можно ли закрыть весь сайт?
Да, правило Disallow: / для User-agent: * просит роботов не обходить сайт. Используйте его осторожно.
Нужно ли добавлять Sitemap?
Да, это простой способ показать роботам адрес карты сайта, особенно если sitemap находится не по стандартному пути.
AI-crawlers точно соблюдают правила?
Не всегда. Robots.txt — добровольный протокол для добросовестных роботов. Для чувствительного контента нужны дополнительные меры.
Где должен лежать robots.txt?
В корне хоста: например, https://example.ru/robots.txt. Для поддомена нужен свой файл.