Генератор robots.txt онлайн

Говорит поисковикам, какие URL не обходить, и указывает Sitemap. Это просьба к ботам, не пароль на админку.

Сохраните текст как файл robots.txt в корне сайта (https://ваш-домен/robots.txt), рядом с index.html или в корневой location nginx. Не кладите его в HTML-страницу. Секретные разделы всё равно закрывайте авторизацией.

Данные

* — правило для всех ботов. Можно Yandex или Googlebot отдельным файлом не делается: несколько блоков User-agent в одном файле.

Пути, которые не нужно обходить, по одному на строку. /admin — типично. Пусто — разрешено всё.

Исключения из запрета, по строке. Например /admin/public/ при Disallow /admin.

Канонический хост для Яндекса, с https://. Google смотрит скорее на Sitemap.

Полный URL карты сайта, например https://example.com/sitemap.xml.

Как пользоваться

Каждый путь Disallow/Allow с новой строки. Пустой Disallow означает «разрешено всё».

Как интерпретировать результат

robots.txt — рекомендация для добросовестных ботов, не firewall. Закрыть админку им нельзя.

Частые вопросы

Зачем Allow при Disallow /?

Чтобы открыть исключение, например /public/ внутри закрытого префикса. Порядок правил зависит от бота.

Yandex Host?

Яндекс учитывает Host. Google ориентируется на Sitemap и каноникал.

Это noindex?

Нет. noindex — мета/заголовок на странице. robots.txt скрывает URL от обхода.

Кириллица в пути?

Лучше percent-encode. Сырой UTF-8 понимают не все роботы.

Crawl-delay?

Нестандартно и Google игнорирует. Не добавляется.

Тестер регулярных выражений Проверка Python re на тестовом тексте Сравнение текста Unified diff двух фрагментов Преобразование регистра идентификаторов camelCase, snake_case, kebab-case, PascalCase Системы счисления Двоичная, восьмеричная, десятичная, шестнадцатеричная