Генератор robots.txt
АвторOleh Soloninобновлено
По одному пути на строку.
Google эту строку не поддерживает, Яндекс не учитывает с 22.02.2018; её читает, например, Bing.
Результат
- Готовый robots.txt
User-agent: * Disallow: /admin/ Disallow: /account/ Disallow: /cart/ Disallow: /search Allow: / Disallow: /tmp/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
- Основазакрыть служебные разделы
- Строк9
- Строка карты сайтаSitemap: https://example.com/sitemap.xml
- Что важно знать
Проверьте файл в панели вебмастера после публикации: одна лишняя строка Disallow закрывает целый раздел.
Связанные инструменты
Генератор 301-редиректов
Готовое правило перенаправления для nginx, .htaccess или next.config с нужным кодом ответа.
Справочник кодов HTTP
Расшифровывает код ответа сервера, показывает его группу, влияние на индексацию и правила кеширования.
Длина title и description
Считает длину мета-тегов в символах и в пикселях и предупреждает, обрежет ли их поисковая выдача.