Генератор robots.txt
По одному пути на строку.
Результат
- Готовый robots.txtUser-agent: * Disallow: /admin/ Disallow: /account/ Disallow: /cart/ Disallow: /search Allow: / Disallow: /tmp/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
- Основазакрыть служебные разделы
- Строк9
- Строка карты сайтаSitemap: https://example.com/sitemap.xml
- Что важно знатьПроверьте файл в панели вебмастера после публикации: одна лишняя строка Disallow закрывает целый раздел.
Связанные инструменты
Генератор 301-редиректов
Собирает правило перенаправления для nginx, Apache или Next.js с нужным кодом ответа.
Справочник кодов HTTP
Расшифровывает код ответа сервера, показывает его группу, влияние на индексацию и правила кеширования.
Длина title и description
Считает длину мета-тегов в символах и в пикселях и предупреждает, обрежет ли их поисковая выдача.