Validador de Robots.txt
Valide o arquivo robots.txt do seu site
Perguntas Frequentes
O que é o robots.txt?
O robots.txt é um arquivo de texto que fica na raiz do seu site e informa aos robôs dos mecanismos de busca quais páginas podem ou não ser rastreadas. Ele segue o Robots Exclusion Protocol e é lido por crawlers como Googlebot, Bingbot e outros antes de rastrear seu site.
Por que devo validar meu robots.txt?
Um robots.txt mal configurado pode bloquear acidentalmente páginas importantes do seu site, impedindo que o Google as indexe. Também pode permitir o rastreamento de páginas sensíveis. A validação identifica erros de sintaxe, regras conflitantes e problemas comuns.
O que significa 'Disallow: /'?
A diretiva 'Disallow: /' sob 'User-agent: *' bloqueia TODOS os crawlers de rastrear qualquer página do seu site. Isso é muito restritivo e normalmente não é recomendado, a menos que você queira deliberadamente impedir a indexação de todo o site.
Preciso de uma diretiva Sitemap no robots.txt?
Embora não seja obrigatório, incluir a diretiva Sitemap no robots.txt é uma boa prática de SEO. Ela ajuda os mecanismos de busca a encontrar seu sitemap.xml automaticamente, facilitando a descoberta e indexação de todas as páginas do seu site.
Qual a diferença entre Allow e Disallow?
Disallow bloqueia o acesso dos crawlers a um caminho específico, enquanto Allow permite explicitamente o acesso. Allow é útil quando você usa Disallow em um diretório inteiro mas quer permitir o acesso a subpáginas específicas. Por exemplo: Disallow: /admin/ com Allow: /admin/public/.