As únicas 4 diretivas que o Google suporta
O Google lê apenas user-agent, allow, disallow e sitemap. Qualquer outra linha é descartada em silêncio: sem erro de sintaxe, sem alerta no Search Console, e o arquivo continua sendo considerado válido. É por isso que este gerador não oferece campos para o resto.
As diretivas que não fazem nada
Em abril de 2026 o Google ampliou a lista pública de campos não suportados. Se alguma destas está no seu arquivo hoje, ela nunca teve efeito:
crawl-delay— para controlar ritmo de rastreamento, o caminho é o Search Console.noindex— nunca funcionou aqui. Use a meta tagrobotsou o cabeçalhoX-Robots-Tag.nofollow,noarchive,hosteclean-param.content-signal,content-usage,domain,request-rate,revisit-afterevisit-time.
A pegadinha do user-agent específico
O Google aplica um único grupo de regras: o do user-agent mais específico que corresponde ao rastreador. Os grupos não se somam. Se existe um bloco para o Googlebot, todas as regras do bloco genérico são descartadas para ele.
Foi exatamente assim que muitos sites quebraram as próprias regras ao adicionar blocos para bots de IA. Este gerador repete as regras comuns dentro de cada bloco justamente para evitar isso.
Bloquear no robots.txt não tira do Google
Os dois controles são independentes e, juntos, se anulam: se a URL está bloqueada no robots.txt, o Googlebot não consegue baixar a página, e portanto nunca lê a meta tag noindex que está dentro dela. A URL pode continuar aparecendo na busca, sem descrição.
A regra prática: para tirar do índice, deixe a página rastreável e use noindex. Para economizar crawl budget em área sem valor de busca, aí sim use o robots.txt.
O assunto está detalhado em quando o Google ignora o seu robots.txt, com os cinco casos documentados e o comportamento em erro 5xx.