Pular para o conteúdo principal
Best Web Developer — agência de web design, desenvolvimento e crescimento digital

Ferramentas de SEO

Gerador Robots.txt

Um arquivo pequeno que é fácil de errar catastroficamente, por isso vale a pena gerar em vez de digitar.

  • é executado no seu navegador
  • Nada carregado

A ferramenta

Adicione os caminhos dos quais deseja manter os rastreadores fora e o URL do seu mapa do site.

Tudo o que você insere permanece em sua própria máquina. Nada é enviado para nós ou para qualquer outra pessoa, o que você pode confirmar na aba de rede do seu navegador.

Para que as pessoas o usam

  • Manter os rastreadores fora das páginas de administração, carrinho e resultados de pesquisa
  • Apontando mecanismos de pesquisa para o mapa do seu site
  • Bloqueando a indexação de um site de teste inteiro
  • Revendo um robots.txt existente em busca de erros óbvios
  • Produzindo um arquivo inicial para um novo site

Sobre esta ferramenta

A única regra com a qual ter cuidado

Um robots.txt contendo Disallow: / pede a cada rastreador que ignore todo o site. É um único caractere de um arquivo que não bloqueia nada e removeu mais sites dos resultados de pesquisa do que quase qualquer outro erro.

A opção existe aqui porque os sites de teste realmente precisam dela, e o rótulo diz isso claramente. Verifique o arquivo gerado antes de carregá-lo.

O que o robots.txt não faz

Solicita que os rastreadores fiquem de fora. Ele não mantém uma página fora do índice quando outros sites possuem links para ela e não oferece segurança: o arquivo é público, portanto, listar um caminho confidencial o anuncia. Use noindex para manter as páginas fora dos resultados e autenticação para manter as pessoas fora.

Verifique após o upload

Obtenha seu próprio robots.txt em um navegador após implantá-lo. Os rastreadores tratam 404, ou o tipo de conteúdo errado, como permissão para rastrear tudo, o que pode ou não corresponder à sua intenção.

O Search Console e ferramentas equivalentes também mostram como leem o arquivo, o que vale a pena verificar após qualquer alteração.

Isso precisa ser tratado em todo o site? Veja nosso Serviços técnicos de SEO página.

Perguntas

Perguntas sobre esta ferramenta

O que os clientes realmente desejam saber – custos, prazos, propriedade e o que acontece após o lançamento.

Na raiz do seu domínio, acessível em /robots.txt. Não funcionará em nenhum outro lugar.

Não. Use uma tag noindex para isso. Robots.txt pede aos rastreadores que não o visitem, o que é diferente de pedir aos mecanismos de pesquisa que não listem.

Não, e tratá-lo como tal é um erro. O arquivo é público, portanto, listar um caminho confidencial informa a todos que ele existe.

Geralmente sim, para economizar orçamento de rastreamento. Mas proteja-o com autenticação em vez de depender deste arquivo.

Os respeitáveis sim. Os maliciosos ignoram-no completamente, o que é outra razão pela qual não é um controlo de segurança.

Sessão de estratégia gratuita

Vamos construir algo que valha a pena encontrar.

Diga-nos onde você deseja que o negócio esteja em doze meses. Voltaremos com um plano orçamentado, um cronograma realista e os números que esperamos movimentar – sem obrigações, sem jargões.

  • chamada de 30 minutos, sem apresentação de argumento de venda
  • Proposta de preço fixo em horas 48
  • Você possui tudo o que construímos

Fale com um desenvolvedor

Não é uma equipe de vendas

Tempo de resposta
Dentro do horário comercial 1
Onde trabalhamos
Reino Unido, EUA e Golfo
Contratos
Sem lock-in, lançamento mensal
Trabalhando desde
2023
infobestwebdeveloper.org

Sessão de estratégia gratuita

Vamos construir algo que valha a pena encontrar.

Diga-nos onde você deseja que o negócio esteja em doze meses. Voltaremos com um plano orçamentado, um cronograma realista e os números que esperamos movimentar – sem obrigações, sem jargões.

  • chamada de 30 minutos, sem apresentação de argumento de venda
  • Proposta de preço fixo em horas 48
  • Você possui tudo o que construímos

Fale com um desenvolvedor

Não é uma equipe de vendas

Tempo de resposta
Dentro do horário comercial 1
Onde trabalhamos
Reino Unido, EUA e Golfo
Contratos
Sem lock-in, lançamento mensal
Trabalhando desde
2023
infobestwebdeveloper.org
Consulta gratuita