Herramientas SEO
Robots.txt Generator.Generador de robots
Un archivo pequeño que es fácil de equivocarse catastróficamente, por lo que vale la pena generarlo en lugar de escribir.
- Se ejecuta en su navegador
- No se ha cargado nada
La herramienta
Agregue las rutas de las que desea mantener alejados a los rastreadores y la URL de su mapa del sitio.
Todo lo que ingresa permanece en su propia máquina. No se envía nada a nosotros ni a nadie más, lo cual puede confirmar en la pestaña de red de su navegador.
Para qué lo usa la gente
- Mantener a los rastreadores fuera de las páginas de administración, carrito y resultados de búsqueda
- Apuntando motores de búsqueda a su mapa de sitio
- Bloqueo de la indexación de un sitio de prueba completo
- Revisión de un archivo robots.txt existente en busca de errores obvios
- Generando un archivo inicial para un sitio nuevo
Acerca de esta herramienta
La única regla con la que hay que tener cuidado
Un archivo robots.txt que contiene Disallow: / solicita a cada rastreador que ignore todo el sitio. Está a un solo carácter de un archivo que no bloquea nada y ha eliminado más sitios de los resultados de búsqueda que casi cualquier otro error.
La opción existe aquí porque los sitios de preparación realmente la necesitan y la etiqueta lo dice claramente. Verifique el archivo generado antes de cargarlo.
Qué no hace el archivo robots.txt
Solicita que los rastreadores permanezcan fuera. No mantiene una página fuera del índice cuando otros sitios enlazan con ella y no ofrece seguridad: el archivo es público, por lo que incluir una ruta confidencial lo anuncia. Utilice noindex para mantener las páginas fuera de los resultados y autenticación para mantener a las personas fuera.
Verifíquelo después de cargar
Obtenga su propio archivo robots.txt en un navegador después de implementarlo. Los rastreadores tratan un 404, o el tipo de contenido incorrecto, como permiso para rastrear todo, lo que puede coincidir o no con su intención.
Search Console y herramientas equivalentes también muestran cómo leen el archivo, lo que vale la pena comprobar después de cualquier cambio.
¿Necesita gestionar esto en todo un sitio web? Vea nuestro Servicios técnicos de SEO página.
Más herramientas y servicios
- Comprobador de longitud de metadatos para títulos y descripciones.
- Comprobador de densidad de palabras clave
- Generador de metaetiquetas
- Generador de marcado de esquema
- Generador de etiquetas Hreflang
Si prefiere que alguien haga esto correctamente por usted, le ofrecemos Servicios de Diseño Web y Desarrollo de Sitios Web., Servicios SEO: Optimización de motores de búsqueda, posicionamiento web y publicidad en redes sociales, Agencia de automatización de IA.
Preguntas
Preguntas sobre esta herramienta
Las cosas que los clientes realmente quieren saber: costos, plazos, propiedad y qué sucede después del lanzamiento.
En la raíz de su dominio, accesible en /robots.txt. No funcionará en ningún otro lugar.
No. Utilice una etiqueta noindex para eso. Robots.txt pide a los rastreadores que no lo visiten, lo cual es diferente a pedir a los motores de búsqueda que no lo incluyan en la lista.
No, y tratarlo como tal es un error. El archivo es público, por lo que incluir una ruta confidencial les indica a todos que existe.
Normalmente sí, para ahorrar presupuesto de rastreo. Pero protéjalo con autenticación en lugar de depender de este archivo.
Los de buena reputación sí. Los malintencionados lo ignoran por completo, lo cual es otra razón por la que no es un control de seguridad.
Sesión de estrategia gratuita
Vamos a construir algo que valga la pena encontrar.
Dinos dónde quieres que esté el negocio en doce meses y te regresaremos con un plan de costos, un cronograma realista y las cifras que esperamos mover —sin obligación, sin jerga.
- Llamadas de 30 minutos, sin pitch deck
- Propuesta de precio fijo en 48 horas
- Usted es el propietario de todo lo que construimos
Habla con un desarrollador
No es un equipo de ventas
- Tiempo de respuesta
- Dentro del horario laboral 1
- Dónde trabajamos
- Reino Unido, Estados Unidos y el Golfo
- Contratos
- Sin bloqueo, mensualmente continuo
- Trabajando desde
- 2023