1. ¿Qué es el archivo robots.txt??

Es un archivo ubicado en la raíz del dominio (tusitio.com/robots.txt) que indica a los bots de búsqueda qué páginas o secciones deben o no deben rastrear.

Ejemplo básico:

User-agent: *
Disallow: /admin/

“Una mala configuración delrobots.txtpuede impedir que Google rastree páginas clave, afectando seriamente el posicionamiento.” —Semrush

2. Sintaxis y estructura

• User-agent: especifica el bot al que se aplican las reglas (ej. Googlebot).
• Disallow: indica qué rutas no deben rastrearse.
• Allow: permite el rastreo de rutas específicas (útil en subdirectorios).
• Sitemap: puedes incluir la URL del sitemap para facilitar la indexación.

Ejemplo avanzado:

User-agent: Googlebot
Disallow: /checkout/
Allow: /checkout/thank-you
Sitemap: https://tusitio.com/sitemap.xml

3. Buenas prácticas de configuración

• No bloquees contenido que quieras posicionar.
• Evita bloquear recursos como CSS o JS si afectan la renderización.
• Incluye el sitemap para facilitar el rastreo.
• No uses robots.txt para bloquear contenido sensible, usa noindex en su lugar.

“El archivorobots.txtno impide la indexación si la URL está enlazada desde otros sitios.” —Google Developers

4. Cómo verificar y probar tu archivo

• Usa la herramienta de inspección de URL en Google Search Console.
• Valida la sintaxis con el tester de robots.txt de GSC.
• Revisa el comportamiento de los bots con Screaming Frog o Sitebulb.

5. Errores comunes

• Bloquear todo el sitio por accidente (Disallow: /).
• No actualizar el archivo tras rediseños o migraciones.
• Usar reglas demasiado genéricas que afectan páginas clave.
• No incluir el sitemap.

6. Casos de uso recomendados

7. Complementos útiles en WordPress

• Yoast SEO: permite editar el archivo desde el panel.
• Rank Math: incluye opciones avanzadas de control de rastreo.
• All in One SEO Pack: ofrece gestión de robots.txt y sitemap.