Cómo optimizar el archivo robots.txt para mejorar el SEO

El archivo robots.txt es uno de los elementos más importantes del SEO técnico. Aunque suele pasar desapercibido, este pequeño archivo de texto puede determinar qué partes de tu sitio web son rastreadas por los motores de búsqueda y cuáles no. Una configuración incorrecta puede bloquear contenido valioso o permitir el acceso a páginas irrelevantes.

1. ¿Qué es el archivo robots.txt??

Es un archivo ubicado en la raíz del dominio (tusitio.com/robots.txt) que indica a los bots de búsqueda qué páginas o secciones deben o no deben rastrear.

Ejemplo básico:

User-agent: *
Disallow: /admin/

“Una mala configuración delrobots.txtpuede impedir que Google rastree páginas clave, afectando seriamente el posicionamiento.” —Semrush

2. Sintaxis y estructura

• User-agent: especifica el bot al que se aplican las reglas (ej. Googlebot).
• Disallow: indica qué rutas no deben rastrearse.
• Allow: permite el rastreo de rutas específicas (útil en subdirectorios).
• Sitemap: puedes incluir la URL del sitemap para facilitar la indexación.

Ejemplo avanzado:

User-agent: Googlebot
Disallow: /checkout/
Allow: /checkout/thank-you
Sitemap: https://tusitio.com/sitemap.xml

3. Buenas prácticas de configuración

• No bloquees contenido que quieras posicionar.
• Evita bloquear recursos como CSS o JS si afectan la renderización.
• Incluye el sitemap para facilitar el rastreo.
• No uses robots.txt para bloquear contenido sensible, usa noindex en su lugar.

“El archivorobots.txtno impide la indexación si la URL está enlazada desde otros sitios.” —Google Developers

4. Cómo verificar y probar tu archivo

• Usa la herramienta de inspección de URL en Google Search Console.
• Valida la sintaxis con el tester de robots.txt de GSC.
• Revisa el comportamiento de los bots con Screaming Frog o Sitebulb.

5. Errores comunes

• Bloquear todo el sitio por accidente (Disallow: /).
• No actualizar el archivo tras rediseños o migraciones.
• Usar reglas demasiado genéricas que afectan páginas clave.
• No incluir el sitemap.

6. Casos de uso recomendados

Objetivo	Regla sugerida
Bloquear zona privada	Disallow: /admin/
Permitir solo una subpágina	Allow: /blog/articulo-destacado
Evitar rastreo de parámetros	Disallow: /*?
Incluir sitemap	Sitemap: https://tusitio.com/sitemap.xml

7. Complementos útiles en WordPress

• Yoast SEO: permite editar el archivo desde el panel.
• Rank Math: incluye opciones avanzadas de control de rastreo.
• All in One SEO Pack: ofrece gestión de robots.txt y sitemap.