Respuesta corta
Optimizar robots.txt consiste en permitir el rastreo de paginas y recursos importantes, bloquear zonas sin valor de rastreo y declarar el sitemap. Nunca debe usarse como unica herramienta para quitar paginas de Google, porque una URL bloqueada puede seguir indexada si recibe enlaces.
Por que importa para el SEO
Robots.txt no sirve para desindexar: sirve para orientar el rastreo. Cuando una pagina responde con precision a una intencion de busqueda, Google tiene mas senales para entender su utilidad y el usuario encuentra antes el siguiente paso.
La optimizacion no deberia limitarse a etiquetas o palabras clave. Tambien debe cuidar arquitectura, claridad, experiencia movil, enlazado interno y la confianza que transmite el contenido.
Pasos recomendados
- Comprueba que CSS, JS e imagenes importantes no estan bloqueados.
- Declara la ruta del sitemap XML.
- Bloquea busquedas internas, parametros inutiles o areas privadas si procede.
- Prueba cambios antes de subirlos.
- Documenta por que existe cada regla.
Errores frecuentes
- Bloquear todo el sitio por error con Disallow: /.
- Usar robots.txt para ocultar informacion sensible.
- Bloquear paginas que necesitan ser rastreadas para consolidar canonicals.
Como medir si funciona
Antes de tocar una URL, guarda una referencia de rendimiento. Despues compara periodos equivalentes y evita sacar conclusiones con pocos datos.
Preguntas frecuentes
Robots.txt elimina URLs del indice?
No necesariamente; para desindexar usa noindex en paginas rastreables o eliminacion si corresponde.
Debo permitir bots de IA?
Depende de tu estrategia; si buscas visibilidad en respuestas de IA, conviene no bloquear los bots de busqueda relevantes.