Qué es (y qué no es) robots.txt

Es un archivo en la raíz que indica a los crawlers qué rutas pueden visitar. No es un noindex. Una URL bloqueada puede seguir en el índice si hay enlaces, pero Google no verá el contenido.

Patrones habituales en un SaaS o CMS

  • Disallow de admin, checkout, filtros con parámetros explosivos y buscadores internos.
  • Allow del resto del sitio público.
  • Línea Sitemap: con la URL absoluta del XML.

Errores caros: bloquear /wp-content/ entero (CSS/JS), bloquear landings de dinero, o Disallow + noindex a la vez. Revisa indexabilidad en análisis on-page y la guía de SEO técnico.