SEO y rendimiento web
robots.txt y sitemap.xml: errores que bloquean crecimiento
Disallow accidentales, sitemaps obsoletos, URLs no canónicas y conflictos con noindex: diagnóstico y remediación para recuperar crawl e indexación.
11 min de lectura · Actualizado 2026-07-22
robots.txt: permitir rastrear ≠ indexar
robots.txt dice al bot si puede solicitar la URL; no impide indexación si hay enlaces externos a esa URL (Google puede indexar sin contenido = URL sin descripción). Para excluir indexación usa meta robots noindex o 401/404 según caso.
Disallow: / bloquea todo el sitio — clásico al copiar robots de staging a producción. Disallow accidental en /blog/ o /productos/ mata tráfico orgánico en semanas.
Allow explícito en subpaths cuando Disallow padre es necesario: Allow: /blog/public/ si bloqueas /blog/admin/. Sintaxis varía; valida en Search Console robots tester.
No uses robots.txt para ocultar contenido sensible — cualquiera puede leerlo. Autenticación real para áreas privadas.
Errores clásicos post-migración y redesign
Staging noindex global que llega a prod via deploy script. Checklist CI: assert ausencia de meta robots noindex en build production.
Plugin SEO «desindexar sitio» activado en WordPress — checkbox olvidado en launch.
CDN/WAF challenge bloquea Googlebot como bot malicioso — verifica logs Cloudflare Allow verified bots.
HTTP→HTTPS migration deja sitemap con URLs http:// indexadas como duplicadas.
sitemap.xml bien hecho
Solo URLs 200 indexables canónicas. Excluye noindex, paginación infinita duplicada, parámetros sessionid, thank-you pages post-form.
Divide sitemaps >50k URLs (e-commerce): sitemap_index.xml referenciando productos, categorías, páginas estáticas.
lastmod debe reflejar cambio real de contenido — Google ignora lastmod spam diario sin cambios.
Registra sitemap en Search Console y robots.txt Sitemap: https://dominio.com/sitemap.xml. Ping no sustituye registro.
Crawl budget y páginas basura
Faceted navigation (filtros ?color=rojo&size=M) genera millones de URLs duplicadas. Canonical + noindex filtros o bloqueo parámetros en GSC.
Internal search results (?q=) indexables — bloquear. Tags WordPress vacíos — noindex o consolidar.
Soft 404 (200 con «no encontrado») confunde crawler — devuelve HTTP 404 real.
Auditoría SEO Toolbox + export Cobertura GSC: cruza «Rastreada, no indexada» con enlaces internos y calidad contenido.
Runbook de recuperación
Detecta caída impresiones 7 días → revisa robots.txt diff → meta robots en template → GSC pages blocked.
Corrige, solicita validación fix en GSC, reenvía sitemap. Recuperación indexación puede tardar 2–6 semanas según autoridad.
Documenta robots/sitemap en repo versionado — no editar solo en prod FTP sin commit.
Conecta corrige configuraciones robots/sitemap en migraciones WordPress→headless y auditorías SEO post-redesign.
Ponlo en práctica ahora
Usa las herramientas gratuitas del Toolbox para validar tu configuración en minutos.
¿Necesitas que lo resolvamos contigo?
Un ingeniero de Conecta puede aplicar esto en tu operación: servicio relacionado o conversación directa.