Los bots de IA visitan nuestro sitio pero no nos citan. ¿Cómo depuro problemas de rastreo?

Déjame ayudarte a depurar esto. Rastreo ≠ citación. Aquí tienes el marco de diagnóstico:

Paso 1: Verifica lo que realmente ven los rastreadores

Usa curl con el agente de usuario de IA:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Verifica:

• ¿Aparece el contenido completo?
• ¿Hay alguna meta robots o cabecera X-Robots-Tag?
• ¿El contenido está en el HTML, sin requerir ejecución de JS?

Paso 2: Busca bloqueos ocultos

Problemas comunes:

• Etiqueta meta noindex (bloquea indexación)
• Cabecera X-Robots-Tag: noindex
• Canonical apuntando a otro sitio
• Contenido cargado por JavaScript tras la carga de página
• Detección de login/paywall que sirve contenido diferente a bots

Paso 3: Revisión de calidad del contenido

Si el rastreo está bien, el problema es el contenido:

• ¿Es realmente único o una variación de lo común?
• ¿Está estructurado para que la IA lo extraiga?
• ¿Tiene señales de autoridad (autor, citas)?
• ¿Es lo suficientemente completo como para ser LA fuente?

Problema más común que veo:

Técnicamente el rastreo está bien. Simplemente el contenido no merece ser citado. Los rastreadores visitan, pero los sistemas de IA eligen mejores fuentes.

La brecha entre “accesible” y “citable” es acerca de la calidad y estructura del contenido, no solo del acceso técnico.

Así analizo el comportamiento de rastreadores de IA en los registros:

Análisis de logs para rastreadores de IA:

# Encuentra todos los accesos de rastreadores de IA
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Verifica códigos de estado
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Ve qué páginas visitan más
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Qué buscar:

1. Códigos de estado

   • 200: Bien, recibieron el contenido
   • 301/302: Redirecciones - asegúrate de que lleguen a algo útil
   • 403/404: Problemas - corrige de inmediato
   • 500: Errores de servidor - investiga

2. Patrones de rastreo

   • ¿Qué páginas se rastrean más?
   • ¿Tus mejores páginas están siendo visitadas?
   • ¿Hay páginas que nunca se rastrean?

3. Frecuencia de rastreo

   • GPTBot: Normalmente varias veces al día
   • PerplexityBot: Muy frecuente (búsqueda en tiempo real)
   • Si no hay accesos en semanas, revisa robots.txt

Problemas comunes en logs:

• CDN ocultando agentes de usuario reales
• Balanceador de carga eliminando cabeceras
• Rotación de logs que omite accesos de rastreadores

Asegúrate de ver logs crudos y sin filtrar.

Ya que has verificado el acceso técnico, déjame abordar el lado del contenido:

Por qué la IA podría rastrear pero no citar:

1. Contenido genérico “5 consejos para mejorar el email marketing”: hay 10.000 iguales. La IA cita el mejor, no todos.

2. Sin respuesta extraíble Un contenido narrativo sin conclusiones claras es difícil de citar para la IA.

3. Información desactualizada Si tu contenido dice “tendencias 2023”, la IA preferirá fuentes actuales.

4. Señales de autoridad débiles Sin autor, sin fuentes citadas, sin credenciales visibles.

5. Estructura deficiente La IA necesita secciones claras que pueda analizar. El texto fluido es más difícil de extraer.

Prueba diagnóstica:

Pregúntate: Si yo fuera una IA y tuviera que citar UNA fuente sobre este tema, ¿elegiría mi contenido o el de un competidor?

Sé honesto. ¿Qué tiene el competidor que tú no?

Usualmente es:

• Cobertura más completa
• Mejor estructura para la extracción
• Señales de autoridad más fuertes
• Información más actual

Mejora eso, y llegarán las citas.

Análisis técnico sobre renderizado JavaScript:

Aunque tu contenido principal sea renderizado en el servidor, revisa:

1. Secciones de contenido lazy-load Contenido importante más abajo podría cargarse tras el render inicial.

// Este contenido podría no aparecer a los rastreadores
<div data-lazy="true">Contenido importante aquí</div>

2. Elementos interactivos que ocultan contenido Pestañas, acordeones, secciones expandibles pueden tener contenido inaccesible para la IA.

3. Datos estructurados generados por JavaScript Si tu schema se inyecta vía JS, es posible que los rastreadores no lo vean.

Herramienta de prueba:

La Prueba de Compatibilidad Móvil de Google muestra el HTML renderizado: https://search.google.com/test/mobile-friendly

Compara lo que ves allí con tu página real. Cualquier diferencia puede explicar problemas de visibilidad.

Solución rápida:

Visualiza tu página con JavaScript deshabilitado. Todo lo que aparezca ahí es lo que los rastreadores definitivamente ven. Si el contenido clave falta, ahí está tu problema.

Problemas con schema que impiden citaciones:

Aunque el contenido sea visible, un mal schema puede perjudicarte:

1. Marcado de schema inválido Usa la Prueba de Resultados Enriquecidos de Google para validar. Un schema inválido podría ser ignorado completamente.

2. Falta de schema Sin schema de Organization, Article o FAQ la IA debe adivinar el tipo de tu contenido.

3. Schema conflictivo Múltiples schemas de Organization con información diferente. La IA no sabe cuál confiar.

Cómo probar:

# Obtén y busca schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Luego valida cada bloque de schema en: https://validator.schema.org/

Errores comunes de schema:

• Falta @context
• @type incorrecto
• Formatos de fecha inválidos
• Campos de URL sin http/https
• Propiedades requeridas ausentes

Corrige los errores de schema. Los sistemas de IA analizan el schema para entender el contenido. Schema inválido = contenido poco claro.

Este hilo me ayudó a darme cuenta: nuestro problema no es técnico.

Lo que probé:

• curl con agentes de usuario de IA: el contenido se muestra correctamente
• Sin etiquetas noindex en ningún lado
• El schema valida correctamente
• JavaScript no oculta contenido clave
• Los registros muestran visitas regulares de rastreadores con 200s

Lo que encontré comparando con competidores que sí son citados:

Su contenido tiene:

• Respuesta directa en el primer párrafo (el nuestro la esconde)
• Secciones FAQ con schema (nosotros no tenemos)
• Bios de autor con credenciales (las nuestras son genéricas)
• Tablas comparativas (usamos párrafos narrativos)
• Fechas actualizadas (las nuestras llevan 18 meses sin tocarse)

Mi plan de acción:

1. Dejar de depurar problemas técnicos (no son el problema)
2. Enfocarme en calidad y estructura del contenido
3. Añadir secciones FAQ con schema
4. Reestructurar para respuestas directas
5. Añadir credenciales de autor
6. Actualizar contenido antiguo

Conclusión clave:

Rastreo funcionando + sin ser citado = problema de calidad/estructura de contenido, no técnico.

Estaba depurando la capa equivocada. ¡Gracias a todos!