¿Alguien ha configurado realmente el robots.txt para rastreadores de IA? La orientación en línea es muy confusa

Gestiono robots.txt para unas 40 webs empresariales. Aquí está el desglose que realmente importa:

Nivel 1 - Obligatorio configurar:

• GPTBot - Rastreador de entrenamiento de OpenAI
• ChatGPT-User - Modo navegación de ChatGPT
• ClaudeBot - Rastreador de Anthropic
• Google-Extended - Entrenamiento de Google Gemini
• PerplexityBot - Índice de Perplexity

Nivel 2 - A considerar:

• anthropic-ai - Rastreador secundario de Anthropic
• OAI-SearchBot - Indexador de búsqueda de OpenAI
• CCBot - Common Crawl (usado por muchas empresas de IA)

Lo que hacemos:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Idea clave: PerplexityBot es el que siempre permito completamente porque realmente cita tus páginas con enlaces. Bloquearlo es como dispararse en el pie sin ningún beneficio.

Cometimos un gran error bloqueando todos los rastreadores de IA el año pasado siguiendo consejos sobre “protección de contenido”.

Lo que pasó:

• El tráfico orgánico se mantuvo igual (a Google no le importan los bloqueos de rastreadores de IA)
• Pero nuestros clientes empezaron a preguntar “¿por qué no aparecemos cuando le pregunto a ChatGPT sobre nuestro sector?”
• Los competidores que permitieron rastreadores eran mencionados constantemente

Ahora hemos revertido la decisión y permitimos todos los rastreadores de IA principales. El argumento de la “protección” dejó de tener sentido cuando nos dimos cuenta:

1. Los datos de entrenamiento ya habían sido recopilados
2. Bloquear el acceso en tiempo real solo nos vuelve invisibles
3. No hay evidencia de que bloquear prevenga ningún daño real

La única excepción es contenido realmente propietario tras autenticación, y esas páginas ya estaban deshabilitadas.

Perspectiva diferente desde una industria muy regulada (tecnología sanitaria).

Tenemos razones legítimas para controlar el acceso de la IA a cierto contenido:

• Documentación relacionada con pacientes
• Documentos internos que se indexaron por accidente
• Precios y términos contractuales

Nuestro enfoque:

Creamos un sistema por niveles:

1. Contenido público de marketing - Permitir todos los rastreadores de IA
2. Documentación de producto - Permitir, pero monitorizar con Am I Cited lo que se cita
3. Contenido empresarial sensible - Bloquear todos los rastreadores
4. Páginas internas - Bloqueo más autenticación

La clave es ser intencional. “Bloquear todo” y “permitir todo” son enfoques perezosos. Mapea tu contenido, entiende qué debe hacer cada tipo por ti, y configura en consecuencia.

Consejo profesional que me costó mucho tiempo descubrir:

Prueba tu robots.txt con agentes de usuario reales de rastreadores.

Pensé que tenía todo bien configurado hasta que revisé los registros del servidor y vi que algunos rastreadores de IA no coincidían con nuestras reglas porque tenía errores en los nombres de los agentes de usuario.

“GPT-Bot” no es lo mismo que “GPTBot”: ¿adivina cuál tuve mal durante 3 meses?

Usa el probador de robots.txt de Google o herramientas de línea de comandos para verificar que cada regla coincida con lo que esperas.

Esta es mi recomendación estándar para la mayoría de negocios:

Permitir por defecto, restringir estratégicamente.

Los negocios que se benefician de bloquear son casos raros y extremos:

• Editores de contenido premium preocupados por resúmenes
• Empresas con contenido técnico realmente propietario
• Organizaciones en disputas legales sobre entrenamiento de IA

Para los demás, el cálculo es simple: la visibilidad en IA es una fuente de tráfico en crecimiento. Solo Perplexity genera más de 200 millones de consultas mensuales. Ser invisible ahí es una desventaja estratégica.

Mi configuración estándar para clientes:

# Permitir todos los rastreadores de IA a contenido público
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Restringir áreas sensibles
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

Algo que nadie menciona: monitoriza lo que realmente sucede después de configurar.

Configuré alertas para el tráfico de bots de IA en nuestras analíticas. Observé patrones interesantes:

• GPTBot nos visita ~500 veces/día
• PerplexityBot unas ~200 veces/día
• ClaudeBot sorprendentemente menos frecuente, quizá ~50/día

Estos datos me ayudan a entender qué plataformas de IA realmente están indexando nuestro contenido. Combinado con herramientas que rastrean citas de IA, puedo ver el ciclo completo de permitir robots.txt > rastreo de IA > citas de IA.

Sin este monitoreo, solo estás adivinando el impacto.

Perspectiva de editora aquí. Dirigimos un sitio de noticias/análisis con más de 10.000 artículos.

Lo que aprendimos por las malas:

Bloquear rastreadores de IA nos perjudicó de formas inesperadas:

1. Nuestros artículos dejaron de aparecer en resúmenes generados por IA sobre temas del sector
2. Los competidores que permitieron rastreadores se volvieron la “fuente de autoridad”
3. Cuando la gente preguntaba a ChatGPT sobre nuestra cobertura, decía que no podía acceder a nuestro contenido

El argumento de la “protección” asume que la IA está robando tu contenido. En realidad, la IA cita y dirige tráfico al contenido que puede acceder. Bloquear solo significa que no eres parte de esa conversación.

Ahora permitimos todos los rastreadores de IA y usamos Am I Cited para monitorizar cómo nos citan. Nuestro tráfico de referencia desde IA ha crecido un 340% desde que hicimos el cambio.

Este hilo ha sido increíblemente útil. Resumen de lo que voy a implementar según el feedback de todos:

Cambios inmediatos:

1. Permitir todos los rastreadores de IA principales (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) para contenido público
2. Bloquear explícitamente rutas sensibles (/admin, /internal, /pricing por ahora)
3. Corregir los errores tipográficos en nuestra configuración actual (vergonzoso pero necesario)

Configuración de monitoreo: 4. Añadir seguimiento en logs de servidor para tráfico de bots de IA 5. Configurar Am I Cited para rastrear citas reales 6. Revisar en 30 días para ver el impacto

La clave que me llevo es que bloquear no protege el contenido ya usado en datos de entrenamiento; solo limita la visibilidad futura. Y como la búsqueda por IA está creciendo rápidamente, la visibilidad importa más que la “protección”.

Gracias a todos por las configuraciones y experiencias del mundo real.