Cómo verificar la cobertura de Robots.txt y Sitemaps en AmICited

Si los rastreadores de IA no pueden leer su sitio, ninguna de sus otras optimizaciones importa. La verificación de Robots.txt y Sitemaps confirma que los rastreadores que le interesan están permitidos — y que sus sitemaps realmente los dirigen a su contenido.

Dónde encontrarlo

Es la sección Robots.txt y Sitemaps de Auditoría → Accesibilidad para Agentes.

Qué verifica

Como explica la sección, examina “si los rastreadores importantes de IA y buscadores pueden leer el sitio, si los sitemaps están declarados en robots.txt y cuántas URL listan esos sitemaps en total.” En resumen:

• Acceso de rastreadores — ¿los principales bots de IA y búsqueda están permitidos (no bloqueados) en robots.txt?
• Declaración de sitemap — ¿se referencia un sitemap desde robots.txt para que los rastreadores puedan encontrarlo?
• Cobertura del sitemap — cuántas URL listan sus sitemaps en total.

Cómo usarlo

1. Confirme que los rastreadores están permitidos. Si un bot importante de IA está bloqueado, corrija la regla de robots.txt — este es el problema de mayor prioridad en la página.
2. Declare su sitemap. Asegúrese de que robots.txt apunte a su sitemap para que los agentes puedan descubrir todas sus páginas.
3. Verifique el conteo de URL. Un sitemap que liste muchas menos URL de las que tiene publicadas significa que las páginas no se están anunciando a los rastreadores.
4. Vuelva a verificar después de las ediciones y confirme que los mosaicos de Acceso de rastreadores y URL del sitemap en el resumen de preparación estén en verde.

El acceso de rastreadores es la base: acierte primero en esto, porque todo lo demás asume que los bots pueden realmente alcanzar su contenido.