Cum să verifici acoperirea Robots.txt și Sitemap în AmICited

Dacă crawler-ele AI nu pot citi site-ul tău, niciuna dintre celelalte optimizări nu contează. Verificarea Robots.txt & Sitemap confirmă că crawler-ele de care îți pasă au permisiunea de acces — și că sitemapurile tale le îndreaptă efectiv către conținutul tău.

Unde o găsești

Este secțiunea Robots.txt & Sitemap din Audit → Agent Accessibility.

Ce verifică

Așa cum explică secțiunea, se uită la „dacă crawler-ele AI și de căutare importante au permisiunea de a citi site-ul, dacă sitemapurile sunt declarate în robots.txt și câte URL-uri listează aceste sitemapuri în total." Pe scurt:

• Accesul crawler-elor — au permisiunea (nu sunt interzise) principalelor bot-e AI și de căutare în robots.txt?
• Declararea sitemapului — este un sitemap menționat în robots.txt pentru ca crawler-ele să îl poată găsi?
• Acoperirea sitemapului — câte URL-uri listează sitemapurile tale în total.

Cum să o folosești

1. Confirmă că crawler-ele au permisiunea. Dacă un bot AI important este blocat, corectează regula din robots.txt — aceasta este problema cu cea mai mare prioritate de pe pagină.
2. Declară-ți sitemapul. Asigură-te că robots.txt indică spre sitemapul tău, astfel încât agenții să poată descoperi toate paginile tale.
3. Verifică numărul de URL-uri. Un sitemap care listează mult mai puține URL-uri decât ai publicat înseamnă că paginile nu sunt promovate către crawler-e.
4. Re-verifică după modificări și confirmă că tile-urile Accesul crawler-elor și URL-urile sitemapului din sumarul de pregătire devin sănătoase.

Accesul crawler-elor este fundația: rezolvă-l mai întâi, pentru că totul presupune că bot-ele pot ajunge efectiv la conținutul tău.