Jak sprawdzić pokrycie Robots.txt i Sitemap w AmICited

Jeśli roboty AI nie mogą odczytać Twojej witryny, żadne inne optymalizacje nie mają znaczenia.

Czym jest robots.txt i dlaczego decyduje o tym, czy AI Cię widzi?

Robots.txt to zwykły plik tekstowy umieszczony w katalogu głównym Twojej domeny (twojawitryna.pl/robots.txt), który informuje roboty, do których części witryny mają dostęp. Powstał na długo przed boomem AI — pierwotnie po to, by boty wyszukiwarek, takie jak Googlebot, nie traciły czasu na indeksowanie stron administracyjnych, środowisk testowych czy zduplikowanych treści. Jednak ten sam mechanizm decyduje dziś o czymś dużo ważniejszym: czy GPTBot, ClaudeBot, PerplexityBot, Google-Extended i inne roboty AI zasilające dzisiejsze silniki odpowiedzi w ogóle mają prawo pobierać Twoje strony.

Każdy dobrze zaprojektowany robot sprawdza robots.txt, zanim zażąda czegokolwiek innego. Plik podzielony jest na bloki, z których każdy zaczyna się od linii User-agent wskazującej konkretnego bota (lub * dla wszystkich botów), a następnie zawiera reguły Allow i Disallow określające, które ścieżki dany bot może, a których nie może pobierać. Pojedyncza ogólna reguła, taka jak Disallow: / pod User-agent: GPTBot, wystarczy, by całkowicie zablokować tego robota w Twojej witrynie — i nie pojawisz się w cytowaniach ChatGPT, niezależnie od tego, jak dobre są Twoje treści. Dlatego crawlability — ogólna właściwość witryny polegająca na jej technicznej dostępności dla botów — traktowana jest jako fundament widoczności w wyszukiwaniu AI, a nie kwestia drugorzędna.

Robots.txt ma też drugie zadanie: to zazwyczaj tam roboty szukają wskazania na Twoją mapę witryny, poprzez dyrektywę Sitemap:. Mapa witryny XML to uporządkowana lista adresów URL w Twojej witrynie, o których chcesz poinformować roboty, często zawierająca metadane, takie jak daty ostatniej modyfikacji. O ile robots.txt kontroluje uprawnienia, o tyle mapa witryny kontroluje odkrywanie — to mapa, która mówi robotom, co istnieje, dzięki czemu nie muszą znajdować każdej strony wyłącznie poprzez podążanie za linkami. Witryna może mieć całkowicie permisywne reguły robots.txt i mimo to być słabo indeksowana przez systemy AI tylko dlatego, że jej mapa witryny jest nieobecna, nieodwołana lub niekompletna.

Te dwa pliki mają dziś większe znaczenie dla widoczności w AI niż kiedykolwiek miały dla tradycyjnego SEO. Wyszukiwarki indeksują sieć od ponad 25 lat i zbudowały ogromne grafy linków, które pozwalają Googlebotowi odkrywać strony nawet bez mapy witryny. Roboty AI są nowsze, często bardziej ostrożne co do tego, jak dużą część witryny pobiorą, i częściej padają ofiarą całkowitego zablokowania przez reguły robots.txt napisane z myślą wyłącznie o Googlebocie. Reguła, która po cichu wyklucza boty „nieznane” lub wyglądające agresywnie, może przy okazji zablokować GPTBota lub ClaudeBota jako efekt uboczny. To właśnie ten konkretny scenariusz awarii ma wychwytywać kontrola Robots.txt i Sitemap — i dlatego jest to jedna z pierwszych rzeczy, jakie powinien zweryfikować każdy audyt dostępności dla AI , zanim poświęcisz czas na treści, dane strukturalne czy cokolwiek innego.

Gdzie to znaleźć

Jest to sekcja Robots.txt i Sitemap w Audyt → Agent Accessibility. Agent Accessibility to część audytu AmICited, która skupia się konkretnie na tym, czy systemy AI mogą technicznie dotrzeć do Twoich treści i je przetworzyć — w odróżnieniu od części produktu odpowiedzialnych za jakość treści i śledzenie cytowań. Robots.txt i Sitemap to zwykle pierwsza kontrola w tej sekcji, ponieważ wszystko inne, co mierzy audyt, zakłada, że roboty w ogóle mogą wejść przez drzwi.

Co to sprawdza

Jak wyjaśniono w sekcji, sprawdza ona, “czy ważne roboty AI i wyszukiwarek mają dozwolony dostęp do witryny, czy mapy witryny są zadeklarowane w robots.txt oraz ile łącznie adresów URL zawierają te mapy witryny.” W skrócie:

• Dostęp robotów — czy główne boty AI i wyszukiwarek mają dozwolony (a nie zabroniony) dostęp w robots.txt? AmICited porównuje Twoje rzeczywiste reguły robots.txt z ciągami user-agent robotów istotnych dla widoczności w wyszukiwaniu AI, dzięki czemu widzisz, bot po bocie, czy jest dozwolony, zablokowany, czy po prostu nie objęty żadną regułą (co zwykle domyślnie oznacza dostęp dozwolony w ramach bloku wildcard).
• Deklaracja mapy witryny — czy mapa witryny jest przywołana w robots.txt, aby roboty mogły ją znaleźć? Mapa witryny, która istnieje, ale nie jest połączona z robots.txt (i nie została zgłoszona nigdzie indziej), ma znacznie mniejsze szanse na automatyczne wykrycie.
• Pokrycie mapy witryny — ile adresów URL łącznie zawierają Twoje mapy witryny, co daje szybką weryfikację, czy opublikowane strony rzeczywiście są reklamowane robotom.

Razem te trzy kontrole odpowiadają na dwa pytania, które decydują o tym, czy system AI w ogóle może zacząć oceniać Twoje treści: czy ten robot ma wstęp oraz czy wie, co ma pobrać, gdy już tu jest. Marka może robić wszystko dobrze pod względem treści — jasne odpowiedzi, silne sygnały dotyczące encji, dobrze zorganizowane strony — i mimo to być niewidoczna w odpowiedziach AI tylko dlatego, że jeden z tych dwóch warunków po cichu zawodzi w tle.

Jak z tego korzystać

1. Potwierdź, że roboty mają dozwolony dostęp. Jeśli ważny bot AI jest zablokowany, popraw regułę w robots.txt — to najważniejszy problem na tej stronie. Sprawdź każdego zablokowanego robota pod kątem swoich intencji: reguła blokująca GPTBot prawdopodobnie została napisana celowo, jeśli nie chcesz, by Twoje treści były wykorzystywane do trenowania modeli OpenAI, ale jeśli po cichu blokuje ona również OAI-SearchBot czy PerplexityBot — roboty, które faktycznie zasilają aktualne cytowania, w odróżnieniu od trenowania modeli — tracisz widoczność bez żadnego strategicznego powodu. Warto świadomie zdecydować, którym robotom chcesz zezwolić na indeksowanie Twojej witryny przez boty AI , zamiast dziedziczyć domyślne ustawienie, które blokuje wszystko bez wyjątku.
2. Zadeklaruj swoją mapę witryny. Upewnij się, że robots.txt wskazuje na Twoją mapę witryny, aby agenci mogli odkryć wszystkie Twoje strony. To tylko jedna linia — Sitemap: https://twojawitryna.pl/sitemap.xml — ale to jeden z najczęściej pomijanych szczegółów na skądinąd dobrze zbudowanych witrynach, zwłaszcza tam, gdzie mapa witryny została wygenerowana automatycznie przez CMS, ale nigdy nie została podpięta z powrotem do robots.txt.
3. Sprawdź liczbę adresów URL. Mapa witryny zawierająca znacznie mniej adresów URL niż opublikowanych stron oznacza, że strony nie są reklamowane robotom. Zwykle jest to oznaka nieaktualnej mapy witryny (wygenerowanej raz i nigdy nieodświeżonej), indeksu map witryny, który nie łączy wszystkich swoich map podrzędnych, lub wtyczki CMS, która po cichu wyklucza dany typ treści — częstymi ofiarami są niedawno opublikowane wpisy na blogu i strony generowane dynamicznie.
4. Sprawdź ponownie po edycjach i potwierdź, że kafelki Dostęp robotów oraz Adresy URL w mapie witryny w podsumowaniu gotowości są zdrowe.

Dostęp robotów to podstawa: najpierw dopracuj to, ponieważ wszystko inne zakłada, że boty faktycznie mogą dotrzeć do Twoich treści. Gdy dostęp i możliwość odkrycia są już potwierdzone jako zdrowe, znaczenia zaczyna nabierać reszta audytu Agent Accessibility — renderowanie, dane strukturalne, czasy odpowiedzi — ponieważ te kontrole przynoszą efekt tylko wtedy, gdy robot w ogóle miał prawo dotrzeć do strony.

Warto też pamiętać, że robots.txt i pokrycie mapy witryny nie są jednorazową naprawą. Powstają nowe sekcje, migracje CMS regenerują mapy witryny z innymi ustawieniami domyślnymi, a reguły CDN czy WAF bywają dodawane długo po napisaniu oryginalnego robots.txt — każda z tych zmian może po cichu ponownie zablokować robota lub sprawić, że mapa witryny stanie się niekompletna. Niektóre zespoły łączą tę kontrolę z analizą logów serwera, aby potwierdzić, że roboty faktycznie odwiedzają strony, do których mają dostęp, oraz z dedykowanym plikiem llms.txt , który dostarcza systemom AI wyselekcjonowane podsumowanie Twoich najważniejszych treści obok surowej mapy witryny. Jeśli nie masz pewności, jak robots.txt i pokrycie mapy witryny wpisują się w resztę Twoich prac technicznych, szerszy audyt widoczności AI przeprowadza przez pełny zestaw kontroli dostępności w odpowiedniej kolejności, a narzędzie AI visibility AmICited śledzi, czy naprawienie tych problemów rzeczywiście przekłada się na więcej cytowań w czasie — łącząc techniczną naprawę z efektem, do którego ma prowadzić, zamiast traktować „roboty dopuszczone” jako metę. Dla zespołów zarządzających tym na dziesiątkach witryn klientów te same kontrole dostępu i mapy witryny są jednym z powracających punktów objętych AmICited dla agencji , ponieważ pojedyncza źle skonfigurowana reguła robots.txt zwykle powtarza się w szablonach i trzeba ją wychwycić wcześnie, na etapie onboardingu, a nie po tym, jak klient zapyta, dlaczego jego marka nigdy nie pojawia się w ChatGPT.