Kontrolní seznam pro správu crawl budgetu

Crawl budget je praktický limit toho, kolik procházení je vyhledávač ochoten a schopen na webu v průběhu času provádět. Jeho správa znamená omezit požadavky, které nemohou zlepšit objevování nebo indexaci, a poté usnadnit nalezení a zlevnit načítání důležitých URL.

Kontrolní seznam: správa crawl budgetu. Časový rámec: 1–2 pracovní dny na diagnostiku, poté 1–3 inženýrské sprinty na schválené opravy. Vlastník: technický SEO lead. Přispěvatelé: platformní inženýr, vlastník CDN nebo infrastruktury, analytický inženýr a vlastník merchandisingu nebo obsahu pro všechny dotčené URL prostory. Autorita k vydání: technický SEO lead a inženýrský vlastník společně.

Buďte upřímní ohledně rozsahu: zdravý web s 2 000 nebo 8 000 kanonickými stránkami téměř nikdy nepotřebuje projekt crawl budgetu. Má problém s prioritizací, propojováním, kvalitou nebo indexovatelností. Tento kontrolní seznam spusťte, když má velký nebo rychle se měnící web důkazy o plýtvání crawlerů, opožděném objevování, opakovaném procházení málo hodnotných URL nebo zatížení hostingu — ne proto, že report crawleru obsahuje velké číslo.

Proč tato fáze a proč právě zde

Ačkoli se jedná o samostatný kontrolní seznam spíše než o číslovanou fázi, navazuje na technický výchozí audit : kanonická pravidla, zjištění stavových kódů, chování při renderování, architekturu webu, inventář sitemap a pokrytí indexací. Vyžaduje také schválený inventář obsahu, protože „plýtvání" nelze definovat, dokud firma neurčí, které URL mají být nalézány, aktualizovány a indexovány.

Spusťte jej poté, co tým dokáže rozlišit hodnotné kanonické stránky od filtrů, duplicit, vypršeného inventáře, interního vyhledávání a administrativních cest. Dřívější spuštění vede k plošnému blokování. Spuštění po velkém programatickém nasazení, migraci nebo vydání fasetové navigace je příliš pozdě: crawleři se již mohou nacházet v pasti efektivně neomezeného URL prostoru.

Pokud je na skutečně velkém webu tato fáze vynechána, mohou nové a změněné prioritní URL čekat za nekonečnými kombinacemi parametrů, chybovými stránkami, řetězci přesměrování a duplicitami. Pokud je spuštěna na malém zdravém webu, spotřebovává inženýrský čas, aniž by řešila skutečné omezení. Argument závislosti je jednoduchý: klasifikace předchází kontrole a důkazy předcházejí pravidlům.

Vstupy a výstupy

Výstupy jsou smlouvou s inženýry a dalším měřicím cyklem. „Zlepšit efektivitu procházení" není doručitelný výstup.

Kontrolní seznam

Pro každou položku zaznamenejte PASS, FAIL nebo N/A a připojte důkazy. Každá položka je dokončena, až když lze pozorovat její podmínku „Hotovo, když".

1. Dokažte, že crawl budget je omezením

Co: rozhodněte, zda tato práce zaslouží projekt. Proč: crawl budget je často obviňován, když je stránka ve skutečnosti nekvalitní, sirotek, nekanonická, blokovaná nebo záměrně vyloučená. Jak: porovnejte počet kanonických URL, denní tvorbu URL, zdraví serveru, data posledního procházení, zpoždění objevování, důvody pokrytí a podíl ověřených požadavků botů strávených mimo kanonický inventář. Segmentujte podle adresáře a šablony; celostní průměr skrývá jednu problémovou sekci. Nástroj: log pipeline, crawler, reporty pokrytí vyhledávačů, exporty sitemap a kalendář vydání. Hotovo, když: podepsaná diagnostika jmenuje alespoň jedno naměřené omezení nebo uzavře kontrolní seznam jako „ne materiální" s důkazy a vhodnějším dalším krokem.

2. Vytvořte důvěryhodný dataset požadavků botů

Co: vytvořte jednu normalizovanou tabulku požadavků pro analytické okno. Proč: user-agent řetězce mohou být zfalšovány, vzorkovaná analytika vynechává boty a CDN logy se mohou lišit od logů původního serveru. Analýza log souborů znamená zkoumání serverových přístupových záznamů, abyste viděli, co crawleři skutečně požadovali. Jak: v případě potřeby kombinujte CDN a origin data, normalizujte hostitele a kódování URL, odstraňte statická aktiva (pokud není renderování v rozsahu), ověřte hlavní vyhledávací boty pomocí zveřejněné ověřovací metody poskytovatele a zachovejte status, velikost, dobu odezvy a výsledek cache. Nástroj: CDN nebo webové serverové logy, DNS ověření, SQL nebo log analyzátor. Hotovo, když: jsou zdokumentovány časový rozsah a retence, známí boti jsou odděleni od neověřených agentů, součty souhlasí s hrubými záznamy a stejný dotaz může reprodukovat každý graf v diagnostice.

3. Zjistěte, kde jsou požadavky plýtvány

Co: klasifikujte každý požadavek crawleru jako užitečná kanonická, duplicitní, přesměrování, chyba, blokovaná, parametr, faseta, interní vyhledávání, soft-404, aktivum nebo neznámá. Soft 404 je stránka, která vrací 200 OK, ale chová se jako chybějící nebo prázdný výsledek. Proč: celkový objem procházení neukáže, zda crawleři obnovují inventář nebo se točí v nekonečných smyčkách bezcenných stavů. Jak: připojte požadavky k inventáři procházení a kanonických URL, seskupte podle normalizované cesty a signatury parametrů, poté seřaďte vzory podle počtu požadavků a nákladů na server. Porovnejte tyto vzory s důvody pokrytí, jako je objeveno ale neindexováno, procházeno ale neindexováno, duplicitní, blokováno a soft 404; pokrytí vysvětluje hlášený výsledek vyhledávače, zatímco logy dokazují požadavky. Neznámou skupinu prozkoumejte ručně, místo abyste ji vtěsnali do vhodného štítku. Nástroj: ověřené logy, export pokrytí, site crawler, export kanonických URL a profiler odezev. Hotovo, když: alespoň 95 % požadavků botů v rozsahu má prověřenou klasifikaci, zbývající neznámé jsou vyjmenovány a největší vzory plýtvání mají příkladové URL, výsledky pokrytí a vlastníky.

4. Omezte fasety a parametry u zdroje

Co: spravujte parametry filtrování, řazení, stránkování, sledování, relací a vyhledávání. Fasetová navigace umožňuje uživatelům kombinovat filtry jako značka, barva a velikost; nekontrolované kombinace mohou vytvořit efektivně nekonečný crawl prostor. Proč: blokování crawleru poté, co šablony vygenerovaly miliony odkazů, léčí symptom, zatímco objevování, chování uživatelů, analytika a další boti zůstávají vystaveni. Jak: přiřaďte každému parametru funkci a jednu politiku: indexovatelná vstupní stránka, kanonická duplicita, stránka s noindex, přesměrování, odlinkovaný stav nebo blokovaný vzor. Používejte stabilní pořadí parametrů, zabraňte prázdným a protichůdným kombinacím a odstraňte sledovací nebo relaceové parametry z interních odkazů. Nekanonizujte stránku na cíl s materiálně odlišným obsahem pouze proto, abyste ji potlačili. Nástroj: registr parametrů, zdroj šablony, crawler s reporty URL vzorů, logy a automatické URL testy. Hotovo, když: každý pozorovaný parametr má jednu schválenou politiku, procházené šablony generují pouze povolené kombinace, zakázané kombinace mají testovací pokrytí a objem logů pro cílené vzory klesne na dohodnutém kontrolním bodě.

5. Eliminujte nekonečné prostory a crawl pasti

Co: uzavřete cesty, které mohou generovat neomezená data, kalendáře, stránkování, ID, varianty velkých písmen, segmenty cesty nebo rekurzivní filtry. Proč: crawler může nadále objevovat syntakticky nové URL, i když každá stránka obsahuje stejný prázdný nebo duplicitní výsledek. Jak: nastavte konečné hranice, vracejte 404 nebo 410 pro nemožné stavy, odkazujte pouze na platné rozsahy, normalizujte pravidla pro velká písmena a koncová lomítka, přesměrujte přesné duplicity jednou a přestaňte generovat odkazy na další stránku za hranicí konečné sady výsledků. Testujte neplatné a extrémní hodnoty, nejen šťastnou cestu. Nástroj: syntetický generátor URL, crawler, logy, testy routeru a testy hraničních pravidel. Hotovo, když: každý generátor má zdokumentované maximum, stavy mimo rozsah vracejí zamýšlenou odezvu, žádná testovaná cesta nevytváří novou neomezenou sekvenci a dotčené vzory požadavků klesají bez blokování hodnotných stránek.

6. Opravte soft 404, chyby a plýtvání přesměrováními

Co: zajistěte, aby stavové kódy popisovaly skutečný výsledek. Proč: prázdná stránka s 200 nutí crawleři parsovat a vyhodnocovat obsah, který měl být deklarován jako chybějící; opakované 5xx odezvy spotřebovávají kapacitu a mohou způsobit, že hosting vypadá nespolehlivě; řetězce spotřebují několik požadavků na dosažení jednoho cíle. Jak: vracejte 404 pro chybějící URL, 410 pro záměrně odstraněné zdroje (kde je to vhodné), 200 pouze pro věcné stránky a jediné přesměrování na finální kanonický cíl pro přesunuté URL. Opravte interní odkazy, které směřují do přesměrování nebo chyb. Nástroj: logy, crawler, HTTP testovací sada, monitoring a inventář cest. Hotovo, když: vzorkované prázdné výsledky již nevracejí 200, prioritní cesty nemají řetězec přesměrování, interní odkazy vedou přímo a prahová hodnota chybovosti z rozhodovacích pravidel projde ve dvou po sobě jdoucích měřicích oknech.

7. Sjednoťte kanonické a indexační kontroly

Co: sladěte odezvu, kanonickou URL , meta robots, HTTP robots hlavičky, interní odkazy a členství v sitemapě. Proč: protichůdné signály způsobují opakované návštěvy: URL může být odeslána v sitemapě, kanonizována jinam, propojena v navigaci a zároveň blokována direktivou, která vysvětluje její status. Jak: vytvořte matici pravidel pro každou třídu URL a otestujte vyrenderovanou produkční odezvu. Použijte robots.txt ke správě přístupu crawlerů, nikoli jako spolehlivý nástroj pro odstranění; blokovaná URL nemůže odhalit direktivu noindex na úrovni stránky crawleru, který ji nikdy nenačte. Nástroj: crawler, surové a vyrenderované HTML, inspektor hlaviček, tester robots a kontrola URL. Hotovo, když: 100 % prioritních vzorků a všech testovacích případů šablon odpovídá jednomu koherentnímu pravidlu, přičemž žádná indexovatelná kanonická URL není blokována a žádný vyloučený vzor není propagován prostřednictvím sitemap nebo primární navigace.

8. Vyčistěte XML sitemapy na prioritní zdroj

Co: publikujte v každé XML sitemapě pouze kanonické, indexovatelné URL s kódem 200 a pravdivá data modifikace. Proč: sitemapa je signálem pro objevování, nikoli archivem každé URL, kterou CMS vytvořil. Přesměrování, duplicity, chyby a nezměněná časová razítka lastmod tento signál ředí a zatemňují srovnání pokrytí. Jak: sladěte URL v sitemapě s kanonickým inventářem, rozdělte soubory podle stabilních diagnostických jednotek, jako je typ obsahu nebo adresář, odstraňte vyloučené URL a aktualizujte lastmod pouze při věcných změnách stránky. Odešlete změněné sitemapy a zaznamenejte stažení, varování a chyby. Nástroj: parser sitemap, export CMS, logy a reporty sitemap vyhledávačů. Hotovo, když: každá odeslaná URL vrací 200, je self-kanonická a indexovatelná, vyloučení jsou nulová, lastmod projde vzorkovanou kontrolou změny obsahu a odeslané počty souhlasí se schváleným inventářem.

9. Použijte interní odkazy k přiblížení prioritních stránek

Co: opravte sirotčí stránky a snižte počet kliknutí na vysoce hodnotné URL pomocí užitečného interního propojování . Hloubka procházení je počet kroků odkazů, které crawler potřebuje k dosažení stránky z vybrané výchozí stránky. Proč: blokování plýtvání crawleru neřekne, co má navštívit dál; stabilní HTML odkazy ze silných, často navštěvovaných stránek to dokážou. Jak: vypočítejte hloubku a počet příchozích odkazů z domovské stránky a relevantních hubů, přidejte kontextové nebo navigační odkazy tam, kde uživatelé těží, nahraďte odkazy na přesměrované URL a zajistěte, aby stránkování odhalovalo hlubší inventář. Nezplošťujte vše do patičky. Nástroj: crawler grafů odkazů, šablony, logy a výkon vyhledávání podle adresáře. Hotovo, když: každá prioritní URL má alespoň jeden procházený příchozí odkaz, neexistuje žádný prioritní sirotek, dohodnuté prioritní šablony jsou do tří kroků odkazu od relevantního hubu a logy potvrzují, že nově propojené vzorky jsou objeveny nebo znovu navštíveny.

10. Chraňte kapacitu hostingu a cesty renderování

Co: udržujte požadavky crawlerů rychlé a úspěšné, aniž byste vyhledávacím botům poskytovali materiálně odlišnou stránku. Proč: poptávka po procházení nemůže kompenzovat hosting, který timeoutuje, plošně omezuje legitimní crawleři nebo vyžaduje nákladné renderování pro základní obsah a odkazy. Jak: porovnejte dobu odezvy a chyby podle bota, cesty, stavu cache a šablony; cacheujte bezpečné odezvy; odstraňte nákladné dotazovací cesty; zachovejte základní HTML a odkazy v počáteční odezvě; a testujte pravidla firewallu a CDN s ověřenými boty. Nástroj: monitorování výkonu aplikace, CDN analytika, logy, testy dostupnosti a inspekce vyrenderované stránky. Hotovo, když: hosting splňuje dohodnuté prahové hodnoty odezvy a chyb při očekávané zátěži, ověření crawleři nejsou náhodně blokováni a prioritní obsah a odkazy jsou přítomny bez zásahu uživatele.

11. Nasazujte podle vzoru a ověřte kompromis

Co: uvolněte nejmenší koherentní sadu pravidel, poté porovnejte stav před a po. Proč: globální změna robots, kanonických pravidel, routování nebo navigace může odstranit hodnotné long-tail stránky rychleji, než odstraní plýtvání. Jak: začněte s jedním měřitelným vzorem URL nebo adresářem, pokud je to praktické, zachovejte kontrolu, anotujte vydání a porovnejte požadavky botů, chyby, latenci opětovného procházení priorit, pokrytí, imprese a zatížení serveru po dokončení jednoho crawl cyklu. Mějte instrukce pro vrácení změn připravené vedle pravidla. Nástroj: deployment log, serverové logy, reporty pokrytí, reporty AmICited a monitoring. Hotovo, když: cílená míra plýtvání se zlepší, prioritní objevování a indexace neklesnou pod deklarovanou toleranci, vlastník podepíše výsledek a je zaznamenáno rozhodnutí o dalším nasazení nebo vrácení změny.

Nástroje v AmICited

AmICited poskytuje důkazy z vyhledávačů a výkonu kolem diagnostiky. Hrubé serverové logy zůstávají zdrojem pravdy pro chování na úrovni požadavků napříč boty.

1. Otevřete Bing Crawl na živém reportu Bing Crawl a prohlédněte si aktivitu procházení Bingu a hlášené problémy s URL. Zaznamenejte rozsah, typ problému, příkladové URL a čas exportu; nezobecňujte chování Bingu na všechny crawleři.

2. Použijte Sitemapy a indexace v reportu sitemap k porovnání odeslaných počtů, posledního stažení, varování a chyb, odeslání vyčištěné sitemapy nebo požádání o indexaci pro omezenou dávku změněných prioritních URL. Požadavek urychluje přehodnocení; nezpůsobí, že blokovaná nebo nekvalitní stránka bude indexovatelná.

3. Zkontrolujte reprezentativní vítěze, vzory plýtvání a opravené stránky v Kontrole URL v reportu kontroly URL . Zaznamenejte deklarovanou a vybranou kanonickou URL, verdikt pokrytí, poslední procházení a čas kontroly. Jeho pohled na pokrytí je rostoucí vzorek, nikoli úplný report crawl budgetu.

4. Otevřete Adresáře Google Search v reportu adresářů a porovnejte kliknutí a imprese podle sekce před omezením adresáře nebo změnou jeho odkazů. Sekce s nízkým provozem může být stále strategicky nezbytná; použijte tento report k posouzení dopadu na vyhledávání, nikoli k samostatnému deklarování plýtvání crawlováním.

Rozhodovací pravidla: jak vypadá špatný stav v číslech

Toto jsou provozní spouštěče pro tento kontrolní seznam, nikoli univerzální limity vyhledávačů. Nahrazujte je pouze s dokumentovanou základnou webu a schválenou tolerancí rizika.

Neotvírejte projekt crawl budgetu pouze proto, že web překračuje řádek s počtem URL. Na druhou stranu nezavrhujte web s 20 000 stránkami, jehož kalendářní past generuje miliony unikátních URL. Rozhodujícím faktorem jsou důkazy o omezeném objevování nebo plýtvání.

Výstup

Předávejte verzovaný balíček, nikoli slide s nápisem „crawl optimalizován":

• crawl-budget-summary.md: rozsah, rozhodnutí, metoda ověření botů, analytické okno, zjištění, schválená opatření, rizika, pořadí vydání a spouštěče vrácení změn.
• crawl-pattern-register.csv: normalizovaný vzor, příkladová URL, účel, počet požadavků, podíl, odezva, kanonický stav, stav v sitemapě, příchozí odkazy, obchodní hodnota, opatření, vlastník a status.
• priority-url-sample.csv: alespoň 20 URL se základními a kontrolními poli pro objevování, poslední procházení, verdikt indexace, hloubku, příchozí odkazy, odezvu a vybranou kanonickou URL.
• sitemap-reconciliation.csv: odeslaná URL, stav v inventáři, odezva, kanonická URL, indexovatelnost, validace lastmod, akce a důkazy.
• monitoring-spec.md: dotazy, dashboardy, prahové hodnoty, vlastníci, kadence, cesty alertů, data kontrolních bodů a retence.

Technický SEO lead vlastní balíček; inženýři podepisují změny cest a infrastruktury; vlastník obsahu nebo merchandisingu podepisuje jakékoli rozhodnutí, které odstraňuje objevitelnou uživatelskou cestu nebo indexovatelnou vstupní stránku.

Co se pokazí

Tým optimalizuje malý web. Inženýři stráví sprint blokováním parametrů, zatímco důležité stránky zůstávají slabé nebo osiřelé. Uzavřete kontrolní seznam jako ne materiální a přesměrujte práci na obsah, propojování nebo indexovatelnost.

Robots.txt se stane nástrojem mazání. Blokované URL mohou zůstat známé a crawleři nemohou načíst jejich direktivy na úrovni stránky. Nejprve definujte zamýšlený životní cyklus, odstraňte interní generování a použijte odezvu, přesměrování, kanonickou URL nebo chování noindex, které mu odpovídá.

Každá faseta je považována za duplicitu. Kombinace značky a kategorie se skutečnou poptávkou může být užitečná vstupní stránka; řazení obvykle není. Rozhodujte na úrovni vzoru podle poptávky a obsahové odlišnosti.

Očekává se, že kanonický tag zastaví procházení. Kanonické URL vyjadřují preferovanou verzi, ale duplicity mohou být stále načítány k vyhodnocení vztahu. Odstraňte zbytečné odkazy a generování, místo abyste spoléhali na jednu nápovědu.

Sitemapy se stanou výpisem databáze. Přesměrované, vypršené, blokované a nekanonické URL zatemňují inventář, který tým skutečně chce procházet. Slaďte členství v sitemapě jako bránu pro vydání.

Analytika je zaměňována za logy. Klientská analytika jen zřídka zaznamenává požadavky vyhledávacích botů. Bez ověřených přístupových logů tým nemůže měřit alokaci požadavků ani náklady na odezvy.

Nasazení zablokuje výnosné stránky. Široké pravidlo pro parametr nebo cestu zachytí platné kategorie, lokalizované stránky, stránkování nebo kampaně. Testujte pozitivní i negativní příklady, nasazujte jeden vzor a mějte připravené rychlé vrácení změn.

Úspěch znamená méně požadavků. Objem procházení může klesnout, protože hodnotné stránky zmizely z objevování. Úspěšná změna snižuje plýtvání, zatímco prioritní objevování, indexace a vyhledávací poptávka zůstávají zdravé.

Další fáze

Přeneste registr vzorů, sladění sitemap, prioritní vzorek a monitorovací prahové hodnoty do průběžné obnovy a iterace . Tato fáze potřebuje stabilní cesty objevování a důvěryhodné signály změn; jinak může být obnovená stránka publikována správně, ale zůstat neviditelná za crawl pastmi nebo slabými interními odkazy.

Znovu otevřete tento kontrolní seznam po migraci, změně platformy nebo routování, vydání fasetové navigace, velkém rozšíření inventáře, trvalém incidentu s chybami nebo po porušení dohodnuté prahové hodnoty. Neopakujte celé cvičení podle kalendáře, pokud monitorovací základna zůstává čistá.

FAQ

Níže uvedené FAQ pokrývá rozsah, pravidla robots, parametry, sitemapy a kadenci revizí. Řídicí princip je konzistentní: nejprve klasifikujte URL prostor, za druhé použijte důkazy z požadavků a změňte ovládání crawlerů pouze tehdy, když je zamýšlený uživatelský a indexační výsledek explicitní.