Kontrolný zoznam správy crawl budgetu

Crawl budget je praktický limit toho, koľko prehľadávania je vyhľadávač ochotný a schopný vykonať na stránke v určitom čase. Jeho správa znamená zníženie počtu požiadaviek, ktoré nemôžu zlepšiť objavovanie alebo indexovanie, a následné uľahčenie nájdenia a zlacnenie načítania dôležitých URL.

Kontrolný zoznam: správa crawl budgetu. Časový rámec: 1–2 pracovné dni na diagnostiku, potom 1–3 engineering sprinty na schválené opravy. Vlastník: technický SEO líder. Prispievatelia: platformový inžinier, vlastník CDN alebo infraštruktúry, analytický inžinier a vlastník merchandisingu alebo obsahu pre všetky dotknuté URL priestory. Autorita na vydanie: technický SEO líder a vlastník inžinieringu spoločne.

Buďte priamočiari v rozsahu: zdravá stránka s 2 000 alebo 8 000 kanonickými stránkami takmer nikdy nemá projekt crawl budgetu. Má problém s prioritizáciou, prelinkovaním, kvalitou alebo indexovateľnosťou. Spustite tento kontrolný zoznam, keď veľká alebo rýchlo sa meniaca stránka vykazuje dôkazy plytvania crawlera, oneskoreného objavovania, opakovaného prehľadávania nízkohodnotných URL alebo zaťaženia hostingu — nie preto, že správa crawlera obsahuje veľké číslo.

Prečo táto fáza a prečo práve tu

Hoci ide o samostatný kontrolný zoznam a nie o číslovanú fázu, nadväzuje na technický základný audit : kanonické pravidlá, zistenia o stavových kódoch, správanie renderovania, architektúra stránky, inventár sitemap a pokrytie indexu. Vyžaduje si tiež schválený inventár obsahu, pretože „plytvanie“ nemožno definovať, kým podnik neurčí, ktoré URL majú byť nájdené, aktualizované a indexované.

Vykonajte ho až potom, čo tím dokáže rozlíšiť hodnotné kanonické stránky od filtrov, duplicít, vypršaného inventára, interného vyhľadávania a administratívnych ciest. Skoršie vykonanie podporuje plošné blokovanie. Vykonanie po veľkom programovom nasadení, migrácii alebo vydaní fasetovej navigácie je príliš neskoro: crawlery už môžu byť uväznené v efektívne neobmedzenom URL priestore.

Ak sa na skutočne veľkej stránke vynechá, nové a zmenené prioritné URL môžu čakať za nekonečnými kombináciami parametrov, chybovými stránkami, reťazcami presmerovaní a duplicitami. Ak sa vykoná na malej zdravej stránke, spotrebuje inžiniersky čas bez riešenia skutočného obmedzenia. Argument závislosti je jednoduchý: klasifikácia prichádza pred kontrolou a dôkazy pred pravidlami.

Vstupy a výstupy

Výstupy sú kontrakt s inžiniermi a nasledujúci merací cyklus. „Zlepšiť efektivitu prehľadávania“ nie je dodávka.

Kontrolný zoznam

Zaznamenajte PASS, FAIL alebo N/A a priložte dôkazy pre každú položku. Každá položka je dokončená až vtedy, keď je možné pozorovať jej podmienku „Hotovo, keď“.

1. Dokážte, že crawl budget je obmedzenie

Čo: rozhodnite, či si táto práca zaslúži projekt. Prečo: crawl budget je často obviňovaný, keď je stránka v skutočnosti nízkej kvality, sirota, nekanonická, blokovaná alebo úmyselne vylúčená. Ako: porovnajte počet kanonických URL, dennú tvorbu URL, zdravie servera, dátumy posledného prehľadania, oneskorenie objavovania, dôvody pokrytia a podiel overených požiadaviek botov mimo kanonického inventára. Segmentujte podľa adresára a šablóny; celoplošný priemer skrýva jednu problémovú sekciu. Nástroj: log pipeline, crawler, reporty pokrytia vyhľadávačov, exporty sitemap a kalendár vydaní. Hotovo, keď: podpísaná diagnostika uvádza aspoň jedno namerané obmedzenie alebo uzatvára kontrolný zoznam ako „bezvýznamný“ s dôkazmi a vhodnejším ďalším krokom.

2. Zostavte dôveryhodný dataset požiadaviek botov

Čo: vytvorte jednu normalizovanú tabuľku požiadaviek pre analytické okno. Prečo: reťazce user-agent môžu byť sfalšované, vzorkovaná analytika vynecháva boty a CDN logy sa môžu líšiť od origin logov. Analýza logov znamená skúmanie záznamov o prístupe na server, aby ste zistili, čo crawlery skutočne požadovali. Ako: v prípade potreby skombinujte CDN a origin dáta, normalizujte hostiteľa a kódovanie URL, odstráňte statické assety (pokiaľ nie je v rozsahu renderovanie), overte hlavné vyhľadávacie boty pomocou publikovanej overovacej metódy poskytovateľa a uchovajte stav, veľkosť, čas odozvy a výsledok cache. Nástroj: CDN alebo web-server logy, DNS overenie, SQL alebo analyzátor logov. Hotovo, keď: rozsah dátumov a uchovávanie sú zdokumentované, známi boti sú oddelení od neoverených agentov, súčty sú v súlade so surovými záznamami a rovnaký dotaz dokáže reprodukovať každý graf v diagnostike.

3. Zmerajte, kde sa plytvajú požiadavky

Čo: klasifikujte každú požiadavku crawlera ako užitočnú kanonickú, duplicitnú, presmerovanú, chybovú, blokovanú, parametrickú, fasetovú, interné vyhľadávanie, soft-404, asset alebo neznámu. Soft 404 je stránka, ktorá vracia 200 OK, ale správa sa ako chýbajúci alebo prázdny výsledok. Prečo: celkový objem prehľadávania nemôže ukázať, či crawlery obnovujú inventár alebo sa točia v cykle bezcenných stavov. Ako: pripojte požiadavky k prehľadávaniu a kanonickému inventáru, zoskupujte podľa normalizovanej cesty a signatúry parametrov, potom zoraďte vzory podľa počtu požiadaviek a nákladov na server. Porovnajte tieto vzory s dôvodmi pokrytia, ako je objavené ale neindexované, prehľadané ale neindexované, duplicitné, blokované a soft 404; pokrytie vysvetľuje hlásený výsledok vyhľadávača, zatiaľ čo logy dokazujú požiadavky. Neznámu skupinu preskúmajte manuálne, namiesto núteného zaradenia do vhodnej kategórie. Nástroj: overené logy, export pokrytia, crawlovač stránok, export kanonických URL a profiler odoziev. Hotovo, keď: aspoň 95 % požiadaviek botov v rozsahu má preskúmanú klasifikáciu, zvyšné neznáme sú uvedené a najväčšie vzory plytvania majú príkladové URL, výsledky pokrytia a vlastníkov.

4. Obmedzte fasety a parametre pri zdroji

Čo: spravujte filtračné, triediace, stránkovacie, sledovacie, reláčné a vyhľadávacie parametre. Fasetová navigácia umožňuje používateľom kombinovať filtre ako značka, farba a veľkosť; nekontrolované kombinácie môžu vytvoriť efektívne nekonečný priestor na prehľadávanie. Prečo: blokovanie crawlera po tom, čo šablóny vygenerovali milióny odkazov, rieši príznak, ale ponecháva objavovanie, správanie používateľov, analytiku a ostatné boty odkryté. Ako: priraďte každému parametru funkciu a jednu politiku: indexovateľná vstupná stránka, kanonická duplicita, noindex stránka, presmerovanie, odlinkovaný stav alebo blokovaný vzor. Používajte stabilné poradie parametrov, zabráňte prázdnym a protichodným kombináciám a odstráňte sledovacie alebo reláčné parametre z interných odkazov. Nekanonizujte stránku na cieľ s materiálne odlišným obsahom len preto, aby ste ju potlačili. Nástroj: register parametrov, zdroj šablóny, crawler s reportami vzorov URL, logy a automatizované URL testy. Hotovo, keď: každý pozorovaný parameter má jednu schválenú politiku, prehľadávateľné šablóny emitujú len povolené kombinácie, zakázané kombinácie majú testovacie pokrytie a objem logov pre cieľové vzory klesne na dohodnutom kontrolnom bode.

5. Eliminujte nekonečné priestory a pasce prehľadávania

Čo: uzavrite cesty, ktoré môžu generovať neobmedzené dáta, kalendáre, stránkovanie, ID, varianty veľkosti písmen, segmenty ciest alebo rekurzívne filtre. Prečo: crawler môže neustále objavovať syntakticky nové URL, aj keď každá stránka obsahuje rovnaký prázdny alebo duplicitný výsledok. Ako: nastavte konečné limity, vracajte 404 alebo 410 pre nemožné stavy, odkazujte len na platné rozsahy, normalizujte pravidlá pre veľkosť písmen a koncové lomítka, presmerujte presné duplicity raz a prestaňte generovať odkazy na ďalšiu stránku po konečnej sade výsledkov. Testujte chybné a extrémne hodnoty, nielen hlavnú cestu. Nástroj: syntetický generátor URL, crawler, logy, testy routera a testy okrajových pravidiel. Hotovo, keď: každý generátor má zdokumentované maximum, stavy mimo rozsahu vracajú zamýšľanú odpoveď, žiadna testovaná cesta nevytvára novú neobmedzenú postupnosť a dotknuté vzory požiadaviek klesajú bez blokovania hodnotných stránok.

6. Opravte soft 404, chyby a plytvanie presmerovaniami

Čo: zabezpečte, aby stavové kódy popisovali skutočný výsledok. Prečo: prázdna stránka s 200 núti crawlery parsovať a vyhodnocovať obsah, ktorý mal byť deklarovaný ako chýbajúci; opakované odpovede 5xx spotrebúvajú kapacitu a môžu spôsobiť, že hostiteľ vyzerá nespoľahlivo; reťazce spotrebujú niekoľko požiadaviek na dosiahnutie jedného cieľa. Ako: vracajte 404 pre chýbajúce URL, 410 pre úmyselne odstránené zdroje (ak je to vhodné), 200 len pre vecné stránky a jedno presmerovanie na konečný kanonický cieľ pre presunuté URL. Opravte interné odkazy, ktoré smerujú do presmerovaní alebo chýb. Nástroj: logy, crawler, HTTP testovacia sada, monitorovanie a inventár ciest. Hotovo, keď: vzorkované prázdne výsledky už nevracajú 200, prioritné cesty nemajú reťazec presmerovaní, interné odkazy smerujú priamo a prahová hodnota miery chybovosti v rozhodovacích pravidlách prejde pre dve po sebe nasledujúce meracie okná.

7. Zosúlaďte kanonické a indexové kontroly

Čo: zosúlaďte odpoveď, kanonickú URL , meta robots, HTTP hlavičky robots, interné odkazy a členstvo v sitemape. Prečo: protichodné signály spôsobujú opakované návštevy: URL môže byť odoslaná v sitemape, kanonizovaná inde, prelinkovaná v navigácii a blokovaná direktívou, ktorá vysvetľuje jej stav. Ako: vytvorte maticu pravidiel pre každú triedu URL a otestujte vykreslenú produkčnú odpoveď. Používajte robots.txt na riadenie prístupu crawlerov, nie ako spoľahlivý mechanizmus odstraňovania; blokovaná URL nemôže odhaliť direktívu noindex na úrovni stránky crawleru, ktorý ju nikdy nenačíta. Nástroj: crawler, surové a vykreslené HTML, inspektor hlavičiek, tester robots a URL Inspection. Hotovo, keď: 100 % prioritných vzoriek a všetky testovacie prípady šablón zodpovedajú jednému konzistentnému pravidlu, bez blokovania indexovateľnej kanonickej URL a bez propagácie vylúčeného vzoru prostredníctvom sitemap alebo hlavnej navigácie.

8. Vyčistite XML sitemapy na prioritný feed

Čo: publikujte v každej XML sitemape iba kanonické, indexovateľné URL s 200 a pravdivé dátumy úprav. Prečo: sitemapa je signál objavovania, nie archív každej URL, ktorú CMS vytvoril. Presmerovania, duplicity, chyby a nezmenené časové pečiatky lastmod tento signál oslabujú a zakrývajú porovnania pokrytia. Ako: zosúlaďte URL v sitemape s kanonickým inventárom, rozdeľte súbory podľa stabilných diagnostických jednotiek (napr. typ obsahu alebo adresár), odstráňte vylúčené URL a aktualizujte lastmod len pri podstatných zmenách stránky. Odosielajte zmenené sitemapy a zaznamenávajte stiahnutie, varovania a chyby. Nástroj: parser sitemap, export CMS, logy a reporty sitemap vyhľadávačov. Hotovo, keď: každá odoslaná URL vracia 200, je sebakanonická a indexovateľná, vylúčenia sú nulové, lastmod prejde vzorkovanou kontrolou zmeny obsahu a odoslané počty sú v súlade so schváleným inventárom.

9. Použite interné odkazy na priblíženie prioritných stránok

Čo: opravte sirotské stránky a znížte počet klikov na vysokohodnotné URL pomocou užitočného interného prelinkovania . Hĺbka prehľadávania je počet krokov odkazov, ktoré crawler potrebuje na dosiahnutie stránky z vybranej začiatočnej stránky. Prečo: blokovanie plytvania nehovorí crawleru, čo má navštíviť ďalej; stabilné HTML odkazy zo silných, často navštevovaných stránok áno. Ako: vypočítajte hĺbku a prichádzajúce odkazy z domovskej stránky a relevantných centier, pridajte kontextové alebo navigačné odkazy tam, kde používatelia profitujú, nahraďte odkazy na presmerované URL a zabezpečte, aby stránkovanie sprístupňovalo hlbší inventár. Nezrovnávajte všetko do pätičky. Nástroj: crawler grafu odkazov, šablóny, logy a výkonnosť vyhľadávania podľa adresára. Hotovo, keď: každá prioritná URL má aspoň jeden prehľadávateľný prichádzajúci odkaz, žiadna prioritná sirota nezostáva, dohodnuté prioritné šablóny sú do troch krokov odkazu od relevantného centra a logy potvrdzujú, že novo prelinkované vzorky sú objavené alebo znovu navštívené.

10. Chráňte kapacitu hostiteľa a cesty renderovania

Čo: udržujte požiadavky crawlerov rýchle a úspešné bez poskytovania materiálne odlišnej stránky vyhľadávacím botom. Prečo: dopyt po prehľadávaní nemôže kompenzovať hostiteľa, ktorý timeoutuje, nerozlišujúco obmedzuje legitímne crawlery alebo vyžaduje nákladné renderovanie pre základný obsah a odkazy. Ako: porovnajte čas odozvy a chyby podľa bota, cesty, stavu cache a šablóny; cacheujte bezpečné odpovede; odstráňte nákladné dotazovacie cesty; zachovajte základné HTML a odkazy v prvotnej odpovedi; a testujte pravidlá firewallu a CDN s overenými botmi. Nástroj: monitorovanie výkonnosti aplikácie, CDN analytika, logy, testy dostupnosti a kontrola vykreslenej stránky. Hotovo, keď: hostiteľ spĺňa dohodnuté prahové hodnoty odozvy a chybovosti pri očakávanom zaťažení, overení crawleri nie sú náhodne blokovaní a prioritný obsah plus odkazy sú prítomné bez interakcie používateľa.

11. Nasadzujte podľa vzoru a overte kompromis

Čo: vydajte najmenší konzistentný súbor pravidiel, potom porovnajte stav pred a po. Prečo: globálna zmena robots, kanonických URL, smerovania alebo navigácie môže odstrániť hodnotné long-tail stránky rýchlejšie, než odstraňuje plytvanie. Ako: začnite s jedným merateľným vzorom URL alebo adresárom, tam kde je to praktické zachovajte kontrolu, anotujte vydanie a porovnajte požiadavky botov, chyby, latenciu opakovaného prehľadávania priorít, pokrytie, zobrazenia a zaťaženie servera po kompletnom cykle prehľadávania. Uchovajte inštrukcie na vrátenie zmeny vedľa pravidla. Nástroj: log nasadenia, serverové logy, reporty pokrytia, reporty AmICited a monitorovanie. Hotovo, keď: cieľová miera plytvania sa zlepší, objavovanie a indexovanie priorít neklesnú pod deklarovanú toleranciu, vlastník podpíše výsledok a je zaznamenané ďalšie nasadenie alebo rozhodnutie o vrátení.

Nástroje v AmICited

AmICited poskytuje dôkazy z vyhľadávačov a výkonnosti okolo diagnostiky. Surové serverové logy zostávajú zdrojom pravdy pre správanie na úrovni požiadaviek naprieč botmi.

1. Otvorte Bing Crawl na živom Bing crawl reporte a skontrolujte aktivitu prehľadávania Bing a hlásené problémy s URL. Zachyťte rozsah, typ problému, príkladové URL a čas exportu; nezovšeobecňujte správanie Bing na každý crawler.

2. Použite Sitemaps and Indexing na reporte sitemap na porovnanie odoslaných počtov, posledného stiahnutia, varovaní a chýb, odoslanie vyčistenej sitemapy alebo požiadanie o indexovanie ohraničenej dávky zmenených prioritných URL. Požiadavka urýchľuje opätovné zváženie; nerobí blokovanú alebo nekvalitnú stránku indexovateľnou.

3. Skontrolujte reprezentatívne víťazné vzory, vzory plytvania a opravené stránky v URL Inspection na reporte URL Inspection . Zaznamenajte deklarovanú a vybranú kanonickú URL, verdikt pokrytia, posledné prehľadanie a čas kontroly. Jeho zobrazenie pokrytia je rastúca vzorka, nie úplný report crawl budgetu.

4. Otvorte Google Search Directories na reporte adresárov a porovnajte kliknutia a zobrazenia podľa sekcie pred obmedzením adresára alebo zmenou jeho odkazov. Sekcia s nízkou návštevnosťou môže byť stále strategicky potrebná; používajte tento report na odhad vplyvu na vyhľadávanie, nie na samostatné vyhlásenie plytvania prehľadávaním.

Rozhodovacie pravidlá: ako vyzerá zlý stav v číslach

Toto sú prevádzkové spúšťače pre tento kontrolný zoznam, nie univerzálne limity vyhľadávačov. Nahrádzajte ich len s dokumentovaným baseline stránky a schválenou toleranciou rizika.

Neotvárajte projekt crawl budgetu len preto, že stránka prekračuje riadok s počtom URL. Naopak, neodmietajte stránku s 20 000 stránkami, ktorej kalendárová pasca generuje milióny odlišných URL. Rozhodujúcim faktorom sú dôkazy obmedzeného objavovania alebo plytvania.

Dodávka

Odovzdajte verzovaný balík, nie slid s nápisom „crawl optimalizovaný“:

• crawl-budget-summary.md: rozsah, rozhodnutie, metóda overenia botov, analytické okno, zistenia, schválené ošetrenia, riziká, poradie vydaní a spúšťače vrátenia.
• crawl-pattern-register.csv: normalizovaný vzor, príkladová URL, účel, počet požiadaviek, podiel, odpoveď, kanonický stav, stav v sitemape, prichádzajúce odkazy, obchodná hodnota, ošetrenie, vlastník a stav.
• priority-url-sample.csv: minimálne 20 URL s baseline a kontrolnými políčkami pre objavenie, posledné prehľadanie, verdikt indexu, hĺbku, prichádzajúce odkazy, odpoveď a vybranú kanonickú URL.
• sitemap-reconciliation.csv: odoslaná URL, stav v inventári, odpoveď, kanonická URL, indexovateľnosť, validácia lastmod, akcia a dôkaz.
• monitoring-spec.md: dotazy, dashboardy, prahové hodnoty, vlastníci, frekvencia, trasy upozornení, dátumy kontrolných bodov a uchovávanie.

Technický SEO líder vlastní balík; inžiniering podpisuje zmeny ciest a infraštruktúry; vlastník obsahu alebo merchandisingu podpisuje akékoľvek rozhodnutie, ktoré odstraňuje objaviteľnú používateľskú cestu alebo indexovateľnú vstupnú stránku.

Čo sa pokazí

Tím optimalizuje malú stránku. Inžinieri strávia sprint blokovaním parametrov, zatiaľ čo dôležité stránky zostávajú slabé alebo sirotské. Uzavrite kontrolný zoznam ako bezvýznamný a presmerujte prácu na obsah, prelinkovanie alebo indexovateľnosť.

Robots.txt sa stane nástrojom na mazanie. Blokované URL môžu zostať známe a crawlery nemôžu načítať ich direktívy na úrovni stránky. Najprv definujte zamýšľaný životný cyklus, odstráňte interné generovanie a použite odpoveď, presmerovanie, kanonickú URL alebo noindex správanie, ktoré mu zodpovedá.

Každá fasetová kombinácia je považovaná za duplicitu. Kombinácia značky a kategórie so skutočným dopytom môže byť užitočná vstupná stránka; poradie triedenia zvyčajne nie je. Rozhodujte na úrovni vzoru pomocou dopytu a odlišnosti obsahu.

Očakáva sa, že kanonická značka zastaví prehľadávanie. Kanonické URL vyjadrujú preferovanú verziu, ale duplicity môžu byť stále načítané na vyhodnotenie vzťahu. Odstráňte zbytočné odkazy a generovanie namiesto spoliehania sa na jeden signál.

Sitemapy sa stanú vývozmi databázy. Presmerované, vypršané, blokované a nekanonické URL zakrývajú inventár, ktorý tím skutočne chce prehľadávať. Zosúlaďte členstvo v sitemape ako súčasť brány vydania.

Analytika je zamenená za logy. Klientska analytika len zriedka zaznamenáva požiadavky vyhľadávacích botov. Bez overených prístupových logov tím nemôže merať alokáciu požiadaviek ani náklady na odpovede.

Nasadenie zablokuje príjmové stránky. Široké pravidlo pre parametre alebo cesty zachytí platné kategórie, lokalizované stránky, stránkovanie alebo kampane. Testujte pozitívne a negatívne príklady, nasadzujte jeden vzor a majte pripravené rýchle vrátenie.

Úspech znamená menej požiadaviek. Objem prehľadávania môže klesnúť, pretože hodnotné stránky zmizli z objavovania. Úspešná zmena znižuje plytvanie, zatiaľ čo objavovanie priorít, indexovanie a vyhľadávací dopyt zostávajú zdravé.

Ďalšia fáza

Vložte register vzorov, zosúladenie sitemap, prioritnú vzorku a monitorovacie prahové hodnoty do kontinuálneho obnovovania a iterácie . Tá fáza potrebuje stabilné cesty objavovania a dôveryhodné signály zmien; inak môže byť obnovená stránka publikovaná správne, ale čakať neviditeľná za pascami prehľadávania alebo slabými internými odkazmi.

Znova otvorte tento kontrolný zoznam po migrácii, zmene platformy alebo smerovania, vydaní fasetovej navigácie, veľkom rozšírení inventára, udalosti s trvalou chybovosťou alebo po prekročení dohodnutého prahu. Neopakujte celé cvičenie podľa kalendára, keď monitorovací baseline zostáva čistý.

FAQ

Nasledujúce FAQ pokrýva rozsah, pravidlá robots, parametre, sitemapy a frekvenciu kontroly. Hlavný princíp je konzistentný: najprv klasifikujte URL priestor, potom použite dôkazy z požiadaviek a zmeňte ovládacie prvky crawlerov len vtedy, keď je zamýšľaný výsledok pre používateľa a indexovanie explicitný.