抓取预算管理清单

抓取预算 是搜索引擎在一段时间内愿意且能够对网站进行抓取的实际限制。管理抓取预算意味着减少那些无法改善发现或索引的请求，然后让重要的URL更容易被找到且抓取成本更低。

清单： 抓取预算管理。时间框： 诊断1–2个工作日，批准修复后1–3个工程冲刺。负责人： 技术SEO主管。协作者： 平台工程师、CDN或基础设施负责人、分析工程师，以及受影响的任何URL空间的商品或内容负责人。发布权限： 技术SEO主管和工程负责人共同决定。

坦诚地界定范围：一个拥有2,000或8,000个规范页面的健康网站几乎从不需要抓取预算项目。它可能存在优先级、链接、质量或可索引性问题。仅当大型或快速变化的网站出现爬虫浪费、发现延迟、低价值URL被重复抓取或主机压力的证据时，才启动此清单——而不是因为爬虫报告中显示大量数字。

为什么需要这个阶段，以及为什么在这里

虽然这是一个独立的清单而非编号阶段，但它需要技术基线审计 的成果：规范规则、状态码发现、渲染行为、网站架构、站点地图清单和索引覆盖。它还需要一份经过批准的内容清单，因为在业务方确定哪些URL应被发现、更新和索引之前，无法定义"浪费"。

在团队能够区分有价值的规范页面与过滤器、重复页面、过期库存、内部搜索和管理路由之后运行此清单。过早运行会导致完全屏蔽。在大型程序化上线、迁移或分面导航发布之后运行则为时已晚：爬虫可能已经陷入一个实际上无限的URL空间。

如果在一个真正的大型网站上跳过此步骤，新的和更改过的优先URL可能会在无尽的参数组合、错误页面、重定向链和重复页面之后排队等待。如果在一个小型健康网站上运行它，则会消耗工程时间而无法解决真正的约束。依赖关系的逻辑很简单：分类先于控制，证据先于规则。

输入与输出

输出是与工程团队的契约和下一个测量周期的依据。“提高抓取效率"不是一个可交付成果。

清单

对每个项目记录通过（PASS）、未通过（FAIL）或不适用（N/A），并附上证据。每个项目仅在其"完成条件"可被观察到时才算完成。

1. 证明抓取预算确实存在约束

内容： 确定这项工作是否值得立项。原因： 当一个页面实际上质量低、孤立、非规范、被屏蔽或故意排除时，抓取预算常常被错误归咎。方法： 比较规范URL数量、每日URL创建量、服务器健康状况、上次抓取日期、发现延迟、覆盖原因，以及经过验证的机器人请求在规范清单之外的比例。按目录和模板分段；全站平均值会掩盖某个失控的部分。工具： 日志管道、爬虫、搜索引擎覆盖报告、站点地图导出和发布日历。完成条件： 签署的诊断报告要么命名至少一个经验证的约束，要么以证据和更合适的后续行动关闭此清单（标记为"不重大”）。

2. 构建可信的机器人请求数据集

内容： 为分析窗口创建一个规范化的请求表。原因： 用户代理字符串可能被伪造，采样分析会遗漏机器人，且CDN日志可能与源服务器日志不同。日志文件分析 意味着检查服务器访问记录，以了解爬虫实际请求了什么。方法： 必要时合并CDN和源数据，规范化主机和URL编码，移除非渲染范围内的静态资源，使用提供者公布的验证方法验证主要搜索机器人，并保留状态、字节数、响应时间和缓存结果。工具： CDN或Web服务器日志、DNS验证、SQL或日志分析器。完成条件： 记录了日期范围和保留策略，已知机器人与未验证代理分离，总计与原始记录对账一致，且相同查询可以复现诊断中的每个图表。

3. 衡量请求在哪些地方被浪费

内容： 将每个爬虫请求分类为有用的规范页面、重复页面、重定向、错误、阻止、参数、分面、内部搜索、软404、资源或未知。软404是指返回200 OK但行为类似缺失或空结果的页面。原因： 总抓取量无法显示爬虫是在刷新库存还是在无价值的状态中循环。方法： 将请求与抓取和规范清单关联，按规范化路径和参数签名分组，然后按请求数量和服务器成本对模式进行排名。将这些模式与覆盖原因（如已发现但未索引、已抓取但未索引、重复、阻止和软404）进行对照；覆盖说明搜索引擎报告的结果，而日志证明请求。手动检查未知组，而不是强行将其归入某个方便的标签。工具： 经验证的日志、覆盖导出、网站爬虫、规范导出和响应分析器。完成条件： 至少95%的范围内机器人请求具有经过审查的分类，列出剩余的未知部分，并且顶级浪费模式具有示例URL、覆盖结果和负责人。

4. 从源头控制分面和参数

内容： 管理过滤、排序、分页、跟踪、会话和搜索参数。分面导航 允许用户组合品牌、颜色和尺寸等过滤器；不受控制的组合可能创造出无限大的抓取空间。原因： 在模板生成了数百万个链接后阻止爬虫，只是治标不治本，发现、用户行为、分析和其他机器人仍然暴露在外。方法： 为每个参数分配一个功能和一个策略：可索引落地页、规范重复、noindex页面、重定向、取消链接状态或阻止模式。使用稳定的参数排序，防止空和矛盾的组合，并从内部链接中移除跟踪或会话参数。不要仅仅为了压制某个页面而将其规范化为内容实质上不同的目标。工具： 参数注册表、模板源码、带有URL模式报告的爬虫、日志和自动化URL测试。完成条件： 每个观察到的参数都有一个经批准的策略，可抓取的模板只输出允许的组合，禁止的组合有测试覆盖，且目标模式的日志量在约定的检查点下降。

5. 消除无限空间和抓取陷阱

内容： 关闭可能生成无限日期、日历、分页、ID、大小写变体、路径段或递归过滤器的路由。原因： 即使每个页面都包含相同的空结果或重复结果，爬虫也可能持续发现语法上新的URL。方法： 设置有限边界，为不可能的状态返回404或410，仅链接到有效范围，规范化大小写和尾部斜杠规则，将完全重复的页面一次性重定向，并停止在最终结果集之外生成下一页链接。不仅测试正常路径，也要测试畸形和极端值。工具： 合成URL生成器、爬虫、日志、路由器测试和边缘规则测试。完成条件： 每个生成器都有记录的最大值，越界状态返回预期的响应，没有测试的路由创建新的无界序列，且受影响的请求模式在不阻断有价值页面的情况下下降。

6. 修正软404、错误和重定向浪费

内容： 使响应代码描述实际结果。原因： 返回200的空页面要求爬虫解析和评估本应声明为缺失的内容；重复的5xx响应消耗容量并可能使主机看起来不可靠；重定向链需要多次请求才能到达一个目标。方法： 对缺失的URL返回404，对有意移除的资源在适当时返回410，仅对实质性页面返回200，对移动的URL使用单个重定向到最终规范的URL。修复指向重定向或错误的内部链接。工具： 日志、爬虫、HTTP测试套件、监控和路由清单。完成条件： 采样的空结果不再返回200，优先路由没有重定向链，内部链接直接解析，且决策规则中的错误率阈值连续两个测量窗口通过。

7. 使规范和索引控制保持一致

内容： 对齐响应、规范URL 、meta robots、HTTP robots头部、内部链接和站点地图成员身份。原因： 矛盾的信号会导致重复访问：一个URL可能同时出现在站点地图提交中、被规范化为其他URL、在导航中被链接，又被解释其状态的指令所阻止。方法： 为每个URL类创建规则矩阵，并测试实际渲染的生产响应。使用robots.txt 管理爬虫访问，而非将其作为可靠的移除机制；一个被阻止的URL无法向从未抓取它的爬虫展示页面级的noindex指令。工具： 爬虫、原始和渲染后的HTML、头部检查器、robots测试器和URL检查。完成条件： 100%的优先样本和所有模板测试用例匹配一个一致的规则，没有可索引的规范URL被阻止，且没有排除的模式通过站点地图或主导航被推广。

8. 将XML站点地图清理为优先信息源

内容： 在每个XML站点地图 中只发布规范的、可索引的、返回200的URL和真实的修改日期。原因： 站点地图是发现信号，而不是CMS产生的每个URL的存档。重定向、重复、错误和不变的lastmod时间戳会稀释该信号并掩盖覆盖比较。方法： 将站点地图中的URL与规范清单进行对账，按内容类型或目录等稳定的诊断单元拆分文件，移除排除的URL，仅在页面内容发生实质性变化时更新lastmod。提交更改后的站点地图并记录下载、警告和错误。工具： 站点地图解析器、CMS导出、日志和搜索引擎站点地图报告。完成条件： 每个提交的URL都返回200，自身规范且可索引，排除项为零，lastmod通过抽样的内容变更检查，且提交数量与经批准的清单一致。

9. 使用内部链接将优先页面拉近

内容： 通过有用的内部链接 修复孤立页面并减少高价值URL的点击距离。抓取深度 是指爬虫从所选起始页面到达某个页面所需的链接步数。原因： 阻止浪费并不会告诉爬虫下一步该访问什么；强大且频繁访问的页面上的稳定HTML链接可以做到这一点。方法： 计算自首页和相关中心页面的深度和入站链接数，在用户受益的地方添加上下文或导航链接，替换指向已重定向URL的链接，并确保分页暴露更深层的库存。不要把一切都压扁到页脚。工具： 链接图爬虫、模板、日志和按目录划分的搜索表现。完成条件： 每个优先URL至少有一个可抓取的入站链接，没有优先孤立页面存在，约定的优先模板在相关中心页面的三个链接步内，且日志确认新链接的样本被发现或重新访问。

10. 保护主机容量和渲染路径

内容： 保持爬虫请求的快速和成功，同时不向搜索机器人提供实质性不同的页面。原因： 抓取需求无法补偿超时、不加区分地限制合法爬虫速度、或需要昂贵渲染才能获取基本内容和链接的主机。方法： 按机器人、路由、缓存状态和模板比较响应时间和错误；缓存安全的响应；移除昂贵的查询路径；在初始响应中保留必要的HTML和链接；并使用经过验证的机器人测试防火墙和CDN规则。工具： 应用性能监控、CDN分析、日志、正常运行时间测试和渲染页面检查。完成条件： 主机在预期负载下满足约定的响应和错误阈值，经过验证的爬虫不会被意外拦截，且优先内容和链接无需用户交互即可呈现。

11. 按模式推出并验证权衡

内容： 发布最小的一致规则集，然后比较前后差异。原因： 全局的robots、规范、路由或导航变更可能在移除浪费之前先移除了有价值的长尾页面。方法： 从一个可衡量的URL模式或目录开始，在可行的情况下保留对照组，注释发布内容，并在一个完整的抓取周期后比较机器人请求、错误、优先重新抓取延迟、覆盖、展示量和服务器负载。将回滚说明保留在规则旁边。工具： 部署日志、服务器日志、覆盖报告、AmICited报告和监控。完成条件： 目标浪费指标改善，优先发现和索引未超出声明的容忍范围退步，负责人签署结果，并记录下一个推出或回滚决策。

AmICited中的工具

AmICited围绕诊断提供搜索引擎和性能方面的证据。原始服务器日志仍然是跨机器人获取请求级行为的真实来源。

1. 打开Bing抓取 （位于实时Bing抓取报告 ），审查Bing的抓取活动和报告的URL问题。记录范围、问题类型、示例URL和导出时间；不要将Bing的行为推广到所有爬虫。

2. 使用站点地图与索引 （位于站点地图报告 ），比较提交数量、上次下载、警告和错误，提交清理后的站点地图，或为有限批次更改过的优先URL请求索引。请求可以加速重新考虑，但不能使被阻止或低质量的页面变得可索引。

3. 在URL检查 （位于URL检查报告 ）中检查代表性的获胜页面、浪费模式和修复后的页面。记录声明和选定的规范、覆盖判定、上次抓取和检查时间。其覆盖视图是一个不断增长的样本，而非完整的抓取预算报告。

4. 打开Google搜索目录 （位于目录报告 ），在限制某个目录或更改其链接之前比较各部分的点击量和展示量。低流量部分可能仍然具有战略必要性；使用此报告来衡量搜索影响，而非单独声明抓取浪费。

决策规则：数值层面的不良状态

这些是此清单的操作触发条件，而非通用的搜索引擎限制。仅在有记录的全站基线和经批准的风险容忍度时才能替换它们。

不要仅仅因为网站跨过了URL数量行就启动抓取预算项目。反之，也不要忽视一个拥有20,000页的网站，其日历陷阱生成了数百万个不同的URL。受限的发现或浪费的证据才是决定因素。

可交付成果

交付一个版本化的文件包，而不是一张写着"抓取已优化"的幻灯片：

• crawl-budget-summary.md：范围、决策、机器人验证方法、分析窗口、发现、经批准的处理方案、风险、发布顺序和回滚触发条件。
• crawl-pattern-register.csv：规范化模式、示例URL、用途、请求数量、占比、响应、规范状态、站点地图状态、入站链接数、业务价值、处理方式、负责人和状态。
• priority-url-sample.csv：至少20个URL，包含发现、上次抓取、索引判定、深度、入站链接数、响应和选定规范的基线和检查点字段。
• sitemap-reconciliation.csv：提交的URL、清单状态、响应、规范、可索引性、lastmod验证、操作和证据。
• monitoring-spec.md：查询、仪表板、阈值、负责人、节奏、告警路由、检查点日期和保留策略。

技术SEO主管拥有该文件包；工程团队签署路由和基础设施变更；内容或商品负责人签署任何移除可发现的用户路径或可索引落地页的决策。

常见问题

团队优化了一个小型网站。 工程师花费一个冲刺来阻止参数，而重要页面仍然内容单薄或孤立。将此清单关闭为"不重大"，将工作重定向到内容、链接或可索引性。

Robots.txt被当作删除工具使用。 被阻止的URL可能仍然被知晓，而爬虫无法抓取它们的页面级指令。先定义预期的生命周期，移除内部生成机制，然后使用与之匹配的响应、重定向、规范或noindex行为。

每个分面都被视为重复。 具有真实需求的品牌与类别组合可以成为有用的落地页；排序顺序通常不是。基于需求和内容区分性在模式层面做出决策。

期望规范标签能停止抓取。 规范表达了首选版本，但重复页面仍可能被抓取以评估关系。移除浪费的链接和生成机制，而不是依赖一个提示。

站点地图变成了数据库转储。 重定向、过期、阻止和非规范的URL掩盖了团队实际希望被抓取的清单。将站点地图成员身份作为发布关卡进行对账。

分析被误认为是日志。 客户端分析很少记录搜索机器人请求。没有经过验证的访问日志，团队无法衡量请求分配或响应成本。

推出操作屏蔽了收入页面。 宽泛的参数或路径规则会捕获有效的类别、本地化页面、分页或活动目标。测试正面和负面示例，一次推出一个模式，并保持快速回滚能力。

成功意味着更少的请求。 抓取量可能因为有价值的页面从发现中消失而下降。成功的变更应减少浪费，同时保持优先发现、索引和搜索需求的健康。

下一阶段

将模式注册表、站点地图对账、优先样本和监控阈值输入到持续刷新与迭代 中。该阶段需要稳定的发现路径和可信的变更信号；否则，刷新后的页面可能正确发布，却在抓取陷阱或弱内部链接后面无人问津。

在迁移、平台或路由变更、分面导航发布、重大库存扩展、持续错误事件或约定的阈值被突破后，重新打开此清单。当监控基线保持清洁时，不要按日历重新运行整个练习。

常见问题解答

以下FAQ涵盖了范围、robots规则、参数、站点地图和审查节奏。指导原则是一致的：首先对URL空间进行分类，其次使用请求证据，仅在明确期望的用户和索引结果时才更改爬虫控制。