技术基线审计

阶段P2 · 步骤A — 了解
时间盒： 轻度审计2–4小时，标准审计1–2个工作日，深度审计3–8个工作日。
负责人： 技术SEO负责人。工程、分析、内容和本地化负责人提供证据并在各自领域接受修复。

技术基线审计旨在确定搜索引擎能否找到、解释并选择企业期望它们展示的URL。其范围涵盖爬取控制、HTTP响应、索引、规范化、链接、渲染、国际化定位和安全传输。结果是按优先级排序的发现项登记表，包含指定的负责人和验收测试，而非一个分数。

为什么这个阶段在此处

在存在爬取或索引问题的网站上发布内容会加剧损害。搜索引擎通常在评估和奖励内容之前，就能更快地在新的URL上发现重复的缺陷。错误的规范化模板可能将所有文章指向别处；robots规则可能隐藏整个目录；客户端渲染的导航可能为非JavaScript客户端创建孤立页面。每个新页面都会扩大受影响的范围，使修复风险更大。

先修复基础。顺序是爬取能力 → 可索引性 → 内容质量 → 性能，因为每一层都是一个关卡。爬取能力意味着爬取器可以发现并请求URL；可索引性意味着可到达的URL有资格被收录。只有在此之后才能评判内容质量和性能。被robots.txt屏蔽的快速页面无法参与竞争，而无法到达的页面的标题标签也无关紧要。

本阶段接收来自发现与目标 的范围、优先旅程、市场和风险。过早执行此阶段会产生缺乏业务背景的爬取结果。跳过此阶段则会让研究和制作针对无法可靠进入索引的模板进行。

输入与输出

输入定义预期网站，而不仅仅是爬取器发现的内容。输出告知下一负责人哪些URL可以安全测试，哪些仍然受阻。

选择审计深度

在爬取之前选择深度。估算值假设访问权限已就绪且不包含实施时间。

检查清单

按顺序进行。未通过的关卡可能使后续样本失效，因此在继续之前记录失败及其影响范围。

1. 确认目标为生产环境

操作内容： 验证协议、主机、robots文件、分析属性、Search Console属性和站点地图主机。重要性： 预发布环境可能看起来无问题，而生产环境仍有问题。操作方法： 解析商定的规范化主机，比较优先页面和响应头，记录爬取来源。工具： 浏览器、爬取器配置、Search Console选择器。完成条件： 登记表标明已确认的生产环境来源和属性，种子URL或导出中无预发布环境主机名。

2. 爬取前测试robots.txt

操作内容： 检查每个生产主机的/robots.txt及其引用的站点地图。重要性： Disallow规则会在内容被评估之前阻止爬取。操作方法： 将Disallow模式与预期清单进行比较，测试匹配和不匹配的URL，区分爬取阻止与noindex。工具： 原始响应和robots测试器。完成条件： robots返回200，有意的屏蔽有理由，可索引样本被允许访问，每出现一个无意的屏蔽则触发一个关键发现项。

3. 将站点地图与实际URL对账

操作内容： 比较已提交的站点地图与规范化的可索引清单。重要性： 站点地图应列出网站希望被搜索引擎选择的URL，而非重定向、错误或重复页面。操作方法： 规范化条目，按模板比较数量，然后在站点地图与索引 中对新增和遗漏进行抽样。工具： https://app.amicited.com/reports/google-search/sitemaps-indexing和爬取导出。完成条件： 覆盖率达到至少95%，0个条目为重定向或错误，每个缺口都有原因或负责人。

4. 测量状态码分布

操作内容： 将响应分类为2xx、3xx、4xx或5xx。重要性： 错误会阻止检索，重定向会增加跳转次数。操作方法： 跟随并报告重定向，按模板分段，并与Bing爬取 进行比较。工具： https://app.amicited.com/reports/bing-webmasters/crawl、爬取器和监控。完成条件： 可索引URL返回200；内部错误、循环和链均为零；有意设置的重定向已记录在案。

5. 消除重定向链和循环

操作内容： 追踪重定向至其最终响应。重要性： 跳转次数多会减慢发现速度；循环则永远无法到达内容。操作方法： 导出路径，将内部链接更新为最终规范化URL，合并规则。工具： 重定向报告和头部检查。完成条件： 内部链接直接指向目标，遗留重定向只需一次跳转，无循环或链存在。

6. 建立符合条件的索引率

操作内容： 比较Google的索引状态与有意符合条件的URL。重要性： 包含重定向、过滤器、重复页面或noindex页面会使比率失去意义。操作方法： 构建符合条件的分母，在URL检查 中检查优先样本，按模板对排除项进行分组。工具： https://app.amicited.com/reports/google-search/url-inspection、Search Console和清单。完成条件： 至少90%已被索引，或每个缺口都有根因负责人；低于80%为主要发现项。

7. 验证规范化正确性

操作内容： 比较声明的、最终的和Google选择的规范化URL。规范化URL是相似URL中的首选版本。重要性： 错误的规范化URL会使信号从未预期的页面转移出去。操作方法： 测试唯一页面的自引用、有意的交叉规范化、以及在HTML、站点地图、重定向和链接之间的一致性。工具： 规范化报告和https://app.amicited.com/reports/google-search/url-inspection。完成条件： 100%的独特可索引页面指定一个绝对的、返回200的、可索引的规范化URL，每个选定的不匹配项都有解释。

8. 查找重复和近似重复聚类

操作内容： 将主内容完全相同或大幅重叠且搜索目的相同的URL分组。重要性： 重复页面会分散内部信号，迫使搜索引擎选择一个企业可能并不偏好的版本。操作方法： 比较精确哈希值、标准化文本相似度、标题、规范化URL、参数和模板用途；然后选择合并、差异化、noindex或移除。工具： 爬取器重复报告、页面清单和Google搜索页面 。完成条件： 没有聚类包含一个以上服务于相同意图的、未解释的规范化可索引URL，且每个被接受的变体都有记录在案的独特用途。

9. 查找孤立页面并测量链接深度

操作内容： 将爬取器URL与站点地图、分析工具、Search Console、CMS导出和反向链接结合起来，查找没有可爬取内部链接的页面。测量从首页出发的最短点击路径。重要性： 孤立页面可能出现在站点地图中，但获得的内部上下文或权重很小；过深的深度使发现变得脆弱。操作方法： 比较来源，在目录视图 中检查目录模式，追踪导航、面包屑导航、枢纽页面和上下文链接。工具： https://app.amicited.com/reports/directory和多来源爬取。完成条件： 有意孤立页面数为零，优先页面在首页三次点击以内，其他有意纳入索引的页面在五次点击以内，每个例外都有预先设计的发现路径。

10. 比较渲染后与非JavaScript的HTML

操作内容： 比较初始服务器响应与JavaScript执行后的页面。重要性： 浏览器可能显示非JavaScript客户端从未接收到的内容和链接。操作方法： 在禁用脚本的情况下获取代表性页面，检查原始HTML，然后比较标题、主要内容、链接、规范化URL、robots指令、结构化数据和渲染后的状态。工具： HTML模式和渲染模式的爬取器以及浏览器开发者工具。完成条件： 初始响应包含发现优先页面所需的主要内容、规范化URL、索引指令和可爬取导航；任何仅依赖JavaScript的依赖项已被明确接受并在各模板上经过测试。

11. 在适用时验证hreflang

操作内容： 验证连接语言或区域等效页面的注释。重要性： 不完整或冲突的聚类可能使搜索引擎忽略定位设置，并显示错误的市场版本。操作方法： 测试有效的语言-区域代码、绝对规范化URL、自引用、互惠返回链接、x-default（当其具有实际回退角色时）以及每个目标的索引能力。工具： 爬取器hreflang报告和URL样本。完成条件： 无效代码、缺少自引用、缺少返回链接、非规范化目标、重定向和错误均为零。如果网站没有本地化等效页面，则记录"不适用"而非编造注释。

12. 测试分页和爬取路径

操作内容： 验证多页分类或存档序列是否暴露可爬取链接和有用的唯一URL。重要性： 无限滚动或仅按钮加载可能隐藏较深的项目，而将所有页面规范化到第一页则可能将不同的清单从发现中移除。操作方法： 禁用JavaScript，跟随下一页和编号链接，检查状态码、规范化和robots指令，测试最后一页和超出范围的参数。工具： 非渲染爬取和浏览器。完成条件： 每个预期的项目可通过锚链接到达，每个有用的页面自规范化为自身，无效页码返回适当的错误而非软200，并且没有序列创建无界的URL空间。

13. 检查移动端对等性

操作内容： 比较移动端和桌面端在内容、链接、元数据、指令、结构化数据和响应状态方面的交付情况。重要性： 谷歌主要评估移动端呈现；仅在移动端隐藏有意义的内容或链接会改变其可理解的内容。操作方法： 使用桌面端和智能手机用户代理进行爬取，比较代表性模板，而非仅比视觉截图。工具： 配对爬取、移动端URL检查和浏览器响应式模式。完成条件： 所有用于含义和发现的可索引内容和可爬取链接对等，零个仅移动端屏蔽、规范化差异或错误响应。

14. 强制使用HTTPS并清除混合内容

操作内容： 验证安全交付、主机重定向、证书、规范化协议、内部URL和通过HTTP加载的资源。混合内容是指HTTPS页面请求了不安全的资源。重要性： 不安全的请求可能被阻止，暴露用户，并造成不一致的URL信号。操作方法： 爬取所有HTTP变体，检查证书覆盖范围和浏览器安全错误，搜索渲染后的资源请求。工具： 爬取器、浏览器安全面板和服务器配置。完成条件： 每个HTTP页面通过一次重定向到其匹配的HTTPS URL，所有规范化和内部链接使用HTTPS，证书对每个活跃主机有效，主动或被动混合内容请求为零。

AmICited中的工具

使用产品报告作为检查清单的证据，而非作为爬取的替代品。

• 站点地图与索引 位于https://app.amicited.com/reports/google-search/sitemaps-indexing，显示已提交站点地图状态、警告、错误和索引操作。
• URL检查 位于https://app.amicited.com/reports/google-search/url-inspection，提供Google对抽样URL的实时判定和所选规范化URL。
• Bing爬取 位于https://app.amicited.com/reports/bing-webmasters/crawl，揭示Bing的爬取器活动和URL级别的问题。
• Google搜索页面 位于https://app.amicited.com/reports/pages，帮助选择高价值落地页，并区分有可见性的页面和搜索数据中缺失的页面。
• 目录视图 位于https://app.amicited.com/reports/directory，揭示版块级别的模式，并支持深度和孤立页面调查。
• 数据健康 位于https://app.amicited.com/features/data-health/，记录已连接证据是否足够完整以支持自信的决策。

决策规则

阈值产生发现项；它们不能替代判断。按模板和业务重要性进行分段：十个结账分类的失败可能比一千个损坏的存档标签更重要。

按影响×工作量×置信度进行优先级排序。根据受影响的可索引URL和业务旅程，对影响进行1–5分评分。将工作量作为便利因子进行1–5分评分，其中5表示小而可逆的变更，1表示大型有风险的计划；同时以小时或天为单位记录诚实估算。置信度评分为：0.5（合理假设）、0.75（重复出现的证据）或1.0（已复现的根因）。乘积给出了排序辅助，而非虚假的精确度。

应用依赖覆盖规则：能够解除其他工作阻塞的修复，优先于分数更高但不解除阻塞的修复。 在发布前移除robots屏蔽，优先于优化已索引的标题标签。在同一依赖级别，优先处理模板范围广泛的原因，而非症状。

交付物：按优先级排序的发现项登记表

交付一份共享登记表，而非爬取导出。每个根因一行，URL样本另行附上。

当严重和主要发现项已有负责人和估算、阻碍项已有顺序、假设已标记、发布决策已明确时，登记表即为完成。

常见问题

一份包含200个项目的报告无人能执行

爬取导出将观察结果与决策相混淆。将重复的URL归因于导致它们的模板或规则，提供代表性样本，并指定一个负责人。由一个导航组件产生的200个损坏URL是一个具有可测量范围的根因发现项，而非200个任务。

报告症状而非原因

“页面未索引"是一个症状。原因可能是无意的规范化URL、孤立的模板、内容单薄的参数变体、移动端错误或仅依赖JavaScript的链接。一个发现项在确定可控原因或明确标记下一个诊断测试之前，还不具备优先级排序的条件。

意外审计了预发布环境

预发布环境可能有不同的robots规则、认证、数据、模板、功能标志和主机行为。在每个导出文件的顶部记录生产环境来源和Search Console属性。如果为了发布保障必须针对预发布环境运行爬取，请将其标记为独立的比较，切勿将其指标合并到生产基线中。

同时避免将有意的排除算作损失、将站点地图包含视为索引证明、仅测试首页、或仅按URL数量排序。定义符合条件的集合，按模板分段，并保留验收证据。

下一阶段

下一阶段，AI可访问性与代理就绪 ，需要一个技术上稳定的样本。移交预期可索引清单、每个优先模板的干净代表性URL、原始和渲染后的HTML比较、robots和响应证据、规范化决策、已知排除项以及待解决发现项登记表。

不要声称网站"技术上健康”。说明哪些模板通过了爬取和索引关卡，哪些仍然受阻，以及发布是否可以继续进行。下一负责人在能够测试AI特定用户代理和提取内容而无需重新发现未解决搜索爬取缺陷时，即可验收。

FAQ

技术基线审计应多久重复一次？

在迁移、重新设计、域名变更或大型发布计划之前运行，然后在发布后重新执行受影响的检查。持续监控，并在模板、导航、渲染或规范化规则发生变化时重复一次标准审计。

一个健康的网站应该具有多少索引率？

对于有意符合条件的URL，90%或以上是起始期望，80%–90%需要解释，低于80%为发现项。从分母中排除重定向、重复页面、过滤器和有意设置的noindex页面。

在技术修复进行期间，我们可以发布内容吗？

只有当新URL可爬取、可索引、已规范化、内部可链接且不受缺陷影响时才可以。如果发现或选择受阻，请暂停；新增URL只会扩大清理范围。

如果已连接Search Console，还需要爬取器吗？

是的。Search Console报告Google所观察到的情况；爬取器测试当前网站并揭示链接、响应、深度、规范化和重复页面。两者不可相互替代。

审计中发现的修复项由谁负责？

SEO负责人持有登记表和验收标准。工程团队通常负责服务器、渲染、重定向、规范化和HTTPS修复；内容团队可能负责重复和链接问题。每个项目需要指定一个具体的人。