了解LLMs.txt及其用途
LLMs.txt 是一种标准化文本文件,帮助大型语言模型和AI系统更有效地理解您网站的内容。类似于robots.txt指导搜索引擎爬虫,llms.txt为ChatGPT、Claude、Perplexity和Google Gemini等AI系统提供有关您网站用途、内容组织和关键资源的结构化信息。主要区别在于,robots.txt控制搜索引擎的爬取和索引,而LLMs.txt专为推理时设计——即当用户明确向AI系统请求关于您内容的信息时。该文件有助于AI系统优先使用权威、最新的来源,减少AI回答中采用过时或重复信息的风险。

LLMs.txt文件结构与格式
llms.txt文件遵循特定的基于markdown的结构,既便于人工阅读,也易于机器解析。该文件必须位于您的域名根目录(如yoursite.com/llms.txt),并包含多个关键组成部分,且顺序精确。理解这种结构对于正确实施和确保AI系统能正确解读您的文件至关重要。
| 元素 | 是否必需 | 格式 | 示例 |
|---|---|---|---|
| H1标题 | 是 | 单个# | # 您的网站名称 |
| 引用摘要 | 是 | >符号 | > 您网站的简要描述 |
| 详细信息 | 否 | 段落/列表 | 有关您网站的更多上下文 |
| H2分区 | 推荐 | ##标题 | ## 文档 |
| 链接列表 | 推荐 | Markdown链接 | - [页面标题](url):描述 |
| 可选部分 | 否 | ## 可选 | 次要/不重要内容 |
H1标题是唯一严格必需的元素,应清晰表明您的项目或组织。随后,引用摘要(使用>符号)提供包含关键信息的简明概览。完成这些必需元素后,您可以添加零个或多个markdown分区,详细介绍您的项目,并在H2标题分隔的部分中列出“文件列表”——带有超链接和可选说明的markdown列表。可选部分有特殊含义:如果LLM需要更短的上下文,可以跳过此处列出的URL,非常适合次要信息。
静态网站的分步实施方法
对于静态网站生成器(如Hugo、Jekyll和Gatsby),实施llms.txt非常简单,因为您可以直接控制文件结构。按照以下步骤为您的静态网站添加llms.txt:
- 创建文件:在项目的
public/或static/文件夹(取决于生成器)中新建名为llms.txt的文件 - 添加内容:按上述markdown结构编写您的
llms.txt内容 - 构建与部署:运行您的站点构建命令(如
hugo、jekyll build、gatsby build)以生成静态文件 - 验证可访问性:部署后,在浏览器中访问
yoursite.com/llms.txt,确认文件可公开访问且以纯文本显示
对于Hugo,将llms.txt文件放入static/目录即可,它会被复制到生成网站的根目录。Jekyll用户可使用_site/目录或在_config.yml中配置。Gatsby用户应将其放在项目根目录下的static/文件夹。务必验证文件已以正确的MIME类型(text/plain)提供,并返回HTTP 200状态码。
在WordPress上实施LLMs.txt
WordPress网站需要不同的方法,因为您不能直接管理文件结构。根据您的主机环境和技术熟练度,有几种可选方案:
文件管理器方法(最简单)
- 访问主机控制面板(cPanel、Plesk等)
- 打开文件管理器
- 进入网站根目录(通常是
public_html) - 新建名为
llms.txt的文件 - 添加内容并保存
FTP/SFTP方法(更高控制)
- 使用FTP客户端(FileZilla、WinSCP)连接服务器
- 进入根目录
- 上传您的
llms.txt文件 - 确认权限设置为644(所有人可读)
WordPress插件法(最便捷)
- 安装如“Custom Files”或“Code Snippets”等插件
- 创建一个名为
llms.txt的新自定义文件 - 通过插件界面添加内容
- 插件会自动处理文件位置和权限
无论选择哪种方式,都要确保文件可通过yoursite.com/llms.txt访问,并在浏览器中以纯文本而非HTML显示。
在Shopify和自定义平台设置LLMs.txt
Shopify商店无法直接访问文件,但仍可通过主题自定义实现llms.txt:
通过主题代码编辑器
- 进入在线商店 → 主题 → 操作 → 编辑代码
- 在Assets文件夹中点击“添加新资产”
- 新建文件:
llms.txt - 添加内容并保存
- 可通过
yourstore.myshopify.com/cdn/shop/t/[id]/assets/llms.txt访问
通过自定义应用(高级)
- 创建自定义Shopify应用程序用于提供该文件
- 配置响应
/llms.txt路径的请求 - 确保有合适的CORS头,便于访问
对于自定义应用和CMS平台,主要有两种方式:
基于路由的方法
- 在应用中创建
/llms.txt路由 - 配置返回纯文本并带有正确MIME类型头
- 示例:在Express.js中创建一个路由,使用
Content-Type: text/plain提供文件
- 在应用中创建
基于文件的方法
- 在public/static目录下放置静态
llms.txt文件 - 配置Web服务器(Nginx、Apache)正确提供该文件
- 设置合适的缓存头(建议24小时)
- 在public/static目录下放置静态
务必确保文件通过HTTPS提供,并且无需身份验证即可公开访问。
内容撰写指导与最佳实践
创建高效的llms.txt内容需要仔细考虑AI系统理解您网站所需的信息。您的内容应清晰、简明、准确,既方便人工阅读,也便于AI系统解析。避免使用营销术语、过于技术化的解释和过时的信息,这些都可能误导语言模型。应重点提供内容细节,并在文件中使用一致格式。
内容撰写建议:
- 使用清晰、简洁的语言,便于AI解析
- 包含最具价值和权威性的内容
- 突出展示能代表您专业能力的页面
- 总链接数保持在10-20个关键页面内
- 定期更新内容,确保信息时效性
- 为每个链接使用描述性标题和简短说明
- 包含联系信息,便于权限或咨询
避免事项:
- 不要使用“彻底改变您业务的革命性平台”这类模糊描述
- 不要包含失效或重定向的URL
- 不要列出已过期或归档内容
- 不要在没有解释的情况下使用过于技术化的术语
- 不要包含需要身份验证或付费墙后的页面
- 不要与
robots.txt指令混淆信息
URL建议:使用简洁、具描述性的URL,如https://example.com/about、https://example.com/products/seo-tool、https://example.com/blog/guide-name。避免带参数的动态URL(如https://example.com/page.php?id=123)或测试站点URL(如https://staging.example.com/content)。
常见实施错误
许多网站在实施llms.txt时会犯一些可以避免的错误,这些错误可能降低其效果,甚至导致AI系统完全忽略该文件。了解这些常见错误,有助于您规避,确保实施成功。
技术错误:
- 文件位置错误:将
llms.txt放在子目录(如/seo/llms.txt)而非根域名。AI系统期望在yoursite.com/llms.txt找到该文件 - MIME类型不正确:将文件作为
text/html而非text/plain提供。请配置服务器返回正确内容类型头 - 需身份验证:将文件放在登录墙或付费墙之后。文件必须公开访问,无需身份验证
- 404错误:文件不存在或返回错误状态码。务必确保HTTP 200响应
内容错误:
- 缺失必需元素:没有H1标题、引用摘要或联系信息
- 描述模糊:用“我们的精彩内容”这类词语代替具体细节,如“具备任务跟踪、团队协作和报告功能的项目管理软件”
- URL失效或过时:链接重定向或指向已删除页面会让AI系统困惑
- 营销语言过多:过度推广内容会削弱文件对AI系统的实用性
维护错误:
- 从不更新:网站发生重大变更后未及时更新
llms.txt - 忘记URL变更:网站重构或页面URL更改时未及时修改链接
- 无版本控制:未备份文件,也未跟踪其历史变更
测试、验证与核查
在认为您的llms.txt实施完成前,必须彻底测试文件的可访问性和格式正确性。先用浏览器直接访问yoursite.com/llms.txt,确认内容以纯文本显示而非HTML,页面应仅展现markdown内容,无任何HTML渲染或样式。
命令行测试可更详细了解服务器响应:
curl -I https://yoursite.com/llms.txt
此命令会显示HTTP头和响应码。请关注:
HTTP/1.1 200 OK(成功响应)Content-Type: text/plain(正确的MIME类型)Content-Length: [大小](文件大小信息)
验证清单:
- 文件可在
yoursite.com/llms.txt访问 ✓ - 返回HTTP 200状态码 ✓
- 以
text/plainMIME类型提供 ✓ - 使用UTF-8字符编码 ✓
- 无需身份验证 ✓
- 文件中所有URL均正常有效 ✓
- 包含且最新的联系信息 ✓
- 内容准确且最新 ✓
初步测试后,应每月检查文件可访问性,验证所有链接URL,每季度审查内容准确性,确保随着网站演变llms.txt持续有效。
维护与持续更新
实施llms.txt并非一次性工作——要随着网站变更定期维护,始终保持其有效。请制定维护计划,确保AI系统始终获取准确的站点信息。
推荐维护周期:
- 每周:检查文件加载情况,监控服务器响应时间
- 每月:验证所有链接URL是否可用,检查内容准确性并根据需要更新联系信息
- 每季度:全面审查内容,添加重要新页面并删除过时部分
触发即时更新的情况包括:
- 新产品或服务上线
- 网站大幅重构或URL更改
- 公司信息变动(联系方式、团队更新)
- 内容策略调整或新增内容类别
- 发布新文档或资源
请保留变更日志,记录每次更新llms.txt的时间、内容和原因。这样便于追踪文件演变,必要时可回滚。建议使用版本控制(如Git)管理您的llms.txt文件,与网站代码同步跟踪所有修改和历史版本。
高级功能与优化
除了基础实施外,llms.txt还具备多项高级功能,可增强AI系统与您内容的互动。多语言支持允许根据语言偏好为AI系统提供不同内容,您可以在单一llms.txt文件中创建语言特定分区,或按路径(如/llms.txt英文,/es/llms.txt西班牙文)维护独立文件。
使用权限与归属指引可用于指定AI系统引用您内容的方式。例如,您可以要求AI系统将内容归属到您的组织或返回原始来源链接。这些指引有助于维护内容归属和控制其在AI回答中的使用方式。动态内容生成对大型、内容频繁变更的网站尤为有用。您可从CMS或数据库自动生成llms.txt,确保始终反映当前内容结构,减少维护负担并保持文件格式一致。

llms-full.txt变体在基础llms.txt之上,包含您文档的全部内容,作为单一markdown文件,成为所有内容的综合入口。一些平台还会为每个页面生成.md markdown版本,使AI系统无需处理复杂HTML即可轻松解析内容。像GitBook这样的工具会自动为已发布文档生成llms.txt和llms-full.txt,省去人工维护,且随着文档演变保持信号一致。通过利用这些高级功能,您可以制定更精细的AI优化策略,超越基础文件实施。