如何在网站或文档中使用llms.txt

什么是llms.txt吗？

llms.txt 文件是一个 建议的标准，帮助 AI 模型更好地理解并交互您的网站内容。与 robots.txt 或 sitemap.xml 不同的是，它专门设计用于通过提供结构化内容概览和导航路径来增强 AI 交互。

目的和好处有哪些

增强的AI理解能力：提供网站内容的结构化概要，帮助AI系统更快更准确地理解您的网站

高效的信息检索：使AI系统能够高效地定位和检索相关信息

改进的上下文理解：通过提供内容之间的上下文和关联减少误解

更好的用户体验：当用户与AI互动时，带来更准确和有上下文意识的响应

克服上下文限制：通过提供精简的内容访问，帮助AI系统克服上下文窗口的限制

llms.txt 和 robots.txt 以及 sitemap.xml 有哪些不同？

尽管这些文件看起来相似，但它们各自有不同的用途：

robots.txt ：重点在于控制搜索引擎爬虫访问，但无助于内容理解

sitemap.xml ：列出了所有可索引页面，但没有提供上下文或帮助处理内容

llms.txt ：专门应对AI相关挑战，提供优化的AI处理格式的内容结构

llms.txt 规格说明

这里定义了两个不同的文件：

这两个文件分别是：

/llms.txt : 一个简化的文档导航，帮助AI系统快速了解网站结构

/llms-full.txt : 一个包含所有文档的完整文件

这两个文件都用了Markdown格式，这种格式自带自然的层级关系，让AI模型解析起来很方便。

入门指南

1. 构建文件结构

在 llms.txt 文件中，使用了具有特定结构的 Markdown 格式：

# 你的网站/项目名称

> 你的网站或项目的简要描述

## 文档

- [入门指南](https://dev.to/docs/getting-started) - 入门指南

- [API 参考](https://dev.to/docs/api) - 完整的 API 文档

- [教程](https://dev.to/docs/tutorials) - 详细教程

## 示例

- [基本实现](https://dev.to/examples/basic) - 简易集成示例

- [高级功能](https://dev.to/examples/advanced) - 如何使用高级功能

## 可选资源

- [社区论坛](https://dev.to/community) - 寻求其他用户帮助

- [变更日志](https://dev.to/changelog) - 查看更新日志

2., 把文件放到正确的地方

将文件保存为llms.txt，并将其存放在你网站的根目录下，确保可以通过yourwebsite.com/llms.txt访问它。如果你创建了一个完整版本，将其保存为llms-full.txt。

3. 添加 HTTP 头信息(可选但建议使用)

添加以下的 HTTP 头部到你的服务器的配置中。

X-Robots-Tag: llms-txt

4. 验证实施

试试你的实现：

访问 yourwebsite.com/llms.txt 页面

检查 HTTP 头信息

验证文件格式是否正确

使用 llms.txt 文件在 AI 系统中交互

目前，大多数AI模型并不会自动找到和整理llms.txt文件，如果你想让你的llms.txt文件与AI系统配合使用，

直接链接：提供一个链接给AI，指向你的llms.txt文件

直接复制：将llms.txt文件的内容直接复制粘贴到你的提示中

文件上传：如果该功能可用，请使用AI工具的文件上传功能

随着采用的增加，越来越多的AI系统很可能会开始自动查找llms.txt文件。

llms.txt 中心网站 正在迅速成为一个流行的开源中心，追踪所有已实施 llms.txt 和 llms-full.txt 标准的网站。定期更新的，你可以通过这个全面的目录查看所有符合这些标准的网站列表。

发现各行各业和各种平台上真实世界的实现

研究领先组织如何构建它们的 llms.txt 文件

获取与标准相关的最新新闻和动态

查找开源工具、插件和资源，以便在自己的网站上实现 llms.txt 功能

通过探索这个目录，开发人员和内容创作者可以了解实现的方法，掌握最佳实践，并与遵循 llms.txt 标准优化内容以适应 AI 系统的网站社区交流。

生成工具类

这里有一些工具可以帮到你创建llms.txt文件：

llmstxt by dotenv，一个开源的命令行生成工具，根据网站的 sitemap.xml 文件生成 llms.txt 文件。

llmstxt by Firecrawl，使用 Firecrawl 生成 llms.txt 文件。

Mintlify，一个文档平台，支持生成 llms.txt 文件

英文原版文章：https://llmstxthub.com/guides/getting-started-llms-txt