llms.txt 到底有没有用?5.15 亿次 AI 爬虫记录,加上我们自己官网的实测
先把结论放前面,省得你往下翻:到今天为止,llms.txt 不是 AI 搜索的排名因子,也不是被 AI 引用的保证。谁要是跟你说"部署一个 llms.txt,AI 就会来抓你、就会在回答里提你"——这话现在没有数据撑得住。
它成本极低,你想抢在标准前面先放一个,没问题。但别把它当增长杠杆卖,也别当增长杠杆买。这两件事,我们不光看了别人的数据,自己官网 fanhongai.com 上也放了一个 llms.txt——放归放,我们从没在任何地方说过"因为放了它,所以被 AI 提到"。为什么放、为什么又不吹,这篇讲清楚。
这也是我们做 GEO(生成式引擎优化,就是想办法让 AI 在回答里认得你、提到你)这一年里,被老板问得最多的"要不要交这笔钱"之一。
一、"部署 llms.txt = 被 AI 收录"这套话术,为什么听着这么顺
先说它对的地方,不然像抬杠。
有个做工业设备的老板,把一份 GEO 服务报价单转给我们看,问"这个值不值"。报价单里赫然一条:"llms.txt 部署与优化",单列一个价。他说:"听着挺专业的,是不是必须做?"
我特别理解他为什么会被打动。这套逻辑表面上顺得很——你网站上早就有两个文件在管搜索引擎:一个 robots.txt 管着爬虫能进哪儿不能进哪儿,一个 sitemap.xml 帮搜索引擎摸清你有哪些页。那现在 AI 来了,给 AI 也准备一个专属文件、把你最重要的内容整理好喂给它,这想法本身不坏,成本还几乎为零。
llms.txt 就是这么个东西:放在网站根目录的一个纯文本文件,用来告诉大模型"我这站最重要的内容在这几页、大概讲什么"。提出来的初衷是好的。
问题不在初衷。问题在于——AI 的爬虫,到底看不看它。这不是靠讲道理能定的,得看实际发生了什么。
二、5.15 亿次爬虫记录,把这事说破了
有一份分析,我核过它的出处:Limy 的数据科学家 Yahel Oren,2026 年 5 月发布,统计口径写得很清楚——总共 5.15 亿次(精确到 515,382,577 次)AI 爬虫的访问记录,90 天窗口,5 亿多次访问里,直接冲着 /llms.txt 去的只有 408 次。
GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Google-Extended——就是 ChatGPT、Claude、Perplexity、Google 这些你叫得出名字的 AI 背后的爬虫,它们碰 llms.txt 的比例,用原文的话说是"统计上可以忽略"。它们来了,但不看这个文件,直接扒你网页本身(HTML)去了。
你辛辛苦苦准备的那份"喂给 AI 的精选菜单",AI 压根没进这个门。它绕过菜单,直接进后厨自己翻。
Google 那边说得更直接。Gary Illyes(Google 搜索关系团队)在 Google Search Central Live 上明确表态:Google 不支持 llms.txt,也没有支持的计划。Google 搜索团队还把它类比成"keywords 元标签"——那是个搜索引擎十几年前就不看了的老东西。他的同事 John Mueller 在 Reddit 上补了一句(2026 年 6 月,Search Engine Journal 有报道):"这纯属猜测——这文件存在好几年了,可没有一个 AI 系统在用它,那它到底意味着什么?"
翻译成人话:这不是"以后可能有用"的期待,是"标准放在那儿好几年,没人接"的现状。
所以回到那个工业设备老板的报价单——单列一条 llms.txt 收费,本身不是骗局,那文件是真能给你配上的。但你要是因为"配了它就能被 AI 收录"才掏这笔钱,那你买的是一个当前不成立的承诺。
三、那我们自己官网,为什么还放了一个
到这儿你可能觉得,那结论就是"别碰它"。不是。
我们官网 fanhongai.com 上,就放着一个 llms.txt。说这个不是打自己脸,恰恰是我想讲的分寸。
放它,就两个朴素理由:一是成本近乎为零,写一个文件的事,不占预算、不占人力;二是万一哪天某个 AI 真开始读了,我们已经在场——抢个先手,输了也不亏什么。就这么简单,跟"投资回报"没关系,更像顺手把门口的灯泡换了。
但你翻遍我们官网、我们所有对外的东西,找不到一句"翻红AI 因为部署了 llms.txt,所以被 AI 引用了多少次"。因为我们没有这个证据。没证据的话,说出来就是注水,就砸了我们自己天天挂在嘴边那句"真效果,查得到"的招牌。
做它,是因为便宜;不吹它,是因为没证据。这两句话不矛盾,中间那条线,就是我们做 GEO 这行给自己划的诚实红线。一个只花你几分钟的动作,和一个值得写进报价单、当卖点收你钱的"增长杠杆",是两码事。
四、真正让 AI 提到你的,是别的东西
光唱衰不指路,那是耍流氓。llms.txt 帮不上忙,那到底什么帮得上?说说我们自己实测下来、反复验证过的两条。
第一,AI 答题的时候,爱抄它信得过的那几个地方。你去问豆包、问 Perplexity 一个行业问题,它回答里提到的品牌,往往来自它平时抓得最勤、最信任的那些内容平台——不是来自你官网根目录那个没人看的 txt 文件。所以功夫得下在"让你的信息,出现在 AI 信得过的地方,并且被它反复看到"。
第二,你得先让 AI 认得清你是谁。我们见过太多这种情况:一个老板在豆包里搜自己公司,弹出来的全是别人家的,或者干脆把他认成了另一个同名的。这时候你放一百个 llms.txt 也没用——AI 连"你是谁"都没搞清,谈何推荐你。这一步靠的是让你官网、以及好几个别的地方,说的都是同一个你,口径对得上、认得准。
说白了,让 AI 提到你,从来不是"加一个文件"的事,是"AI 认得清你 + 好几个地方都在说同一个你"这两件慢功夫。这套东西我们后来自己总结成了几步,这里不展开——但没有一步是"放个 llms.txt 就见效"。
可能有人会说:万一哪天 AI 真开始读 llms.txt 了呢?这担心有道理,我们也是这么想的——所以我们也放了嘛,成本低,赌就赌了。但"可能有一天有用"和"现在就是能带来增长的杠杆",是两件必须分开的事。前者花你几分钟,后者花你几千上万块,还赌的是一个尚未发生的未来。你可以为前者花那几分钟,但别为后者买单。
回到开头
llms.txt 现在不是 AI 搜索的排名因子,也不是被 AI 引用的保证——5.15 亿次爬虫记录和 Google 自己的表态,都指着同一个方向。
放它,因为便宜;别为它买单,因为没证据。这事我们自己在官网上就是这么做的,也这么建议每一个来问的老板。真到了该把预算花在哪儿的时候,花在"让 AI 认得你、让信得过的平台反复提到你"上——那才是现在真能动的地方。
—— 翻红AI | 我们自己先跑通,再跟你说实话
了解翻红GEO:让 AI 帮你翻红 →