AI引用能不能被优化?一场受控实验给出的答案,比行业想象得保守
发布时间:2026-09-23 人气:74次
关于 AI 引用的经验之谈,过去两年积累得很快:位置靠前更容易被引、结构清晰更容易被引、加上结构化数据更容易被引。这些说法大多来自观察——统计一批已经被引用的页面,回头看它们有什么共同点。观察能发现相关,但很难证明因果。而我们恰恰生活在一个所有排名系统都会把“质量”编码进“位置”的时代。
2026 年 9 月 14 日,两位研究者把这个问题放进了受控条件里,发布了一份预印本论文。它的结论不是“这些技巧没用”,而是一个更克制的判断:关于引用的大多数单次测量,信噪比低到不足以支撑结论。

论文作者在文中写下了一句话,可以作为整篇研究的态度注脚——“这是一个关于归因敏感性的警告,而不是一种优化技巧。”
一、一场少见的实验:把问题放回可控条件里
这项研究的设计,值得稍微说细一点,因为它和我们在行业里常见的“我们统计了 X 万个页面”完全不同。
研究者让一个带搜索能力的商业智能体(搜索由 Exa 提供)回答 130 个常见问题,并记录下 129 个问题中每一条消息与每一次搜索返回的结果。注意,这里用的是离线回放已保存的对话,而不是去实时抓取或修改任何网页——这一点很关键:它意味着实验没有对真实的互联网做任何动作,只是把同一批“搜索结果”用不同的方式重新喂给模型,看它的选择会不会变。
接下来是最有技术含量的一步。研究者从这批结果里,筛出“出现在同一次搜索中、并且都被判定为支持同一个事实”的页面配对——也就是两个在内容价值上大体可比的页面。最终得到 113 对,经人工盲测复核,确认其中 103 对是真实匹配。
然后用四种组合去回放:位置在上或在下,呈现为普通段落或改写成带标题与列表/表格的形式。四个条件交叉,就能把“位置的作用”和“格式的作用”分开看。
这个设计思路本身,就已经比行业里绝大多数“我们观察到了什么”式的结论更靠近因果了一些。
二、第一个结论:那个看上去很大的位置优势,很可能是伪相关
如果只看原始数据,结论会非常抓人:位于初始位置的页面,被引用比例为 85.1%;排在第五位的页面是 42.8%。相差 42.3 个百分点。
这是一个足以让任何一家企业立刻调整内容策略的数字。但研究者没有停在这里,而是做了一件在行业报告里极少见到的事:把页面在配对中的顺序人为交换,再看结果。
结果几乎推翻了前面的结论。把同一页面在配对中移高,被引用概率只提高了 7.9 个百分点,而且在多重检验校正之后,不再具有统计显著性。另一组仅交换顺序的 56 对测试,估算出的效应是 0.0 个百分点(95% 置信区间 −5.4 至 +5.4)。
0.0 个百分点,意味着在控制住其他条件之后,“位置”这个变量本身几乎没有独立作用。
为什么会这样?原因并不神秘,反而非常符合常识:搜索提供商通常会把更相关的页面排在前面。 所以当你统计“排在前面的页面被引用了多少次”时,你测到的不是位置的价值,而是位置的成因——页面的质量、相关性、内容覆盖度,全部被打包进了那个顺序里。你观察到的 42.3 个百分点,是“位置”和“页面质量”混在一起的合计效果,其中真正属于位置的那一份,在受控交换后消失殆尽。
这就是典型的混杂。而在 AI 可见度这个领域,混杂几乎无法避免——因为所有提供排序的系统,都是被设计成“把好的放前面”的。只要排序机制存在,位置就永远不会是一个干净的自变量。
论文因此指出:原始位置数据的平均值并不可靠。
这个提醒的适用范围远不止这篇论文。凡是你看到“我们统计发现排在前面的更容易被引用”这样的结论,都应该立刻问一句:排在前面的那些,是不是本来就更相关?如果是,那这个统计什么都没证明。
三、结构化改写:收益是再分配,不是增收
第二个结论同样反直觉,而且更实用,因为它直接关系到很多企业的内容排期。
研究者用标题和列表改写了页面。结果是:被改写的页面,平均每条答案多获得了 0.50 个引用标记(95% 置信区间 0.20 至 0.84)。看起来是正向的。
但关键在于另一半数据:每条答案的引用总数并没有上升,另一个未改写页面的数量也几乎没有变化。
把这两件事放在一起看,含义就变了。改写并没有让这场问答“引用得更多”,而是让引用从别处转移到了被改写的那一页。论文作者用了“引用额度向被改写页面集中”来描述它。
这是一个非常重要的区分。对单个企业来说,把自家页面改写得更易读、结构更清晰,确实可能让自己在一段多来源的答案里占更大的份额——这是实实在在的收益。但如果把这个动作理解成“能让 AI 更多地引用内容”,就错了:整场问答的引用容量并没有增加。
而这个发现还有一层隐含推论:在多来源答案里,引用额度是有限资源。
一段 AI 生成的答案,能挂的来源数量是有上限的。这意味着引用本质上是一场份额分配,而不是一次总量增长。你多拿一份,别人就少拿一份。这和企业过去十年熟悉的 SEO 逻辑有根本区别——搜索排名里,第一名和第三名之间确实是位置差异;但在 AI 答案的引用里,你争取的是在同一个答案里被一起提到,或者把别人挤出去。
这也意味着,“我的页面被引用了吗”这个问法本身就不完整。更准确的问法是:在被引用的那些来源里,我占几成。
研究者事先规划的主要测试——页面是否会被引用——结果是概率提高 4.5 个百分点(95% 置信区间 −1.4 至 +10.4),并不具有决定性。论文对此的说明非常诚实:这项研究只能可靠检测约 8.5 个百分点或更大的效应。
这句话应该被更多做 AI 可见度测量的人记住。它等于公开承认了方法的可检测下限:如果你观察到某个优化的效果是两三个百分点,以当前方法根本分不清它和随机波动。而行业里大量“优化后提升了若干个百分点”的案例报告,恰恰落在测不出来的区间里。
四、同一个问题问两遍,答案可能不一样
第三个结论,是这三个里对企业最不友好、但最需要接受的一个。
研究者用相同的输入,重新跑了一遍 120 条回答。结果是:目标页面“被引用或不被引用”的决定,在 15% 的情况下发生了变化——大约七次里有一次会翻转。
更进一步,研究者估算,单次运行效应中约 45% 的变异来自模型随机性。
四成以上的波动来自随机性,意味着什么?意味着如果你今天做一次测试,发现页面被引用了,明天再做一次发现没有被引用,这个差异可能完全不包含任何关于你内容质量的信息。它只是模型在采样。
这一点在旁证里也有呼应。SparkToro 在 1 月报告过一个数字:反复给出同一个提示词时,ChatGPT 与 Google AI Overviews 各自产生相同品牌列表的概率都不到 1%。Ahrefs 在 5 月报告:被 AI 引用的页面包含 JSON-LD 结构化数据的可能性约为 3 倍,但添加结构化数据并没有明显增加引用——这与本篇实验“改写只做再分配”的结论方向一致:相关性和因果性在这里很容易被混淆。
把这三条放在一起,可以得到一个统一的判断:AI 引用不是一个状态,而是一个分布。
“我的页面被 AI 引用了吗”这个问题,正确的答案形式不是“是”或“否”,而是“在 N 次测试中,被引用了多少次”。任何基于单次测试的结论,都只是在抽取这个分布里的一个样本。
五、为什么这件事对企业比对研究者更要紧
到这里,可能会有人认为这是学术层面的谨慎,和企业的实际决策关系不大。恰恰相反。研究者谨慎是因为他们要守学术规范;企业需要这份谨慎,是因为错误的结论会直接变成预算。
设想两种场景。
第一种,某企业做了一次测试,发现自己被引用了,于是判断当前内容策略有效,维持原状。半年后业绩下滑,才发现当初那次“被引用”只是一次采样运气。这中间损失的是半年时间和一整轮预算。
第二种,某企业做了一次测试,发现没有被引用,于是推翻原有方向、转向新的内容路线。而真相是,它原来的方向本来是有效的,只是那次没抽中。这中间损失的是本来正确的方法。
这两种错误的成本都不低,而且都无法通过“更努力”来规避——它们只能通过改变测量方法来规避。
更麻烦的是,这两种错误在直觉上都不容易被发现。因为人的认知天然倾向于把观察到的结果当成事实,而不是样本。尤其在 AI 这个场景里,从提问到得到答案只需要几十秒,太容易让人产生“我验证过了”的感觉。
六、一份可以落地的三条测试规则
基于这项研究的结论,可以把“怎么测引用”这件事收敛成三条可执行的规则。
第一,任何引用测试都要多次取样,而不是一次定论。
既然相同输入下约有七分之一的引用决策会翻转,那么单次测试的信息量就是不够的。实操上,同一条内容、同一个问题,至少跑 5 到 10 次,看的是命中率而不是某一次的结果。这不是为了让数字好看,而是因为分布里的单点不承载判断。
第二,想证明位置有用,必须做交换对照。
论文给出的方法是可以迁移的:不要只统计“排在前面的被引用了多少”,而是找两个内容价值大体相当的页面,交换它们在结果中的位置,看引用是否跟着移动。如果不动,说明位置没有独立作用;如果动了,才轮到讨论“怎么把位置做好”。这个动作的门槛不高,但能挡掉大量伪结论。
第三,先确认你要证明的效应有多大。
如果一项优化的预期效果只有两三个百分点,而以现有方法只能可靠检测 8.5 个百分点以上的效应,那么这个优化的效果在测量上是不可见的。这不代表它没效果,而是说:不要用一个测不出来的方法去证明一个测不出来的效果,然后据此加预算。
这三条规则有一个共同点:它们都不是关于“怎么让 AI 引用我”,而是关于“怎么知道自己是否让 AI 引用了我”。前一个问题目前没有可靠答案,后一个问题有。而在这件事上,知道自己不知道什么,本身就是一种能力。
七、保守,并不等于无所作为
需要说明的是,这篇论文的结论是“归因敏感”,而不是“优化无效”。它没有说结构清晰的内容没有意义,也没有说排名位置完全不重要。它说的是:目前行业用来支撑这些结论的证据,强度不够。
对企业来说,这意味着两件事可以同时成立。
一方面,那些方向明确、成本不高的基础工作仍然值得做——把页面写清楚、把事实陈述准确、让机器能读到并正确归属。它们在逻辑上是站得住的,而且即便收益无法被精确测量,风险也是可控的:内容更清楚,对人同样更友好。
另一方面,那些以“能被测量”为卖点、以单次测试报告为依据的优化服务与工具,值得更仔细地追问一句:你的结论是基于一次测试,还是基于一个分布? 这一个问题,往往就能筛掉相当一部分看起来专业的报告。
在 AI 引用这个领域,目前最稀缺的不是技巧,而是对技巧效果的可信验证。谁能先把验证做扎实,谁就能在大多数同行还在凭观察行动的时候,少走几轮弯路。
常见问题
问:这项研究是不是说明加结构化数据没用?
不能这样推广。研究测得的是“用标题和列表改写后,引用额度向该页面集中,但总量不增加”,并且作者自述比较的是两次改写,并未专门隔离格式差异。Ahrefs 的观察是“被引用的页面更可能含结构化数据”,但添加结构化数据并未明显增加引用——这两个结果方向一致,都指向“相关不等于因果”,而不是指向“结构化数据无效”。
问:文中说的“位置”是不是 Google 排名?
不是。这里的“位置”仅指某一次搜索中,搜索提供商(Exa)返回的五个结果的先后顺序,与页面在 Google 搜索结果中的排名不是同一件事,两者不应混用。
问:那我们要不要放弃做引用测试?
不必放弃,但要改变做法。单次测试不承载判断,多次取样后的命中率才有意义。另外要注意,本研究的结论基础是一份尚未经同行评审的预印本,结论的方向可以参考,具体数值不宜当作定论。
问:如果引用额度是有限的,会不会变成零和博弈?
在单段答案内,引用来源数量确实存在上限,因此“我多占一份”在那一时刻意味着别人少一份。但这不等于整体是零和的——企业可以争取进入更多不同的问题场景,从而参与更多场分配。真正需要放弃的是“引用总量会因优化而增长”这个假设。
问:为什么这类测试在 AI 上特别难做?
因为被测对象本身在流动:模型存在随机性、检索来源会变化、同一个问题的答案会随上下文改变。传统 SEO 面对的是一个相对稳定的索引,而 AI 搜索面对的是每次调用都可能不同的现场。这也是为什么行业至今仍缺乏稳定的测量共识。
关于本文
在为企业设计 AI 可见度监测方案时,重庆传粉科技通常会把“测了多少次”和“测到了什么”放在同等重要的位置——原因正是本文讨论的这一点:AI 引用的单次可重复性有限,测量设计本身就需要先解决信噪比问题。测量的价值不在于给出一个漂亮数字,而在于让每一次判断都有可复现的依据。
数据来源与边界声明
本文引用的外部信息及出处如下:
• 关于引用测试的受控实验(130 个问题、129 个问题记录、113 对页面、103 对经盲测确认、四种回放组合、原始位置 85.1% 对 42.8%、受控交换后 7.9 个百分点与 0.0 个百分点、结构化改写 +0.50 个引用标记与引用总量未上升、主要测试 +4.5 个百分点、可检测下限约 8.5 个百分点、重测 15% 翻转与约 45% 变异来自随机性),来自 Sriram Selvam 与 Anneswa Ghosh 于 2026 年 9 月 14 日发布在 arXiv 的预印本论文。该论文尚未经同行评审,本文转述其结论,不承担对其方法论的背书。
• “反复给出同一提示词时,ChatGPT 与 Google AI Overviews 产生相同品牌列表的概率均不到 1%”,来自 SparkToro 于 2026 年 1 月发布的报告。
• “被 AI 引用的页面包含 JSON-LD 结构化数据的可能性约为 3 倍,但添加结构化数据并未明显增加引用”,来自 Ahrefs 于 2026 年 5 月发布的报告。
• “这是一个关于归因敏感性的警告,而不是一种优化技巧”为论文原文表述的转译。
以上信息均为外部公开材料,非传粉科技原创,未经独立核验,不构成对任何平台算法行为的确定性结论,亦不构成效果承诺。文中对“引用额度是有限资源”“AI 引用是一个分布而非状态”的表述,属本文基于上述材料作出的推论,不代表原研究方的观点。


客服1 