当一款手环, 这个手环压根就没有被生产过, 它却被写进了当天正在发布的文章里面, 某个人工智能平台在两个小时之内, 就把这个消息推荐给了用户, 并且用户可以完全没办法去辨别它到底是不是真的。
最新的关于多个智能体的研究还更进一步地表明啊, 虚假的信念, 在人工智能群体的互动过程之中, 是会自我强化, 还会进行扩散的, 哪怕假消息是造假者自己推出的那也没关系, 错误的判断仍然能够持续地影响之后的那些推荐内容以及搜索结果的表现方式。
虚构商品骗过推荐系统
在3·15这个案例里, 一款根本不存在的叫作Nano Guava的产品被写进了当天发布的那篇文章里面。某个人工智能平台紧跟着就把这个产品当作了商品推荐的依据。它直接误导了终端用户, 而这些用户是几乎没办法察觉到自己的信息来源早已经被人为伪造过的。
这种情况暴露了一个现实的风险, 这个风险就是信息源被人人为地进行了操纵, 只要我们去做这样一件动作, 就是把虚构的商品写进那些可以被搜索到的文章里去, 那么人工智能就会有一种可能性, 它会把这个当作是真实的信息给用户进行推荐, 因为在这整个操作链条里面, 不存在任何的一个环节能够自动去核实这个商品到底是不是真实存在的。
多智能体中错误信念如何扩散
在研究的情境里, 造假的人群首先会去发布那些支持自己虚假说法的文章和消息。接着, 普通的智能体在进行搜索活动。这些普通的智能体会和自己的邻居们进行交流。
在与邻居交流的过程中, 他们会接受上述的那些虚假说法。随后, 他们把这些虚假的说法写入到自己的个人记忆里。或者, 他们会基于这些信息去发布新的、可供他人搜索到的文章。
当一个智能体做出了错误的判断时, 这种错误会通过消息、记忆和可以搜索的文章这几种途径, 迅速地在各个地方传播开去。很快, 就会使得大量的智能体都一同相信了这个错误的说法。并且, 它们还会在持续进行互动的过程当中, 不断地把这一错误信息, 继续传递给其他节点。
实验设计与核心数据
该研究一共构建了540条虚假陈述。这540条虚假陈述覆盖了8个领域。这些内容是分为4个合理性层级的。研究人员在10个模型中进行了系统评估。同时, 也在包括全连接的结构、二叉树的结构、以及双社区的三种网络结构中完成了系统评估。
在基-line直接问答的场景之下, 接受率的数值表现仅仅是处于从百分之0.0到9.1%这样的区间里面。但是, 当交互进行到了十轮之后, 末轮的接受率就发生了非常巨大的提升, 上升幅度达到了从33.7%至96.0%这样一个范围。
在这一系列测试数据当中, 总共涉及的十款受测模型, 全部都展现出了部分错误接受的这样一种现象存在。整个测试过程里面, 没有出现任何一款模型能够做到完全抵御此类影响的效果出来。
小模型造假者影响更大模型
在这个混合实验的设置当中, 造假者这一角色是固定不变了的, 一直使用的是Qwen3-8B这个模型, 对于普通智能体这个部分呢, 是逐一进行替换的, 被替换成了五个不同的模型, 最后得出的结果是九款目标模型都全部出现了错误接受的情况了, 这些出现错误的情况既涵盖了较大规模的开源模型也涵盖了闭源模型。
风险由此扩展到跨模型场景: 一个规模较小的造假智能体, 就足以通过消息和共享文章影响更大规模模型驱动的邻居, 与3·15案例中GEO工具影响多个AI平台的现象一致。
造假者退出后错误仍持久
在Qwen3-8B和Llama-3.1-8B进行的退出实验里, 造假者在第五轮选择了停止活动。不过, 之前发表的文章被完整地保留住了, 没有被清除掉。普通智能体的私人记忆, 也被原封不动地保存了下来, 同样没有进行清理工作。
在随后进行的推荐实验工作里, 那些实际并不存在的对象居然进入到了前3名的推荐名单当中, 这个出现的比重达到了13.1%, 最高甚至可以达到75.8%。这一现象充分表明, 在互动过程中所形成的一些错误信念, 会持续地去影响面向最终用户时所输出的推荐结果。
用户与系统该如何应对
研究者给用户的建议是, 在调用智能体的时候, 必须明确要求去追溯一下那个原始出处, 同时还要检查一下多个来源之间是不是相互独立的, 如果证据不够的话, 就老老实实地告诉对方这里是不确定的, 但是实验结果显示, 仅仅是依赖提示词所带来的改善程度是非常有限的。
更根本的做法是把事情做实在点, 去推进对批量伪造内容的识别技术, 建立起来源追踪的机制, 并且要让纠错的信息能够及时传递到那些已经被污染的智能体那里去, 从而防止那些虚构出来的内容在共享信息的环境里一直扩散下去, 进而波及到多个系统还有这些系统的用户。
当你在运用人工智能助手的时候你会主动要求那个系统去检查一下资料的出处吗? 欢迎大家在评论区域里面来发表一下你的实际操作情况, 如果你认为这个建议是有用的就去点赞并且转发给其他人看一看。
