一个关于空房间的实验在社交平台那里引发了数以百万计的人来围观。用户向人工智能输入了一句简单的指令之后, 短短十几秒钟之内, 原本空空荡荡的房间就被个人聊天记录里面的隐私碎片给塞满了。争议就这么来了, 你以为你在闲聊, 人工智能却是在做档案。

01.空房间实验从哪来

最近, 有一个提示词, 它的大致意思就是让你用你自己所熟知的那些有关你自己的信息去把整个房间都给填满, 然后这段文字就在全球范围内的各个社交平台上疯传开来。

这些用户就是把这条指令输入到了GPT里面, 然后系统就在十几秒的这个时间跨度之内产生了一个结果, 这个结果是一个摆满了许多个人物品的虚拟房间的图像, 画面的清晰度或者是那种呈现的方式真的是直观到了一个程度让人连头皮都开始发麻。

这次参与测试的人数很多, 人群里包括了那些普通的用户, 还有科技博主。分析师Patrick Moorhead也参与了进来。他对多个AI模型做了横向评测和测试。最后得出了一个结论, 这个结论说由GPT生成的房间是最接近用户真实画像的。至于Claude, 表现是最弱的。

邢台市重点项目建设促进中心

02.记忆功能怎么运作

GPT的记忆系统里有两个部分, 第一个叫“保存的记忆”, 它是用来存用户自己告诉它的名字、喜欢什么还有想达成什么的, 第二个呢叫作“参考聊天历史”, 这个是靠着把以前说过的很多对话都翻一遍, 从里头 automatically 自动地捞出来一些前后关联的信息, 好让后面接着用。

今年6月这一个时间点里面, OpenAI这个地方把它那个叫作Dreaming的机制给上线了, 然后呢这个系统就会在后台那种自动的状态下, 去对聊天记录进行一个复盘的操作, 并且同时也刷新一下用户画像的情况, 至于内部那个测试所显示出来的结果而言, 那就是那个机制它确实就显著提升了记忆准确率这一项指标, 另外一面, 就是后台的那个算力成本方面, 它是降到了原来费用的五分之一那么低的一个水平的。

03.96%的记忆是AI自己存的

来自马克斯·普朗克研究所和波鸿鲁尔大学等机构的科学家们, 他们得到了八百位在使用GPT服务的人所提供的数据, 这些数据是基于欧盟GDPR的规定而导出并形成的完整记录, 研究人员对这些内容进行了拆解与分析, 具体包括有一千零五十八段对话内容在内, 还有超过两万余次的交互过程在里面。

研究团队顺着那行提示着“模型上下文已更新”的后台日志, 往回进行追查。他们从那六百五十位用户的数据里面, 识别出了两千零五十条记忆内容。在这之中只有八十四条, 对应到用户曾经发出过类似于说要记住或者说是忘掉的这些主动指令, 占比还不足于百分之一小四的比例。

04.隐私数据触目惊心

在这2050条记忆里, 有52%的部分是跟用户在心理侧写相关的事儿的, 这些事儿包括了用户的愿望、意图、情绪呀还有信念, 研究者当时是把心理学里的心智理论这个框架借来用了一下, 然后根据它进行了分类。

百分之二十八的记忆数据涉及被欧盟制定的通用数据保护条例认定为属于个人隐私的内容, 有百分之四十一的数据里包含了具体的名字, 还有百分之七的信息触及了个人的健康状况、宗教信仰或者是政治倾向。

从单个用户的角度来看, 有百分之九十一的用户被存储了个人数据, 同时有百分之五十四的用户被记录了属于高敏感级别隐私信息。

05.删对话不等于删记忆

在今年9月这个时间点, arXiv平台上面发布了一篇文章, 这篇文章专门去分析了1057位用户在近18万段聊天记录里面的情况, 分析结果里面清楚地发现, 有21.31%比例的对话内容是涉及个人健康问题的, 在这些涉及个人健康问题的用户之间, 其中超过95%的用户画像数据是由AI在用户完全没有察觉到的时候自动写进去的。

研究者们使用了诸如Gemma这样, 还有GPT-OSS等等的这些开源模型, 对于记忆提取的流程进行了复现, 他们在模拟全量提取的场景之下发现, 敏感数据所占的比例从原本的28％变成了31％至35％, 并且心理画像所占的比例也从最初的52％上升到了55％至59％。

06.用户能做什么

OpenAI曾经公开承诺过说它是不会主动去保存那种敏感信息的, 可是后来的研究数据却显示情况跟这个说法完全对不上号, 存在着非常明显的矛盾之处, 用户如果想要处理这件事的话, 是可以在GPT的设置选项里面手动地把记忆给清除掉, 或者是选择关闭那个所谓的参考聊天历史的功能, 但是有一点需要注意, 就是那些已经被提炼或者概括好的记忆片段, 是无法通过简单地删除整个对话记录的方式彻底把它给移除干净的。

这场实验把 AI 产品在这两个方面的深层矛盾给表现出来了, 一个是这东西用起来方不方便, 另一个是隐私的这条界线到底在哪里。当那些聊天的内容变成了能够被搜索到的所谓的算法自画像的时候, 用户想要真正掌握自己数据控制权的那个机会, 它正在变得越来越窄了。

你有没有看过你自己和人工智能聊天的那些记录呢? 如果你愿意的话, 欢迎在评论的地方和大家说说你看到的东西是什么样的。如果你觉得这些东西对你来说挺有用的, 希望你能够点个赞，然后把这条信息转给你还在跟那个说话的人工智能开心聊天的一起的朋友。