有一台平板电脑, 上面打开着飞行模式这种状态, 竟然能流畅地完成很多多模态的任务, 而这些任务的表现甚至超过了GPT-4V这个级别的水平。在设备本地运行智能功能的这种技术突破, 距离实现的目标非常近, 比大多数人们事先所想象的情况要更近得多。
实机录屏验证离线多模态能力
时间来到了11月9日这一天, 面壁智能这家公司把它开发的MiniCPM-V 4.7-35B-A3B这样一个东西公开了, 而且是在iPad上面打开了那个飞行模式之后进行的实机录屏展示。
在这个模型处于完全离线的状态之下, 它去完成了对于图像的理解工作以及多步推理的操作过程, 整个录屏的画面显示出来是非常流畅的, 并没有出现什么明显的卡顿现象。就通过这一情况可以看出, 端侧多模态这种能力的发展, 到这里就已经跨越过那些关键节点了。
该模型总共有350亿个参数, 激活使用的参数仅为30亿, 并且采用了MoE架构。在内存和功耗方面都受到严格限制的消费级设备上面, 其表现已经接近过去需要云端GPU集群才能达到到的那种水平。
能力密度成为端侧核心指标
姚远提出, 端侧智能的关键点不在模型的绝对规模有多大的问题, 而是在于能力密度这一指标, 具体指的是用更少的内存、算力和功耗来换取更强的推理效果, 这一个指标直接决定了模型能不能部署到消费级的设备上去。
当前主流端侧设备的内存大小主要集中在8GB至16GB的范围内, 功耗预算是非常有限的。所以在严格的硬约束条件下, 怎么去让模型同时具备看清楚、想清楚、学会这三项能力, 这就是2026年端侧AI领域最核心的工程命题。
三驾马车协同驱动发展
姚远把端侧智能的动力来源总结成了三个部分, 分别是模型提供智能、硬件提供算力和基础设施负责匹配调度。新一代的芯片现在已经原生支持Transformer自注意力计算了, 所以端侧推理的空间被进一步打开了。
他判断, 短期之内某一个环节仍然会是瓶颈问题。但是随着这三者的动态迭代, 限制的障碍会逐步被突破。端侧智能将在动态的过程之中趋于完全贴合。它的上限在持续抬升。
专家预加载与防遗忘微调
从推理这个层面来讲, 因为LES这项技术允许模型在进行第L层计算的时候, 提前去读取第L+1层所需要的专家权重, 所以数据得读取这件事儿和实际得计算过程是可以并行进行的, 这样一来, 在不更改专家选择逻辑、也不会损失精度的前提下, MoE在端侧的吞吐能力就能得到非常明显的提升。
就微调层面的情况来看, 新方案采取了一个步骤, 也就是把模型针对那些通用问题所给出的非常高质量的回答混入到新任务的里面去的数据之中, 然后一起进行联合训练, 并且在四个不同的开源模型上面对该方案进行了验证, 结果是出现了灾难性遗忘现象大幅减少的情况, 具体的减少幅度达到了百分之八十至百分之九十九这样一个区间。
十留云端九十转端侧
姚远的判断是这样的, 他觉得那些对智能的要求非常之高而且没有上限的需求呢, 大概占到了百分之十, 这些需求将会继续留在云端去运行, 而对于那些有明确上限的日常需求, 也就是占了百分之九十这样的大多数, 是会慢慢地往端侧上面进行迁移的, 让它们在那里去执行操作了, 所以说呢端到云端的这种分工情况会变得越来越清晰起来。
从大型计算机到个人计算机, 再到移动智能设备, 每一次平台的变迁, 其实都是因为技术的提供能力, 和用户的实际需求, 两者发生了相遇和碰撞。现在这个前端侧智能的状态, 有点像那个只有二百五十六千字节内存的个人电脑所处的时代, 虽然那种通用的智能距离我们还非常遥远, 但是这个方向是确定的。
开源普惠让百元手机用上强模型
面壁智能采取了双线策略, 一方面是向上适配新的硬件来运行旗舰模型, 另一方面是通过开源的方式让普通的设备也能运行足够强的模型, 开发者在下载之后于相同的设备上面就可以复现官方的演示效果。
现在的人直接来看, 开源的那个价值主要就在于它能够使得模型进入更多的那种设备里面去, 并且被更多的人所使用, 从而发现那些在实验室环境中没有办法看得到的真实需求。在未来的发展过程中, 从配置环境到调用能力, 也许只需要说一句自然语言的指令, 就足以把这件事情给完成了。
如果明年你的手机也可以把那个有350亿参数的模型在线下完全运行起来的话, 你最希望让它来帮你做什么样的事情呢, 欢迎到评论区里面去聊天说一下看这个事情, 通过点赞和分享的行为来让更多的人们都可以看到端侧人工智能方面的最新进展内容。
