英伟达推AI智能体：从聊天到自主执行，企业级市场新布局

01智能体从问答走向业务执行

英伟达应用研究副总裁Jonathan Cohen在首尔那里表示, 在过去的阶段当中大语言模型的主体功能是用来回答人们提出的问题, 可是到了新一代的AI系统这里情况发生了变化, 这种变化表现为它们正在转向于自主地去执行那些涉及多个步骤的任务流程, 关于智能体这一类存在形式它们具备理解用户潜在需求的能力, 接下来还要依据任务的难易程度来挑选合适的模型以及工具组合, 并且能够调用企业内部的各类数据资源, 这种覆盖范围具体涉及到的实际业务场景包括但不限于软件开发方面的环节, 还有对系统出现的故障进行深度分析的情况, 甚至包括处理制造现场所发现的问题等这些方面。

这种情况跟那种老式的聊天机器人, 它俩之间的差别是大得不能再大了, 因为智能体这种东西, 它的自主操作的权限范围要比前者宽广得多, 它不仅能够自己独立地做出判断, 还能够去调度那些包含很多步骤的工作流程, 而且它的应用场景已经从简单的代码生成方面延伸到了系统运维的方方面面里去, 这样一来它就真正地嵌入了企业的核心业务链条里面去, 而不是说只停留在提供信息回答和查询的那种浅层层面上。

02Switchyard调度技术砍成本

大语言模型这块, 虽然大家的能力确实是特别的突出, 但是一方面计算的开销一直都在居高不下, 另一方面输出的结果呢, 也在一定程度上还带着有点不确定性。

邢台市重点项目建设促进中心

针对上面这种情况, 英伟达那边就推出了叫做 Switchyard 的这种模型调度技术, 它的意思就是会根据具体的任务难度还有预算的情况去自动匹配那个最合适的模型，遇到一些简单的任务就把这些任务交给那些低成本地去处理, 等到碰到复杂一点的任务时才会去调用那些高性能的模型, 说白了就是用这种机制从根上避免了资源的浪费。

根据内部测试所显示的数据情况, 在维持百分之八十的任务成功率这一既定标准前提条件之下, 若是选择采纳Switchyard这一方案的话, 那么完全有能力使得模型的使用成本大幅度降低, 具体而言是将成本缩减至单纯使用高性能模型时所耗费成本的约三分之一之多, 此种做法从实质层面直接针对并有效回应了广大中小企业群体在当前阶段普遍存在的“想用但用不起”这一预算焦虑问题。

03多模态模型与推理框架齐发

在模型性能这个具体的方面, Nemotron 3.5 Super VL这款模型是存在的一个事实, 它里面所拥有的参数总数量达到了1200亿个单位的具体数值。该模型的架构设计采用的是混合专家这一特定的方式手段。

在其运行过程之中, 每一个Token被处理的时候大约只会有约120亿的参数会被真正激活出来使用。这种结构设计支持对于文本、图像、文档和视频这些多种不同模态的输入数据进行接收和处理工作。通过这样的技术手段, 它能够为智能体提供一个非常有效的方式, 即提供多源信息感知能力方面的支持内容。

在企业进行部署工作的时候, NIM这个工具会将AI模型打包成标准样子的推理微服务组件, 这样就能让企业把这些东西集成进去的困难程度降低下来。

另外一边, 那个叫Dynamo的开源框架, 它会去负责安排数据中心级别的那些推理请求是怎么调度的, 还有优化GPU的使用率。把这两个东西搭配在一起用, 就可以支撑起那些需要运行多个模型和多个智能体的任务, 能够同时处理非常大数量的并发情况。

04安全沙箱与韩国生态合作

智能体的权限越大, 安全风险就越高。英伟达同步推出了OpenShell开源安全运行环境, 这个环境限制了智能体可以访问的文件、网络服务以及系统资源, 并且同时管理身份凭证, 这样做的目的是为了防止智能体在执行任务时进行越权操作。

从生态那个角度来看, 英伟达当天做出了一个宣布, 说是要扩大和Naver Cloud还有SK Telecom、LG AI Research以及Upstage等等这些韩国企业的技术合作, 目的就是为了加速让企业级别的AI智能体在韩国这个市场里能够更快地落地去进行部署, 并且要做到和行业深度适配。

想知道你的企业到底有没有在使用AI智能体来处理日常的各类业务吗? 你现在遇到的最大的卡点, 究竟是成本问题, 还是安全问题呢? 欢迎你在评论区里来聊聊你自己的经验情况。请点赞本文并转发动一下。希望能让更多同行看到这篇文章的内容。