英伟达重金投资SSI实验室 人工智能技术路线转向持续学习

英伟达重金投资SSI实验室 人工智能技术路线转向持续学习

财π新闻 由Ilya Sutskever创立的SSI实验室,预计于本周发布首个颠覆性大模型,这一消息在人工智能行业内引发广泛关注,业内普遍认为,这一领域的重大突破将来自该独立实验室,而非OpenAI或Google等主流大厂。长期以来,全球人工智能行业的核心技术进展大多由头部科技企业主导,行业资源、算力储备、研发投入的优势也集中在这些主流大厂手中,而SSI作为一家独立运营的实验室,即将推出的全新大模型却被行业普遍预判将带来颠覆性的技术突破,打破此前行业的固有格局。

7月27日,英伟达正式宣布与SSI达成长期战略合作,投入50亿美元押注这一独立实验室,双方约定将SSI的算力规模在未来12个月内提升10倍,同时英伟达向SSI独家开放下一代Vera Rubin系统的访问权限。这一合作的敲定并非普通的行业投资行为,英伟达是在获得对SSI严密保护的研究成果的罕见访问权之后,才最终完成了这笔大额投资,这一细节也让资本市场对SSI的技术进展产生了高度关注。资本市场普遍解读认为,这一动作意味着Ilya已经摸到了持续学习落地的可行路径,而持续学习正是下一代AI架构的核心入场券,掌握这一技术路径,就相当于拿到了下一代人工智能技术体系的核心准入资格。

Ilya在相关表述中明确提出,传统的大规模预训练时代已经宣告终结,当前行业内单纯依靠扩充资源来提升模型能力的路径,其边际效应正在快速递减,投入大量算力、数据资源换来的模型能力提升幅度越来越小,这种发展模式已经难以支撑人工智能技术向更高层级演进。在他的判断中,真正的超级智能应当像15岁天才一样依赖持续学习,不需要在部署完成后就陷入能力固化的状态,而是可以在实际部署的过程中,通过不断接收现实反馈来持续进化,逐步拓展自身的能力边界,这种成长模式和人类的学习成长逻辑更为贴近,也完全区别于当前主流大模型的静态运行逻辑。

SSI即将发布的新模型所曝光的全新架构,完全基于测试时训练的核心逻辑搭建,这和当前市面上所有主流大模型的底层运行逻辑形成了本质区别。当前的主流大模型在完成预训练部署之后,自身的参数就处于完全固定的状态,所有的知识储备都来自于预训练阶段投喂的数据集,想要获取新的知识只能通过后续的微调或者借助外部检索工具调取相关内容,同时为了承载更多的信息,只能不断扩大上下文窗口的长度,这也带来了算力消耗陡增、信息检索准确率下降等一系列难以解决的问题。而SSI的新模型在阅读长文档的过程中,能够真正产生梯度更新,直接改变自身的内部结构,把读到的内容直接内化为自身的固有知识,完全不再依赖巨大的上下文窗口来承载临时信息,从底层逻辑上跳出了现有大模型的技术框架。

SSI从成立之初就确立了和行业内绝大多数人工智能企业完全不同的发展战略,它并不追求快速推出面向市场的短期产品,也不会为了阶段性的市场热度发布各类中间版本模型,而是选择直奔安全超级智能的最终目标,把全部的研究重心都放在高效持续学习、元学习与对齐这三个核心方向上。这一战略的核心指向十分明确,就是要让模型最终掌握获取技能的方法,而不是仅仅依靠预训练阶段的投喂获得固定的知识储备,相当于教会模型自主学习的底层能力,而不是直接给模型灌输大量现成的知识点。这种发展路径意味着SSI不会像其他人工智能企业那样,为了抢占市场份额快速推出各类To C或者To B的应用产品,也不会为了满足资本市场的短期期待不断发布迭代的中间版本模型,所有的研发资源和精力都集中在指向安全超级智能的核心技术攻关之上。

长期以来,测试时训练都只是人工智能学术领域的一个前沿概念,停留在各类实验室论文和小规模试验的阶段,始终没有被转化为可以支撑大规模落地应用的成熟技术,更没有企业将其作为核心技术路线打造成具备商业价值的产品体系。而SSI直接把测试时训练这一长期停留在学术层面的概念转化成了具备实际落地能力的商业武器,这一技术突破将彻底颠覆当前整个人工智能行业的现有范式。当前各大主流科技企业耗费大量资源堆积在数据中心的算力护城河,以及行业内普遍通行的按百万Token计费的商业模式,都将面临前所未有的降维打击。此前各大厂投入巨额资金搭建的庞大算力集群,其核心价值是支撑大模型的大规模预训练,而在新的技术范式下,模型部署完成后依然可以自主完成知识更新,不需要反复投入海量算力进行全量预训练,此前依靠大规模算力投入构建起来的竞争壁垒将不再具备此前的不可替代性。同时,按Token计费的商业模式建立在用户每一次调用模型都需要消耗对应推理算力的基础上,而新的架构下模型可以自主完成知识内化,很多此前需要反复调用推理接口才能完成的任务,在模型完成知识更新后就可以直接给出结果,整个行业的现有商业逻辑也将随之发生根本性的改变。

从行业发展的过往脉络来看,此前人工智能领域的核心技术突破大多诞生于资源充沛的头部科技企业,独立实验室往往受限于算力、资金等方面的短板,很难在底层架构层面实现颠覆性的突破,而SSI的出现打破了这一长期形成的行业惯性。在英伟达50亿美元资金和下一代Vera Rubin系统的算力加持下,SSI获得了支撑前沿技术攻关的核心资源,而其完全不追求短期商业回报的研发路线,又让团队可以把全部精力投入到长期的底层技术探索中,不需要为了阶段性的市场业绩分散研发注意力。这种资源投入和研发方向的精准匹配,让这家独立实验室具备了跳出主流大厂技术路径依赖的可能性,最终拿出了完全区别于现有范式的全新大模型架构。

随着本周首个颠覆性大模型的正式发布,整个人工智能行业的技术演进路径很可能就此迎来全新的转折点,此前行业内普遍遵循的大规模预训练、不断扩充上下文窗口的发展路线,将被基于测试时训练的持续学习路线所替代,人工智能模型的成长逻辑将从一次性预训练固化能力,转向部署后依托现实反馈自主进化的全新模式,这一变化也将为后续人工智能技术向安全超级智能的方向推进,搭建起全新的底层技术底座。

(编辑:张广德)