公众号
当前位置:栏目>最新>文章详情

一群芯片老兵,押注“大模型定义芯片”

来源:汽车商业评论(杜咏芳)今天 10:10

撰文 | 杜咏芳

编辑 | 张 南

设计 | 甄尤美

“只有一次机会。”

前两天,在XHEART新芯航途大模型芯片X7 Ultra的发布会上,CEO李宗霖用这句话形容2023年重新创业时的处境。

彼时,资本市场低迷,团队资源有限。几位已经做了十几二十年芯片的工程师重新出发,需要先回答一个问题:几年后产品做出来,市场需要的会是一颗怎样的芯片?

李宗霖面前有两条路。

一条是做通用架构,尽可能适配不同模型。在他的权衡中,这条路相对稳妥,但要把特定应用的性能做到更高水平,也会受到限制。

另一条路,是提前判断模型的发展方向,从模型需求出发,重新组织芯片里的计算和数据流动。

选择后者,意味着团队要用今天定下的架构,去承接几年后的模型需求。一旦方向判断失准,后续调整的代价就会很高。

那段时间,李宗霖与Momenta CEO曹旭东反复交流,聊技术、聊市场,也聊未来几年智能驾驶会往哪走。

两者都认为,海量数据会持续推动模型进步,今天够用的计算平台,可能很快就要面对更大的模型;而芯片的设计、制造和验证周期漫长,团队必须提前看几步。

他们因此决定,从大模型的需求出发定义芯片,把对未来模型的判断提前做进硬件架构。

三年后,当被问起这样的选择是否正确时,曹旭东的回答很简短:“毫无疑问。”

先理解模型,再设计芯片

过去的智驾系统有着清晰的分工:感知、预测、规划,分别由不同模型完成。模型之间传递信息,再由系统把这些结果组织起来。

随着端到端大模型的发展,原先分散的任务被纳入更集中的网络,模型内部的数据交互也更加密集。理解道路、判断其他交通参与者的意图、规划下一步行动,都对计算平台提出了新的要求。

对芯片团队而言,这种变化首先落在一些具体问题上:计算单元之间要交换多少数据?关键计算会在哪里等待?更高的推理精度,需要怎样的硬件支持?

曹旭东把未来的需求推到了更大的规模。在他的判断中,要实现规模化L4,至少需要10B、即100亿参数的模型,大概率还需要达到100B、即1000亿参数。承载这样的模型,计算、存储和数据传输都需要相应的硬件资源。

问题是,汽车能提供的空间、电力和散热条件都有边界。

曹旭东打了一个比方:如果用通用芯片承载这样的大模型,相当于在车上放一台巨大的GPU服务器,功耗、车规可靠性和成本都会成为问题;反过来,如果先满足汽车对这三项的要求,又很难支撑如此大的模型。他将其称为“通用芯片的不可能三角”。

“大模型定义芯片”正是突破这些约束的路径。

李宗霖介绍,早在2023年,芯片团队就与算法团队围绕持续演进的基座模型讨论架构和算子需求。

算法团队了解模型实际运行时,哪些运算最多、哪些环节最耗时;芯片团队据此判断,哪些计算值得专门加速,数据应该怎样存储和传递。这些讨论越早开始,模型需求就越能影响硬件设计,而不是等芯片流片后再被动适配。

这种前置协同带来的不是小幅优化。相比通用芯片,大模型定义芯片能够带来10倍的性能提升。

一次狭路会车,需要多少计算

发布会上,曹旭东介绍了基于X7 Ultra的R7 Ultra世界模型,并展示了一段媒体试驾视频。

测试车驶入一条狭窄的公共道路。路边有不锈钢栏杆,对向车辆驶来,车后空间也很有限。

而车辆能够根据来车和可用空间,选择倒车避让、等待或重新前进,动作衔接自然,完全像是一个老司机。

这样的表现,需要模型持续理解周围车辆、障碍物和可用空间,也需要计算平台及时完成推理。

X7 Ultra所采用的超大核NPU架构将传统小核之间百GB/s级的数据交互,聚合至超大核内部TB/s级的高速互联,实现带宽数量级提升。

李宗霖用了一个容易理解的比喻:过去,紧密协作的人分散在不同办公室,资料需要来回传递;超大核则像把他们放进一个宽敞的工作空间,让更多交流在内部完成。

芯片里也存在类似的问题。计算单元即使有很强的运算能力,如果一直等着数据从内存送来,也发挥不出来。超大核和多级缓存,能够让更多数据在芯片内部高效交互。

针对LayerNorm、Softmax、Transpose等Transformer关键算子,X7 Ultra配置了专用算子加速引擎,提高执行效率。与此同时,团队安排好计算与权重加载的关系,让下一批数据在当前任务执行时就提前准备。

AI工具链的整网融合,则进一步处理数据来回搬运的问题。常规推理中,一个计算步骤结束后,中间结果可能需要写回外部内存,下一步再读进来。

XHEART把优化范围扩展到整张网络,统一编排不同层、不同分支的计算任务,尽可能让中间结果留在芯片内部,减少“写回内存、再读进来”的反复搬运。

这些设计最终体现为发布会上公布的性能数据。X7 Ultra具备700 TOPS大模型算力。这项评价采用真实量产智驾模型,并要求量化部署后的模型输出与FP32浮点模型输出相似度达到99.99%以上,也就是在尽量保持模型原有输出的前提下,考察芯片能够发挥多少性能。

按公司披露,X7 Ultra在量产智驾大模型实测中的NPU计算利用率达到98.7%;按其与行业旗舰产品的比较口径,内存带宽消耗下降80%,能效提升100%。

从17天上车,到20万颗出货

性能之外,新芯航途还需要确保X7 Ultra能不能在道路上安全、稳定地工作。

“硬件安全好比身体,行驶安全好比大脑。”李宗霖认为,智驾安全还取决于模型能否应对实际道路上遇到的情况,因此,需要把芯片和算法组成的完整系统放到车里检验。

第一颗X7回片后,团队不到24小时就成功点亮芯片,首台测试车也在短短几天内上路。但在李宗霖看来,“快速的成功点亮是一个好的开始,但这只是第一步”。

团队经过讨论,决定用更接近量产的标准重新定义“回片上车”。系统要在真实道路上稳定运行,连路口转弯时的规划轨迹,也要向量产表现看齐。“我们要交付的是一颗真的能在真实车辆上稳定可靠工作的芯片。”他说。

按这一标准,从回片到实现整车闭环,团队用了17天。一般来说,这个过程需要一个月或者一个半月。

这17天背后,是流片前就已经展开的准备工作。软件适配、算法功能验证和域控接口检查,随着芯片开发同步推进。车企也提前提供标准,让整车要求直接进入设计过程,减少回片后再逐项对接、修改的等待。

曹旭东将系统适配的目标概括为“跑通、跑稳、跑对、跑好”,并把X7的进展归因于流片前就开始的协同设计与验证。

这种同步工程让各方可以更早发现问题、并行处理。回片后的高低温可靠性、系统运行和实车检验,仍要按要求完成。

车企也在持续参与检验。上汽集团副总裁、总工程师祖似杰说,自己每周都会测试Momenta的大模型,从客户体验出发提出意见。

“把我的车交给客户之前,我先要去体验,我们要先把坑填掉。”他说。

一些问题还需要工程师跟到客户现场解决。李宗霖记得,一位同事准备出差,HR问他什么时候回来,对方回答:“我也不知道什么时候可以回来。”

于是,他先买了一张单程机票。

把一款车型做好之后,新芯航途还要帮助更多客户缩短开发过程。公司围绕芯片提供AI工具链和参考设计,并尽可能按主机厂的量产标准开展验证。

“我们希望交到客户手中的是经过充分验证、能够支撑量产开发的成熟方案。”李宗霖说,“客户用得更省心,开发落地的效率才会更高。”

这些产品与支持同样直接面向车企。Momenta是新芯航途的重要战略合作伙伴,但车企采用新芯航途芯片,无须以采用Momenta方案为前提。不同客户的模型需求和车型标准,都可以进入项目开发过程。

截至本次发布会,按公司披露,X7系列已量产8个月,累计出货超过20万颗,搭载10款量产车型,获得超过40款车型订单。

“这20万颗芯片的背后是客户一次次的选择,也是产业伙伴与我们的并肩协作。”李宗霖说。

车开很多年,芯片如何跟上

芯片交付之后,还有一道时间更长的考题。

一辆车可能开五年、十年,几年之后如果主流的模型架构变了,那么这些定制的芯片应该如何去应对这些变化呢?

用户期待通过OTA改善智驾体验,车里的计算平台却很难随每次软件升级一起更换。新模型要部署到已经交付的车辆上,需要原有芯片继续提供支持。

对此,李宗霖认为,架构不能“针对一个固定的模型去把它焊死”。按照他的介绍,X7 Ultra支持Transformer范式下持续演进的模型部署与优化,让后续模型能够在同一平台上继续适配、调优,提高硬件利用率。

这回答了现有平台怎样承接后续升级。但芯片设计时,团队又如何知道几年后的模型需要什么?

“坦率来说,没有一个固定的公式可以做到。”曹旭东承认。

他提到,预判的一部分依据,来自与客户共同讨论未来三至五年的战略和产品规划。车企准备增加哪些功能,模型需要发展出什么能力,都要更早进入芯片团队的视野。这样,下一次升级所需的计算资源,才能在硬件设计时有所准备。

同一代芯片能支持的模型规模也有边界。更大的模型,需要下一代平台接续。因此,新芯航途一边支持已有产品的部署与优化,一边推进后续芯片开发。

李宗霖把公司的研发节奏概括为:“量产一代、开发一代、预研一代。”此次发布会上,公司披露的下一代芯片研发目标包括3000 TOPS大模型算力、700 GB/s单芯片内存带宽,计划于2027年推出。

“既要有更强的计算能力,也要让数据跟得上计算。”李宗霖这样解释下一代产品的准备方向。

在曹旭东的判断中,2028年有望迎来L4发展的引爆点。对新芯航途而言,眼前要做的,是支持已交付平台上的模型升级,同时完成下一代产品的开发与验证。

从2023年判断第一颗芯片该怎样设计,到今天面对已售车辆的OTA和新车型的开发,团队仍在提前为模型的变化做准备。

正如李宗霖在发布会结束前所说:“让芯片承载大模型的下一次进化。”