广告

Arm Neoverse CSS新品解析,Arm全面设计助力AI时代的高效实现

2024-02-28 15:28:49 谢宇恒 阅读:
在2月22日Arm举办的技术媒体沟通会上,Arm推出了两款基于全新第三代Neoverse IP构建的新的Neoverse CSS产品——Neoverse CSS N3和Neoverse CSS V3···

计算正越来越专用化,通用CPU已不再能满足需求。在过去,软件和硬件分别由不同的公司负责开发,而这样老旧的模式已经无法满足现在对性能的需求,也无法适配软件或硬件的复杂性。企业希望其部署的硬件,甚至在微架构层面,都能被优化,以便顺利运行其软件工作负载。但是此类联合优化很难实现,需要软硬件双方做出巨大的投入才能够完成。DORednc

而头部云计算和网络企业对其数据中心、计算设备及运行其中的工作负载非常熟悉,他们高度专注于优化其基础设施的每一层,目的是让这些多样化的工作负载获得最佳性能,更重要的是获得最佳的每瓦性能。但是没有一个基准测试能展现所有工作负载的性能表现,这带来了深入了解每个用例的必要性,并需要有针对性地对其进行调优。DORednc

Arm架构作为全球应用最为普及的CPU架构,在多个领域的技术革新中发挥着主导作用,众多国际知名的大型科技企业正基于Arm平台构建新一代系统和基础设施,Arm全面设计(Arm Total Design)生态项目也为此提供助力,它提供了一个生态系统,让参与其中的企业能无缝交付基于Arm Neoverse计算子系统 (CSS)的定制芯片。DORednc

DORednc

人工智能时代的创新DORednc

Arm高级副总裁兼基础设施事业部总经理Mohamed Awad表示:“科技企业选择Arm的原因很简单,因为我们独特的定位能赋予合作伙伴快速创建定制解决方案的能力,并充分利用到强大的生态系统,正是这些特性使Arm Neoverse夯实了全球AI愿景的根基。AI的适用范围不仅是应用服务器和数据中心。AI正成为包括网络、安全和存储等诸多领域不可或缺的一部分,它可应用到包括小型终端到交换机、路由器和基站等各种设备在内的整个基础设施中。我们很荣幸能在其中发挥关键作用,协助科技先行者解决由AI转型带来的不断增长的数据和计算需求。”DORednc

赋能全面设计时代

Neoverse CSS是Arm在2023年推出的,它可以让定制芯片变得更迅速,且更易实现。在Neoverse CSS中,Arm负责配置、优化和验证一套完整的计算子系统,并针对基础设施市场的各种关键用例进行配置,从而让其合作伙伴能够专注于,针对特定系统级工作负载塑造差异化竞争优势,比如软件调优、定制加速等。而就在2月22日Arm举办的技术媒体沟通会上,Arm推出了两款基于全新第三代Neoverse IP构建的新的Neoverse CSS产品——Neoverse CSS N3和Neoverse CSS V3。DORednc

DORednc

Neoverse CSS N3聚焦能效,与CSS N2相比,其每核心的每瓦性能提升20%,可满足基础设施性能要求的高效计算。CSS N3的首个实例可提供32 核,热设计功耗(TDP)低至40W。其可扩展性非常强,可覆盖电信、网络和 DPU 等一系列应用,Arm也同时在考虑横向扩展云配置。CSS N3基于新的Neoverse N3 IP平台打造,为新的N系列引入了Armv9.2功能,能为每个核心提供2MB的专用L2缓存,并支持最新的PCIe和CXL I/O标准以及UCIe芯粒标准。DORednc

而对于用户更高性能的需求,Arm推出了Neoverse CSS V3,与CSS N2产品相比,其单芯片性能提高了50%,在单芯片上最多可扩展至128核,并支持最新的高速内存和I/O标准。CSS V3基于Arm新的Neoverse V3核心打造,这是Arm目前单线程性能最高的Neoverse核心。V3还为Arm机密计算架构(CCA)提供硬件支持,同时V3和N3核心均可提供业界领先的专用L2缓存大小,显著改善性能表现。DORednc

DORednc

代际性能提升DORednc

对于这两款新产品,Arm基础设施事业部产品解决方案副总裁Dermot O’Driscoll表示:“新产品全方位地实现了非常良好的提升,从视频处理到SQL数据库的性能均有所跃进。如今,人们常常忽视的一点是,有多少计算周期最终被用于压缩和协议转换等后台任务。N系列在压缩方面取得了性能优势,可降低云服务运营商的成本,并最终降低云服务客户的成本。同样地,V系列显著提高了协议缓冲区的性能,这是在数据中心内传输数据的一项关键功能。”DORednc

DORednc

新系列产品工作负载性能较前一代产品大幅提升DORednc

助力AI高效实现

这两款新产品在AI数据分析工作负载方面的优势更为引人注目。以XGBoost为例,这是一种强大的机器学习(ML)算法,可以帮助人们理解数据并做出更明智的决策,支持Java、C++、Python、R等多种语言。作为一个被广泛使用的经典ML应用,无论是为人们推荐下一个媒体内容,预测高峰时段的打车费用,还是提供相关的机票优惠,我们日常生活中大量使用的各种预测性和定制化在线服务均使用XGBoost作为主要数据库来驱动相关核心算法。DORednc

而通过分析应用的关键工作负载核心的特定关键任务算法,Arm能够明确并实施,对提升性能最有效的微架构调整方法。在XGBoost用例中,包括改进分支预测,更好地管理最后一级缓存和相关内存带宽,以及大幅增加 L2 缓存。其结果是,N3的性能提升高达196%,并且这是基于已经超越其他同类厂商的工作负载进行的。DORednc

对于2023年爆火的生成式AI和大语言模型(LLM),Arm当然也十分的关注。Arm认为,目前行业重点更多放在训练LLM 上,但随着生成式AI广泛应用于实际业务场景,其工作重点将转向推理。有分析师估计,已部署的AI服务器中有高达80%专用于推理,且这一数字还将持续攀升。这一转变意味着要找到合适的模型和模型配置,并加以训练,然后将其部署到更具成本效益的计算基础设施上。DORednc

对此,Dermot O’Driscoll表示:“吞吐量是其中一部分考虑因素,而在当今广泛部署的基于Arm架构的芯片上,Token生成吞吐量表现相当优异。但还有许多其他因素需要纳入考量。CPU广泛可用,并可灵活用于ML或其他工作负载,此外,CPU还易于部署,并可支持各种软件框架,具备低成本和高能效等优势。因此,CPU推理将是生成式AI计算应用的关键组成。我们可以看到,诸多工作负载已从ML专用的Neoverse功能(如Bfloat16、MatMul、SVE和SVE2),以及我们的微架构优化中受益,而且这一趋势还将继续。”DORednc

DORednc

Neoverse系列产品生成式AI表现DORednc

当前AI计算领域火热,面对不断变化的芯片技术要求,Arm在基础设施领域的前进脚步未曾停歇,始终紧跟市场发展节奏。聚焦Arm Neoverse平台来看,其着手的方向主要包括以下几点:DORednc

  • 通过诸如Bfloat16、MatMul、SVE 和SVE2等架构功能,以及微架构的优化,持续提升运行在CPU上的机器学习(ML)计算的表现。
  • 通过支持最新的行业标准接口,以及提供用于一致性高带宽连接的CHI协议,为定制AI加速器与Arm Neoverse平台和Arm Neoverse CSS的紧耦合提供更强的灵活性。
  • 为自研定制AI加速器的合作伙伴提供行业领先的系统互连技术,以实现与主机计算的紧密耦合链接,并提供CPU来处理AI工作的编排,同时支持利用Arm基础设施软件生态系统的云原生软件。

Arm生态系统蓬勃发展

从AI到5G,从云数据中心到边缘计算,全球各地打造新一代计算基础设施的技术先行者,越来越多的开始转向Arm Neoverse平台。据了解,Arm全面设计生态项目于2023年10月正式推出,仅仅经过四个多月的发展,Arm全面设计已经有20多家成员加入,其中包括新的EDA和配套IP提供商,以及来自包括韩国、中国大陆及台湾地区和印度等战略市场的知名芯片设计企业。DORednc

DORednc

同时,Arm一直在与合作伙伴一起构建和优化云原生软件,以便让其最佳地运行在Arm平台上,Arm基础设施事业部营销副总裁Eddie Ramirez介绍到:“Arm全面设计的合作伙伴正在努力将基于Neoverse CSS的设计推向市场。去年十月,Socionext成为首家宣布计划在台积公司领先的2纳米工艺上开发基于CSS芯粒的合作伙伴。这款配置32核的芯粒可与其他芯粒结合使用,提供可扩展且经济高效的计算解决方案。该设计将基于新推出的Neoverse CSS V3来打造。智原科技也在构建基于芯粒的服务器芯片,该芯片将搭载64颗N系列核心,并基于英特尔代工服务的18A工艺节点进行生产制造。此外,ADTechnology 将提供高性价比的16核CSS N系列边缘服务器平台,他们将与三星代工厂合作,为边缘计算释放更强大的算力。”DORednc

DORednc

据悉,Arm Neoverse软件生态系统正在不断扩展,以满足所有开发者的需求。从主流编程语言、软件工具、所有主要Linux发行版,到支持网络、存储和大数据以及AI应用的项目,包括软件栈各个级别的知名开源企业,此外还包括大量独立软件供应商(ISV),这一生态系统正成为云服务提供商部署其云服务的上佳之选。DORednc

责编:Ricardo
谢宇恒
原机加工行业工程师,现Aspencore编辑,专注电子,关注未来。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了