作为一家以RISC-V为核心,涉及多媒体、智能互联、显示驱动、汽车及自动化、智能计算、电源和功耗管理六大创新性平台的本土公司,北京奕斯伟计算技术股份有限公司近年来围绕“云、管、边、端”多个不同角度提供了整体的芯片和解决方案,EIC77系列AI SoC就是智能计算领域最具代表性的产品。
奕斯伟智能计算事业部交付中心“中心长”路向峰在第四届滴水湖中国RISC-V产业论坛上,发表题为《EIC7702X:全球首款搭载64位RISC-V乱序执行CPU及自研高性能NPU的双DIE互联AI SoC》的演讲时,分享了奕斯伟计算在RISC-V智能计算赛道的创新成果与经验。同时,现场展出多款RISC-V边缘计算SoC及AI PC芯片、开发板及演示demo。
北京奕斯伟计算技术股份有限公司智能计算事业部交付中心“中心长”路向峰
目前,EIC77系列包括单Die RISC-V边缘计算芯片EIC7700及更高算力版本EIC7700X,双Die RISC-V AI PC芯片EIC7702及更高算力版本EIC7702X,以满足更多应用场景的不同算力需求。
Die中CPU采用了64位具有乱序执行能力的RISC-V内核C5P550,跑分可以达到8.57分,超过了竞品同等指标。基于这个Die,7700X和EIC7702X分别提供了20TOPS和40TOPS算力。与此同时,为了提高内核利用率,奕斯伟在芯片自研时创新性的引入了很多指令优化,支持的数据精度包含FP16,这对于精度要求比较高的场合是非常合适的。
此外,芯片内部支持LPDDR4/4X/6等不同接口,7700X/7702X分别达到了32GB(64-Bit)和64GB(128-bit),特别适用于大模型参数数量大、带宽吞吐量要求较高的特点。除了NPU的优势之外,芯片内部还集成了丰富的视频编解码、3D GPU及丰富的外设。得益于12nm制程工艺,芯片在桌面应用下的功耗只有2.6瓦。
测试数据显示,EIC77系列芯片整体表现出色。单Die版EIC7700X实测跑分MobilenetV2最高达到2900fps,Restnet50超过600fps,Llama2-7B大模型每秒可达9个token。在双Die版EIC7702X中,得益于双Die一致性互联技术,两颗单Die产品能够实现完全独立访存、互不影响,各项跑分数据可实现翻倍,其中MobilenetV2最高达到5800fps,Restnet50超过1200fps。
应用于AI PC领域的EIC7702X采用8核64位乱序RISC-V高性能CPU和2个3D GPU,支持2个HDMI接口,实现4K双通道超高清显示,便于提升桌面PC的交互体验与效率。同时,奕斯伟计算AI PC芯片拥有强大的在线视频编解码能力和高达4Gbps低延迟以太网的网络能力,最高可提供39.9TOPS INT8算力,支持CNN/OD/LLM大模型,能够为不同的AI工作负载提供灵活的解决方案,有利于更好支撑AI本地化部署,有效满足PC智能化要求。
路向峰表示,之所以能取得不错的算力实测结果,主要得益于两方面的原因:一是NPU内部的硬件设计优化;二是采用的编译器框架能够根据网络模型特点自动适配NPU,使得内部的数据流达到最优化。采用了这些优化措施之后,芯片可支持的编译器包含了TensorFlow、PyTorch等多种框架,LLaMA2等其它模型的适配工作也在紧锣密鼓的进行之中。
AI PC会是新产品重点关注的领域之一,主要原因一是缘于内部的高性能CPU,二是EIC7702X内部的2个GPU可以为游戏等一些对GPU有要求较高的场景(3D渲染)提供支持。此外,EIC7702X还支持2路输出,适用于笔记本一路接内置屏,第二路接外置屏幕,加之对CV类算法与大语言模型的支持,都为相应场景提供了强有力的软件层适配和支持。
在25路1080P解码+回放场景中,EIC7702X的功耗为2.83W,即使在添加了NPU推理性能后,功耗也控制在6-7W左右,从而非常适用于电池供电或是一些无风扇设计的被动散热场合。