广告

从ChatGPT爆火看终端芯片的机遇与挑战

2023-06-09 09:47:50 赵明灿 阅读:
6月8日,在由AspenCore主办的2023国际AIoT生态发展大会上,安谋科技产品总监杨磊分享了安谋科技对于GPT这类AIGC的一些思考。

6月8日,在由AspenCore主办的2023国际AIoT生态发展大会上,安谋科技产品总监杨磊分享了安谋科技对于GPT这类AIGC的一些思考。ZP7ednc

ZP7ednc

其实,“像美颜、瘦脸等传统AI应用目前都有点开始慢慢降温了。那么做AI的企业,未来在哪里?”他指出。好在今年年初GPT突然火爆出圈,其最主要的变革是大家认为GPT这种场景会改变人和机器交互的形式和方法。ZP7ednc

可以设想一下,有个会议很重要,会后要写一个报告。我们现在可以怎么办呢?可以把手机掏出来,打开录音,放在桌上,就可以把全程演讲者的语言直接变成文字。再进一步,可以让它直接写出一个总结,直接写出一两页的PPT,周一直接把报告交上去了。它大大提升了我们工作和生活的效率!ZP7ednc

还有一种场景,包括芯片开发,我们经常会写代码。当我们有了这样一些AIGC或AI的工具,可以怎么写代码呢?我们可以打开电脑,要求它写一个滤波器程序,它就能自动地把一段代码(比如Verilog的)生成出来。这样一种方式就能节省我们大量代码开发时间。ZP7ednc

据估计,基于这样一种形式,工程师大概可以节省70%的工作时间。“因为代码的生成,不是100%准确或对的,还是需要工程师人工做一些修改调整,把它从70分变成真正100分的代码,最终提交到我们产品当中。”杨磊解释说。ZP7ednc

通过这样两个小的例子可以看到,未来AIGC或大模型的场景会潜移默化地影响到我们生活的方方面面。ZP7ednc

这个东西虽好,但它也带来很多新的实现挑战:ZP7ednc

第一,传统的AI算法,比如美颜,包括人脸识别、刷脸等,它都是一种卷积神经网络(CNN)的结构。像GPT这类模型则是基于Tranformer的结构,它的核心计算是大的矩阵图版,比如矩阵A×矩阵B的转置,再乘个C。另外,它还涉及大量的Softmax和Normalization等计算,所以它从底层计算类型角度来讲跟传统CNN算法是不太一样的。有人说,我以前做了一个适用于传统CNN或语音的NPU,专门做AI处理上的处理单元或硬件单元,它不一定擅长能够高效地计算AIGC类的模型。ZP7ednc

ZP7ednc

第二,既然叫大模型,它一个最大的特点是大。有多大呢?我们可以看GPT3.5,基本上是一千多亿个参数。“我们可以把它翻译成我们做芯片、做硬件更熟的语言,比如它需要把这个模型存下来,需要大概100GB,这是一个超级大的规模。比如我们做颗芯片,片内可能有1MB SRAM,相比之下,100GB就很大规模了。”他解释说,“并且我们跟很多做学术研究的人在交流,这个大到头了吗?其实还没有,因为大家觉得‘暴力出奇迹’,准确度也好,性能也好,预期会是这样一个曲线,到了某个节点就会收敛。但是我们现在还没有摸到那个头在哪儿。”ZP7ednc

“比如现在新的模型都已经到了三千亿个参数,还在暴力地往上涨。但是,理论上它应该会到达一定的规模,就到头了。”ZP7ednc

“还有一类需求是,如果这么大的模型,其实只能在云上跑了,没办法在IoT领域实现。另外它太贵了。今年最新价格比什么?我有一万块英伟达的显卡、我有两万块英伟达的显卡,显卡一块怎么也得花一两万美金,所以光买设备就花了几亿美金,这只是生产工具,活还没干,消耗就这么大。”ZP7ednc

“还有一个趋势是做精简。能不能结合一些特定的场景和应用,把这种模型往小了做,而使得它也能在端侧IoT场景上造福我们的生产生活?举一个简单例子,谷歌之前发布它的大模型PaL,分了四个尺寸,最小的尺寸其实可以在手机上运行。学术上,它有两个路径,有一类是想努力把它小型化,而使得它能够在手机、PC以及边缘设备和汽车等场景上去实现各种工作形式。”ZP7ednc

“最后还有一个难点是,它对于存储和带宽也有很大的要求。比如一个100GB的模型,做一次推理,生成一个字,理论上需要100GB的带宽。一般旗舰型手机、高端手机也就是64GB到168GB带宽。如果不做任何优化,手机用满了也只能跑一个字,一秒钟只出一个字肯定是不够的。同样,带宽也是瓶颈。”ZP7ednc

结合新的GPT的特点和一些小型化的场景,以及在端侧应用的诉求,安谋科技推出了一个专门面向AI处理的新一代NPU——“周易”X2 NPU。ZP7ednc

ZP7ednc

这个新推出的NPU考虑到了新的AI结构的特点:ZP7ednc

第一,它具有很好的灵活性和可编程性,它可以适应模型结构的变化和演进。它不单单适合于算传统CNN模型,它也很擅长算Tranformer类的模型结构。ZP7ednc

第二,对于大的模型,它的计算精度(准确度)要求比以前要高。像以前做刷脸,一般都会把模型进行定点化,模型的真正计算都是定点8比特的计算。这样的好处是面积小、成本低,但是对于这种大模型,如果全部做8比特量化,其实它的精度就不可控了。最后的结果是,本来浮点场景下可能做到80%精度,但是做定点化之后就会掉得很厉害。因此,我们就需要折衷计算精度和成本,更好满足端侧场景。“因此,我们推出了混合精度,我们NPU既支持以往8比特的计算,也支持浮点半精度FP16计算,从而在部署AIGC模型,它是混合精度的部署。有一些对精度不敏感的计算,其实还是可以用高性价比的定点8比特甚至4比特去做计算的。对于计算精度敏感的,我们用半精度的FP16计算,这也是我们结构的特点。”杨磊补充说。ZP7ednc

第三,因为是专门面向AI计算的引擎,所以它里面有针对AI计算的硬件加速单元。ZP7ednc

下面是新一代NPU结构的框图。它是一个Scalable的结构。它的好处是可以做小,最小可以到1TOPS算力,这就很有机会跟高端或者超高端MCU合作。它还可以做得很大,通过多核的实现,可以做到上百TOPS算力。“我们通过可扩展的NPU结构,会覆盖到从边缘AIoT领域到手机、到PC、到汽车,甚至到云端加速卡的场景。这是我们的一大特点。”杨磊说。ZP7ednc

ZP7ednc

针对Tranformer这样的结构,该NPU有专门的优化实现。第一类是对于矩阵乘,像GPT的模型,它核心的计算是矩阵的乘法,这种专门做了硬件加速。第二部分是对于激活包括均衡做了优化,典型的Softmax计算和Normalization计算。通过硬件优化手段,使得这一代产品与上一代产品相比,针对像Tranformer这样的大模型,它相同的寿命计算效率会有10倍的一个数量级的提升。ZP7ednc

ZP7ednc

其实模型大了,无论是在存储还是带宽上都有特别大的压力,所以Arm在此推出了一种Tiling的技术,就是把大模型拆成小块,切4刀、切16刀甚至切128刀。每个小块的计算量是很小的,另外,每个小块的存储和带宽的需求也是极其小的。最终通过这样一系列的手段,就使得我们做一次推理的带宽可以减少90%以上,也即使带宽需求降低了一个数量级。ZP7ednc

ZP7ednc

另外是关于精度的思考。大模型纯靠定点做的精度是不满足需求的,所以Arm也推出了混合精度的实现。“并不是说计算全部是定点或者全部是浮点,通过混合的精度方式达到一种最优的性价比。在不敏感的时候,我用定点的4比特、8比特或者16比特。对于精度敏感的就用半精度敏感的浮点16比特做计算。”杨磊解释说。ZP7ednc

如果是一个单核的小场景,比如IoT设备,在家电、网关这些场景里,一般是单个单核NPU实现,因为它的算力基本是几TOPS的水平。对于一些能力强的会涉及到多核的实现。现在的智能手机,尤其是旗舰型手机,它的算力已经达到30TOPS了,这就是相当大的算力。如果看一些厂商的目标,明年我们的手机或笔记本电脑的算力就会达到45TOPS。相信在不久的将来,手持设备的算力能达到100TOPS的算力。这样的算力,就涉及到多核的实现。“多核实现最复杂的其实是对于多核的使用、调度,在这块我们有专门硬件加速的实现支持多核多任务的实时调度,这也是我们这一代的特点。但这个应用特点主要更多的是面向高端的边缘应用,像汽车、云的应用。对于IoT场景来讲,我们看到的一些实现主要是单核的实现,拼的是在一个小场景下设计的精度和效率。”杨磊指出。ZP7ednc

ZP7ednc

下面是Arm做的一个GPT的Demo。“既然是面向大模型的优化,我们已经把一些开源的AIGC模型在NPU上做了一个部署。GPT 2就是开源的。因为3、3.5和4已经是闭源了,并没有开源,所以我们跑的是老一点的。”他解释说,“老一点有好处,它的模型比较小,只有340MB。虽然跟1000亿比少了很多,但本质上还是很大的。像我一开始举的例子,我们做美颜的时候,那个模型一般比它小一个数量级,一般是二三十MB,这个模型相对而言还是比较大的。我们现在可以用一个单核、用一个很小的MPU实现GPT2的实时部署。什么叫实时部署?它跑一次会吐出一个字,咱们一般人说话一秒钟也就是几个字的水平,我们可以做到一秒钟算50个字,所以远远达到实时性的要求。”ZP7ednc

ZP7ednc

现在的计算效率已经是足够高的,甚至还有空间把它拆到更小,小到在现在的IoT设备里尝试部署一些跟GPT应用相关的计算。其实它改变的是人机交互的形式。不单单以前是靠手一摁或者是老一点的语音交互,其实并不是太智能。ZP7ednc

下面是面向汽车的场景,跑的也是Tranformer。既然是讲GPT,所以这里跑的也是Tranformer。这是一个基于视觉的ViT Tranformer的实现,它主要是做一个分割。它把视频的画面根据不同的路径做了分割,这是汽车里最常见的一种场景。也可以高效部署ViT Tranformer的结构,而不单单是GPT这种语音的,他补充说。ZP7ednc

ZP7ednc

下面是一个典型的例子。“我们现在基本上如果想做边缘的计算平台或者做PC、平板,我们最想推荐的是3核X2的实现。这个例子,单个核心是10TOPS算力,三个核加起来是30TOPS算力的规格。基本上在目前看,应该算边缘侧的顶配,它可以部署像前面所提到的,像GPT2类型的,包括像画图这样风格的模型。当然还有裁小的空间,它的计算能力超过了实时性的要求,可以做到单个核,甚至把核再减一半也是可以的。”杨磊说。ZP7ednc

ZP7ednc

“这是更大的,刚才谈到是边云一体的,其实我们有更大的配置,这个配置可以到320T算力。”ZP7ednc

ZP7ednc

光有一个硬件在使用端不方便,所以Arm还提供了一套完整的软件工具链配合用户部署一些算法。在这样的平台上,也是有自己的编译器、调试器,调试器又包括调试是否正确,包括调试性能。还有软件的仿真器,在做软件开发和部署的时候,即使没有硬件的板子或者设备,也可以直接在PC上去模拟AI的功能,去看算法的精确度、算法的性能等等。ZP7ednc

ZP7ednc

这是一个典型的使用场景。首先是有一个算法,这个算法怎么部署到硬件上?用前面提到的编译器,就会把它编译成一个NPU的可执行文件,其实用起来有点像CPU,首先是有程序,用编译器把它编译程二进制代码,这个二进制代码可以部署到真正的芯片硬件上,也可以部署到软件仿真器上,去做具体的计算效果、计算性能等实现。ZP7ednc

ZP7ednc

Arm不仅支持自己的一套软件工具,也支持开源的AI编译结构,比如TVM的框架。基于TVM的实现,它有个好处是能够比较好地支持异构计算。“当我们计算的平台当中有CPU、有GPU、有NPU,甚至是不同架构的CPU,我们都是可以通过这样开源的异构计算方案把它兜起来。”杨磊说。ZP7ednc

ZP7ednc

最后,他表示,这一代X2产品已经准备好了。Arm的合作伙伴也很快会有基于这个方案的芯片面世。同时也很希望以后能在超高端的MCU领域上有所合作。ZP7ednc

责编:Franklin
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
赵明灿
赵明灿是EDN China的产业分析师/技术编辑。他在电子行业拥有10多年的从业经验。在加入ASPENCORE之前,他曾在电源和智能电表等领域担任过4年的工程师。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了