广告

FPGA运算单元可支持高算力浮点

2020-03-06 杨宇,Achronix资深现场应用工程师 阅读:
FPGA运算单元可支持高算力浮点
Achronix创新的机器学习处理器(MLP)突破传统FPGA运算瓶颈

随着机器学习(Machine Learning)领域越来越多地使用现场可编程门阵列(FPGA)来进行推理(inference)加速,而传统FPGA只支持定点运算的瓶颈越发凸显。Achronix为了解决这一大困境,创新地设计了机器学习处理器(MLP)单元,不仅支持浮点的乘加运算,还可以支持对多种定浮点数格式进行拆分。hq0ednc

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列,以及一个加法树、累加器、还有四舍五入rounding/饱和saturation/归一化normalize功能块。同时还包括2个缓存,分别是一个BRAM72k和LRAM2k,用于独立或结合乘法器使用。MLP支持定点模式和浮点模式,对应下面图1和图2。hq0ednc

hq0ednc

图1定点模式下的MLP框图hq0ednc

hq0ednc

图2浮点模式下的MLP框图hq0ednc

考虑到运算能耗和准确度的折衷,目前机器学习引擎中最常使用的运算格式是FP16和INT8,而Tensor Flow支持的BF16则是通过降低精度,来获得更大数值空间。下面的表1是MLP支持的最大位宽的浮点格式,表2说明了各自的取值范围。hq0ednc

hq0ednc

表1MLP支持的最大位宽的浮点格式hq0ednc

hq0ednc

表2不同运算格式的取值范围hq0ednc

而且这似乎也成为未来的一种趋势。目前已经有不少研究表明,更小位宽的浮点或整型可以在保证正确率的同时,还可以减少大量的计算量。因此,为了顺应这一潮流,MLP还支持将大位宽乘法单元拆分成多个小位宽乘法,包括整数和浮点数。详见下表3。hq0ednc

值得注意的是,这里的bfloat16即Brain Float格式,而blockfloat为块浮点算法,即当应用Block Float16及更低位宽块浮点格式时,指数位宽不变,小数位缩减到了16bit以内,因此浮点加法位宽变小,并且不需要使用浮点乘法单元,而是整数乘法和加法树即可,MLP的架构可以使这些格式下的算力倍增。hq0ednc

表3是Speedster7t系列1500器件所支持的典型格式下的算力对比,可以看到,单片FPGA的浮点算力最高可达到123TOPS。hq0ednc

hq0ednc

表3 Achronix的Speedster7t系列1500器件支持的典型格式的算力对比hq0ednc

下图3是MLP中FP24/FP16乘加单元的简化结构图,即一个MLP支持FP24/FP16的A*B+C*D,或者A*B,C*D。hq0ednc

hq0ednc

图3MLP中FP24/FP16乘加单元的简化结构图hq0ednc

而以下的图4则是块浮点乘加单元结构。hq0ednc

hq0ednc

图4块浮点乘加单元结构hq0ednc

这里考虑浮点数序列块ai=mai•2ea,浮点数序列块bi=mbi•i•2eb,各序列块内均拥有相同的指数ea和eb。则hq0ednc

hq0ednc

不难看出,乘法单元的个数取决于尾数(即整数)位宽。hq0ednc

hq0ednc

表4 MLP中乘法单元的个数与整数位宽的关系hq0ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 拆解对比16款热门65W氮化镓快充,这三家芯片原厂赚翻了 在作为消费类电子风向标的手机行业中,目前已有华为、小米、OPPO、魅族、三星、努比亚、realme等多个知名品牌推出了氮化镓快充产品。电商方面,目前也有17家品牌先后推出了数十款氮化镓快充新品。通过对比拆解的16款市售热门65W氮化镓快充,发现氮化镓功率芯片供应商主要有PI、纳微、英诺赛科三家。
  • 苹果、三星、OV、小米全力攻占华为手机市场占有率 包括苹果、三星、OPPO、vivo和小米等公司已扩大芯片生产或采购规模,并通知供应链加大手机出货力度,以全力攻占华为手机的市场占有率。
  • 有趣的低电感功率总线及其古怪的专利 总线必须具有低电阻和低电感,同时还必须有足够的电容以消除电压纹波。不幸的是,因为互连和内部寄生效应,能够满足低电感要求的电容器却无法满足低阻抗要求。要想实现多个相互冲突的目标,除了简单地增加更多体电容外,还可以使用不同的方法来尝试。
  • GSMA、O-RAN结盟冲击老牌电信设备商? 藉由将无线接取网络(RAN)的不同部份接口开放,相关技术能让行动通讯业者利用来自不同设备供货商的产品来建构RAN。目前依据3GPP规格的设置与网络,所有的设备都必须来自同一家供货商,这特别有利于市场上的现有厂商。
  • 4个重大改进,第二代方案将洗牌额温枪厂商 第一代额温枪大多为了应对春节前后新冠疫情防控而仓促上马,但发货到全球各地使用时,不是品质出问题,就是测温性能不稳定不可靠,这也是前一段时间海关遭遇额温枪退货问题的背后主要原因……
  • 使用带有片上高速网络的FPGA的八大好处 尽管在FPGA中的按位来布线非常灵活,但其缺点是每个段都会给任何给定的信号通路增加延迟。需要在FPGA中进行长距离传输的信号会导致分段之间的连接延迟,从而降低了功能的性能。按位布线的另一个挑战是拥塞,它要求信号路径绕过拥塞,这会导致更多的延迟,并造成性能的进一步降低。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了