广告

FPGA运算单元可支持高算力浮点

2020-03-06 杨宇,Achronix资深现场应用工程师 阅读:
FPGA运算单元可支持高算力浮点
Achronix创新的机器学习处理器(MLP)突破传统FPGA运算瓶颈

随着机器学习(Machine Learning)领域越来越多地使用现场可编程门阵列(FPGA)来进行推理(inference)加速,而传统FPGA只支持定点运算的瓶颈越发凸显。Achronix为了解决这一大困境,创新地设计了机器学习处理器(MLP)单元,不仅支持浮点的乘加运算,还可以支持对多种定浮点数格式进行拆分。Flzednc

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列,以及一个加法树、累加器、还有四舍五入rounding/饱和saturation/归一化normalize功能块。同时还包括2个缓存,分别是一个BRAM72k和LRAM2k,用于独立或结合乘法器使用。MLP支持定点模式和浮点模式,对应下面图1和图2。Flzednc

Flzednc

图1定点模式下的MLP框图Flzednc

Flzednc

图2浮点模式下的MLP框图Flzednc

考虑到运算能耗和准确度的折衷,目前机器学习引擎中最常使用的运算格式是FP16和INT8,而Tensor Flow支持的BF16则是通过降低精度,来获得更大数值空间。下面的表1是MLP支持的最大位宽的浮点格式,表2说明了各自的取值范围。Flzednc

Flzednc

表1MLP支持的最大位宽的浮点格式Flzednc

Flzednc

表2不同运算格式的取值范围Flzednc

而且这似乎也成为未来的一种趋势。目前已经有不少研究表明,更小位宽的浮点或整型可以在保证正确率的同时,还可以减少大量的计算量。因此,为了顺应这一潮流,MLP还支持将大位宽乘法单元拆分成多个小位宽乘法,包括整数和浮点数。详见下表3。Flzednc

值得注意的是,这里的bfloat16即Brain Float格式,而blockfloat为块浮点算法,即当应用Block Float16及更低位宽块浮点格式时,指数位宽不变,小数位缩减到了16bit以内,因此浮点加法位宽变小,并且不需要使用浮点乘法单元,而是整数乘法和加法树即可,MLP的架构可以使这些格式下的算力倍增。Flzednc

表3是Speedster7t系列1500器件所支持的典型格式下的算力对比,可以看到,单片FPGA的浮点算力最高可达到123TOPS。Flzednc

Flzednc

表3 Achronix的Speedster7t系列1500器件支持的典型格式的算力对比Flzednc

下图3是MLP中FP24/FP16乘加单元的简化结构图,即一个MLP支持FP24/FP16的A*B+C*D,或者A*B,C*D。Flzednc

Flzednc

图3MLP中FP24/FP16乘加单元的简化结构图Flzednc

而以下的图4则是块浮点乘加单元结构。Flzednc

Flzednc

图4块浮点乘加单元结构Flzednc

这里考虑浮点数序列块ai=mai•2ea,浮点数序列块bi=mbi•i•2eb,各序列块内均拥有相同的指数ea和eb。则Flzednc

Flzednc

不难看出,乘法单元的个数取决于尾数(即整数)位宽。Flzednc

Flzednc

表4 MLP中乘法单元的个数与整数位宽的关系Flzednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 用碳化硅MOSFET设计一个双向降压-升压转换器 随着电池和超级电容等高效储能设备的大量使用,朝向更好的电流控制发展成为一种趋势。双向DC/DC转换器可以保持电池健康,并延长其使用寿命。
  • 系统级芯片(SoC)的复杂设计选择:FPGA 在做系统级芯片(SoC)的设计规划时,需要考虑哪些主要因素?目前主流的SoC一般包括哪些功能模块或IP?有什么新的技术趋势值得关注?RISC-V与FPGA如何有机结合助力SoC设计?当前的SoC设计在性能、功耗和尺寸方面面临哪些挑战?有何解决方案?物联网和边缘计算等嵌入式系统对SoC设计提出了什么特别要求?
  • 拆解:华为牌无线车充,看50W车载超级快充充电器的电子元 手机快充已经越来越离不开我们的生活了,日常生活中我们用的家用或者室内快充充电器可以说是随处可见,人手一个了,但是,在车载充电市场情况如何呢?据公安部统计,截至2020年6月,全国机动车保有量达3.6亿辆,其中汽车2.7亿辆。德勤于11月25日发布的《2020中国汽车后市场白皮书》提到:国汽车保有量有望在2025年前超过美国,成为全球保有量最大市场。因此,车载快充似乎是一个蓝海市场,那么,今天我们来看看一块华为牌无线 车载 快充充电器的拆解。
  • 5G中分布式基带单元功能的授时影响 5G引入了一些重大变化,这些变化几乎涵盖了移动无线网络架构的各个方面,包括所使用的RF频率、无线电I/Q数据的传输、传输架构以及网络的同步方式。在3G和4G系统中对GPS的依赖正转向PTP,其原因包括存在新的安全性和可靠性问题,需要在没有卫星系统视距的情况下极为严格保证的5G无线电授时,以及运营商倾向于保证关键授时服务的相位对齐和控制。
  • 快速的DDR4 SDRAM开创宇航新时代 实时处理,结合大带宽数据的快速压缩和存储,是下一代高吞吐量卫星服务所必需的。问题是如何找到一款合适的有足够容量、速度和可靠性的宇航级大容量存储器。
  • 我跟美国专业贸易商学到了什么? 在去年ASPENCORE举办的分销与供应链领袖峰会上,铭冠国际CEO燕青先生做了《其实你不懂专业贸易商》的主题演讲,围绕贸易商有没有存在的必要的主题做了探讨,结论是:在呆料、缺货、交期、垄断等痛点被全部解决前,贸易商会一直存在。在今年的分销与供应链领袖峰会上,燕青带来了《我跟美国专业贸易商学到了什么?》的主题报告,以芯片故事会的形式分享了他亲历的7个小故事。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了