向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

FPGA运算单元可支持高算力浮点

时间:2020-03-06 作者:杨宇,Achronix资深现场应用工程师 阅读:
Achronix创新的机器学习处理器(MLP)突破传统FPGA运算瓶颈

随着机器学习(Machine Learning)领域越来越多地使用现场可编程门阵列(FPGA)来进行推理(inference)加速,而传统FPGA只支持定点运算的瓶颈越发凸显。Achronix为了解决这一大困境,创新地设计了机器学习处理器(MLP)单元,不仅支持浮点的乘加运算,还可以支持对多种定浮点数格式进行拆分。9hNednc

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列,以及一个加法树、累加器、还有四舍五入rounding/饱和saturation/归一化normalize功能块。同时还包括2个缓存,分别是一个BRAM72k和LRAM2k,用于独立或结合乘法器使用。MLP支持定点模式和浮点模式,对应下面图1和图2。9hNednc

9hNednc

图1定点模式下的MLP框图9hNednc

9hNednc

图2浮点模式下的MLP框图9hNednc

考虑到运算能耗和准确度的折衷,目前机器学习引擎中最常使用的运算格式是FP16和INT8,而Tensor Flow支持的BF16则是通过降低精度,来获得更大数值空间。下面的表1是MLP支持的最大位宽的浮点格式,表2说明了各自的取值范围。9hNednc

9hNednc

表1MLP支持的最大位宽的浮点格式9hNednc

9hNednc

表2不同运算格式的取值范围9hNednc

而且这似乎也成为未来的一种趋势。目前已经有不少研究表明,更小位宽的浮点或整型可以在保证正确率的同时,还可以减少大量的计算量。因此,为了顺应这一潮流,MLP还支持将大位宽乘法单元拆分成多个小位宽乘法,包括整数和浮点数。详见下表3。9hNednc

值得注意的是,这里的bfloat16即Brain Float格式,而blockfloat为块浮点算法,即当应用Block Float16及更低位宽块浮点格式时,指数位宽不变,小数位缩减到了16bit以内,因此浮点加法位宽变小,并且不需要使用浮点乘法单元,而是整数乘法和加法树即可,MLP的架构可以使这些格式下的算力倍增。9hNednc

表3是Speedster7t系列1500器件所支持的典型格式下的算力对比,可以看到,单片FPGA的浮点算力最高可达到123TOPS。9hNednc

9hNednc

表3 Achronix的Speedster7t系列1500器件支持的典型格式的算力对比9hNednc

下图3是MLP中FP24/FP16乘加单元的简化结构图,即一个MLP支持FP24/FP16的A*B+C*D,或者A*B,C*D。9hNednc

9hNednc

图3MLP中FP24/FP16乘加单元的简化结构图9hNednc

而以下的图4则是块浮点乘加单元结构。9hNednc

9hNednc

图4块浮点乘加单元结构9hNednc

这里考虑浮点数序列块ai=mai•2ea,浮点数序列块bi=mbi•i•2eb,各序列块内均拥有相同的指数ea和eb。则9hNednc

9hNednc

不难看出,乘法单元的个数取决于尾数(即整数)位宽。9hNednc

9hNednc

表4 MLP中乘法单元的个数与整数位宽的关系9hNednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • 高功率密度数字IC需要新一代电源稳压器 得益于晶圆制造技术的线宽缩小,高性能数字IC(例如GPU、FPGA和微处理器)呈现电流需求迅速增加和工作电压下降的发展趋势。传统上,数字IC采用LDO稳压器或基于电感的开关稳压器控制器以及板外电源设备供电。随着对电源性能和尺寸要求的提高,传统方法已不再适用,而需要新一代的单片式电源。
  • 资深大牛分享FPGA设计的经验技巧 任何编程语言的学习都不是一朝一夕的事,经验技巧的积累都是在点滴中完成,FPGA设计也无例外。下面就以我的切身体会,谈谈FPGA设计的经验技巧。
  • AMD的AI策略与Intel和Nvidia有何不同? 在美国硅谷举办的Hot Chips 31上发布的两款最大芯片引人注目。分别是Cerebras最大的深度学习芯片WSE,还有赛灵思发布全球最大的FPGA。Intel发布的两款AI芯片Nervana NNP-T/NNP-I同样备受关注。不过,AMD在Hot Chips期间并没有获得巨大的关注,这或许是因为在当今AI大热的情况下,他们采用“观望式”的AI策略。
  • 在AEIMR五大行业中寻找国产智能芯片“同时起跑”的新 日前,北京华兴万邦的专业分析师团队赴德国纽伦堡参加了“2019年嵌入式世界展览及会议”。本届展会的主题是“嵌入式智能”,非常贴合华兴万邦分析师们此行的目的,即探索如何利用智能技术及应用快速演进的发展机遇,推动集成电路产业的创新发展,并实现应用行业与集成电路行业的双赢。
  • 用FPGA和最少的模拟电路设计电源 偶尔我们需要为一些微型模拟电路供电,现成的电源IC对这些任务来说有点“杀鸡用牛刀”的感觉。当电源要求仅为毫安级时,尤其如此。如果你的板载FPGA正好还有一些备用引脚和资源,不将它们利用起来有点可惜。本文将介绍一种极简单的开关电源设计,并探讨利用FPGA资源和最小的模拟电路产生电源的几种方法。
  • 清华出品:最易懂的AI芯片报告!人才技术趋势都在这里 2010年以来,由于大数据产业的发展,数据量呈现爆炸性增长态势,而传统的计算架构又无法支撑深度学习的大规模并行计算需求,于是研究界对AI芯片进行了新一轮的技术研发与应用研究。AI芯片是人工智能时代的技术核心之一,决定了平台的基础架构和发展生态。本文推荐清华大学的报告《人工智能芯片研究报告》,全面讲解人工智能芯片,系统梳理人工智能芯片的发展现状及趋势。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告