广告

FPGA运算单元可支持高算力浮点

2020-03-06 10:38:20 杨宇,Achronix资深现场应用工程师 阅读:
Achronix创新的机器学习处理器(MLP)突破传统FPGA运算瓶颈

随着机器学习(Machine Learning)领域越来越多地使用现场可编程门阵列(FPGA)来进行推理(inference)加速,而传统FPGA只支持定点运算的瓶颈越发凸显。Achronix为了解决这一大困境,创新地设计了机器学习处理器(MLP)单元,不仅支持浮点的乘加运算,还可以支持对多种定浮点数格式进行拆分。RIHednc

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列,以及一个加法树、累加器、还有四舍五入rounding/饱和saturation/归一化normalize功能块。同时还包括2个缓存,分别是一个BRAM72k和LRAM2k,用于独立或结合乘法器使用。MLP支持定点模式和浮点模式,对应下面图1和图2。RIHednc

RIHednc

图1定点模式下的MLP框图RIHednc

RIHednc

图2浮点模式下的MLP框图RIHednc

考虑到运算能耗和准确度的折衷,目前机器学习引擎中最常使用的运算格式是FP16和INT8,而Tensor Flow支持的BF16则是通过降低精度,来获得更大数值空间。下面的表1是MLP支持的最大位宽的浮点格式,表2说明了各自的取值范围。RIHednc

RIHednc

表1MLP支持的最大位宽的浮点格式RIHednc

RIHednc

表2不同运算格式的取值范围RIHednc

而且这似乎也成为未来的一种趋势。目前已经有不少研究表明,更小位宽的浮点或整型可以在保证正确率的同时,还可以减少大量的计算量。因此,为了顺应这一潮流,MLP还支持将大位宽乘法单元拆分成多个小位宽乘法,包括整数和浮点数。详见下表3。RIHednc

值得注意的是,这里的bfloat16即Brain Float格式,而blockfloat为块浮点算法,即当应用Block Float16及更低位宽块浮点格式时,指数位宽不变,小数位缩减到了16bit以内,因此浮点加法位宽变小,并且不需要使用浮点乘法单元,而是整数乘法和加法树即可,MLP的架构可以使这些格式下的算力倍增。RIHednc

表3是Speedster7t系列1500器件所支持的典型格式下的算力对比,可以看到,单片FPGA的浮点算力最高可达到123TOPS。RIHednc

RIHednc

表3 Achronix的Speedster7t系列1500器件支持的典型格式的算力对比RIHednc

下图3是MLP中FP24/FP16乘加单元的简化结构图,即一个MLP支持FP24/FP16的A*B+C*D,或者A*B,C*D。RIHednc

RIHednc

图3MLP中FP24/FP16乘加单元的简化结构图RIHednc

而以下的图4则是块浮点乘加单元结构。RIHednc

RIHednc

图4块浮点乘加单元结构RIHednc

这里考虑浮点数序列块ai=mai•2ea,浮点数序列块bi=mbi•i•2eb,各序列块内均拥有相同的指数ea和eb。则RIHednc

RIHednc

不难看出,乘法单元的个数取决于尾数(即整数)位宽。RIHednc

RIHednc

表4 MLP中乘法单元的个数与整数位宽的关系RIHednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 高通发布4nm骁龙W5+骁龙W5芯片,专为可穿戴设计 据EDN电子技术设计报道,高通7月20日正式发布了全新4nm制程的骁龙可穿戴平台W5 Gen1和骁龙W5+ Gen。与两年前的上一代产品骁龙wear 4100相比,骁龙W5与W5+采用了全新的命名方式,整体功耗降低超50%。SoC工艺从12nm提升到4nm,协处理器使用22nm制程工艺。
  • 苹果新款Apple Watch Series 8新增内置传感器,可监测体 据最新报道称,由于新的内置传感器,即将推出的Apple Watch Series 8将能够告诉佩戴者是否体温高于正常水平。
  • 小米12s系列发布:首款徕卡品牌、1 英寸摄像头传感器、 继一加牵手哈苏(HASSELBLAD)以及 Vivo 牵手蔡司之后,小米和徕卡在今年早些时候也宣布建立合作伙伴关系。小米在六月底宣布,小米 12S 系列将成为该交易的第一批手机,就在昨日,小米举办了小米12S系列新品发布会,包括小米12S、小米12S Pro、小米12S Ultra三款手机,这三款手机均提供徕卡 Summicron 镜头以减少眩光并提高透光率,同时还提供徕卡成像配置文件。
  • 手动拆解十万元的比亚迪“元”,附详细拆解图 大家是不是对手机、电脑等小型消费电子的拆解已经习以为常了?这次有个券商搞了个大动作,动手拆了一辆市场价值十万元的比亚迪“元”,还撰写了一份详细的拆解报告,刷屏了券商、汽车等行业,网友们也大呼“硬核”。
  • 莱迪思半导体CEO Jim Anderson:“与优秀的人一起工作 我父亲一直是我的导师。他是一名高中理科老师,后来成了校长。在我的成长过程中,他一直都会给我我所需要的建议——并不总是我所想要的,而是我所需要的建议。他给我最好的建议是要我和我后来娶的那个女孩约会。我们结婚已经超过25年了。对于任何重大的个人决定,我仍然会征求他的意见。
  • 苹果最新芯片技术曝光:A16仍使用5nm,M2将升级为3nm 据EDN电子技术设计报道,日前Twitter 用户“ShrimpApplePro”爆料称苹果正在开发“最终”的 M1 芯片变体,它使用 A15 中更强大的内核。郭明錤今天在Twitter 上引用 ShrimpApplePro 的帖子,证实了有关 A16 和“M2”芯片的这些传闻。
  • 苹果iPhone 14的最新爆料:关于摄像头、处理器、基带、 选用的将是夏普和LG Innotek供应iPhone14的前置摄像头,也有其它渠道消息显示两家制造商的供应比例是相同的。
  • AMD 推出了基于其 Kria FPGA 模块的机器人入门套 AMD 推出了基于其 Kria FPGA 模块的机器人入门套件,售价 349 美元,交付周期为 20 周。这是 Kria 自适应系统模块(SOM)和开发套件组合的最新产品。
  • 赛灵思强劲的AI引擎能为AMD带来哪些新发展? AMD收购赛灵思的目的在于将其差异化IP集成到公司未来旗下的CPU中,Xilinx无论是从丰富的计算引擎还是其AI引擎技术都能让AMD在服务器CPU市场上扩大影响力
  • 为何10BASE-T1S是汽车通信中缺失的以太网链路 新的IEEE汽车以太网标准不断涌现,10BASE-T1S以太网是最新标准之一。本文讨论汽车行业的发展趋势,它们反映了汽车电子/电气(E/E)架构的变化,以及新10BASE-T1S标准如何支持和推动这种新架构的部署。
  • 工程师如何打造专属居家办公室? 2021年11月初,当我提笔写这篇文章时,掐指一算,自己在家工作的岁月将近25个年头了。诸如‘Zoom’等视频会议如今已是常态,说不定摄影机也都得处于常开状态。除了我那只丑陋的马克杯和自己单调的表达方式之外,接下来分享我所学到的:如何影音双管齐下地在在线展现自我……
  • 传感器技术在构建实时监控系统中的作用 无线传感器技术正在成为一个有前途的概念,这对每个虚拟市场都有重大影响。随着需要更快计算处理的数据密集型应用的数量增加,对实时监控系统的需求呈指数增长。尽管传感器节点的需求随着应用的规模而扩大,但终端设备却已通过对智能传感器的高效建模不断改进数据处理。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了