广告

加速AI深度学习,BF16浮点格式应运而生

2020-03-06 14:56:06 Sally Ward-Foxton,EE Times特派记者 阅读:
为了加速AI深度学习(DL)的效能,包括Google、英特尔和Arm等越来越多公司开始导入BF16,但这种新的浮点格式可能成为深度学习运算主流?

全新的数字格式——‘BF16’,专为人工智能(AI)/深度学习(DL)应用优化发展而来,有时也称为‘BFloat16’或‘Brain Float 16’。它一开始是由Google Brain团队发明,并用于其第三代Tensor Processing Unit (TPU),如今已被Google、英特尔(Intel)、Arm等许多公司的AI加速器广泛采用。2AZednc

采用16位脑浮点(brain floating point)格式的BF16,主要概念在于透过降低数字的精度,从而减少让张量(tensor)相乘所需的运算资源和功耗。「张量」是数字的三维(3D)矩阵;张量的乘法运算即是AI计算所需的关键数学运算。2AZednc

如今,大多数的AI训练都使用FP32,即32位浮点数。尽管这表示可以达到非常准确的计算,但需要强大的硬件而且极其耗电。推论一般使用INT8¬¬,即8位整数精度的运算模式,虽然是较低精度的数字系统,但在相同硬件上提供了更高的传输效率,因而能够更省电,只是计算结果(预测)的准确性较低些。2AZednc

BF16的基本概念是为精度和预测准确性之间的权衡进行优化,从而提高吞吐量。2AZednc

浮点数字解析

在运算中的二进制数字可以表示为:2AZednc

尾数x基数指数,基数为22AZednc

在FP32浮点格式中,每个数字都表示为:2AZednc

1位代表符号(+或-),其后为8位指数,接着是23位尾数(总共32位数字)2AZednc

至于BF16浮点格式,Google Brain团队建议将FP32数字的尾数缩减到7位,以稍降低精度。2AZednc

因此,BF16数字则可表示为:2AZednc

1个符号位,然后8个指数位,接着是7个尾数位(共16位数)2AZednc

2AZednc

浮点数字格式(来源:Google)2AZednc

由于指数大小相同,这些16位数字提供了Google所追求的更高吞吐量,同时又能保留FP32的近似动态范围(该系统可以代表整个数字范围)。2AZednc

使用BF16的算法预测准确度相当于FP32——Google解释这是因为神经网络对于指数的大小要比尾数更敏感)。对于大多数应用来说,这已经是可以被接受的折衷方案了。2AZednc

为什么不使用FP16?

目前普遍用于行动绘图应用中的FP16,同样也是16位浮点数字格式。那么,为什么不直接使用呢?2AZednc

FP16包括:2AZednc

1个符号位,5个指数位,然后10个尾数位(共16位数字)2AZednc

使用这种格式时,由于指数小于FP32,因而动态范围大幅缩减。此外,将FP32数字转换为FP16比起转换为BF16更困难——相较于仅截去尾数,FP16更麻烦,而BF16的操作相对上较简单。2AZednc

另一个要点是计算所需要的芯片实体面积。由于硬件乘法器的实体尺寸会随着尾数宽度的平方而增加,因此从FP32转换到BF16可以大幅节省芯片面积——这也就是Google之所以为其TPU芯片选择使用BF16。BF16乘法器比FP32乘法器的尺寸更小8倍,而且也只有FP16同类型芯片约一半的尺寸。2AZednc

还有哪些DL运算格式?

BF16并不是唯一一种被提议用于深度学习的新数字格式。例如,AI软件新创公司Nervana在2017年曾经提出一种称为‘Flexpoint’的格式。其概念是透过结合定点和浮点数字系统的优点,从而减少运算和内存的需求。2AZednc

定点数(fixed point number)使用固定位数来代表整数和分数(小数点后的部分)——相较于上述的浮点格式,使用定点数字执行运算通常更简单,也更快捷。然而,针对特定的位数,定点数的动态范围比浮点数更小得多。2AZednc

2AZednc

Flexpoint数字共享相同的指数,让张量更易于相乘(来源:Nervana/NeurIPS)2AZednc

Flexpoint张量中的所有(浮点)数字都使用相同的指数(不只是相同的指数大小,而且是完全相同的指数值)。张量中的所有数字之间共享指数,从而可以在整个张量中共同分担指数的通讯。2AZednc

然后就可以让张量相乘作为定点运算,因为每次计算的指数都是相同的——这比起浮点数所需的数学更简单。这些计算足以代表绝大多数的深度学习数学,因此所能节省的资源与功耗都相当可观。然而,管理这些指数极其复杂,而且动态范围(可以表示的数字范围)很低,因为所有的数字都拥有相同的指数。2AZednc

然而,Flexpoint却从未能起飞,甚至是Nervana在卖给英特尔之前,其自家芯片都一直使用BF16。2AZednc

(原文发表于ASPENCORE旗下EDN姐妹媒体EETimes,参考链接:Artificial Intelligence Gets Its Own System of Numbers,编译:Susan Hong)2AZednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 因眼睛小车主被辅助驾驶误判“开车睡觉”,小鹏、蔚来回 昨日,汽车博主@常岩CY 发博称自己突然上了热搜,原来就是因自己眼睛小被小鹏汽车自动驾驶误判“开车睡觉”,不住的发出提醒。此外,@常岩CY 称在多款车型上都收到此困扰。无论是红外还是摄像头,只要开始检测眼睛,就会判定过度疲劳。小鹏P7会提示他睡觉,蔚来ET7一开车就认为其疲劳和走神,岚图FREE会在冬天为了让其“别困”而打开冷风……
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • “智能家居”未来将可通过呼吸控制操作 凯斯西储大学的研究人员创造了一个简单的原型设备,使用户能够通过改变他们的呼吸模式来控制“智能家居”。这种自供电装置可放入鼻孔,并有可能提高行动不便或无法清晰说话的人的生活质量。如果个人呼吸困难,它也可以编程为医务人员提供自动警报。
  • 核酸采样机器人将取代“大白”?用了哪些技术保证采样准 取棉签、核酸采样、储存核酸采样管、设备消杀……动作精准流畅,今后给你核酸采样的可能不再是“大白”,而是机器人。EDN小编就带大家来看看,目前已被使用的核酸采样机器人有哪些?
  • 一个AI程序就可将手机电池增加30% 一项尖端的人工智能开发可以将智能手机的电池寿命延长 30%。这项应用则是利用 AI 分析正在使用的应用程序的 FPS 变化,并试图找到 CPU 和 GPU 处理器的最佳运行频率以适应变化,同时消耗设备中最少的功率和温度增益……
  • AI视觉芯片如何赋能两轮车出行? 6月29日,在由全球领先的专业电子机构媒体AspenCore和深圳市新一代信息通信产业集群联合主办的“2022国际AIoT生态发展大会-智慧两轮车分论坛”中,嘉楠科技副总裁汤炜伟以《勘智AI视觉芯,赋能智眼两轮行》为主题,向大家分享了嘉楠地芯片设计创新历程,及其RISCV架构AI芯片技术路线图,并以具体案例展示AI视觉芯片如何赋能两轮车出行。
  • 碎片化、成本高是难题,AIoT行业需要哪些改变? 作为AIoT的行业基石,物联网市场到2022年预计将达到 144 亿活跃连接。随着供应限制的缓解和增长的进一步加速,IoT Analytics 最新预测指出,到2025年全球将有大约 270 亿台联网物联网设备。中国物联网链接到2025年也将达到80亿。随着整个AIoT和IoT市场的快速成长与变化,我们将面临哪些风险和挑战?
  • 英特尔张宇:边缘AI有三个阶段,我们还处在山脚 在AspenCore举办的“2022国际AIoT生态发展大会”上,英特尔公司高级首席工程师、物联网事业部中国区首席技术官张宇博士通过视频方式分享了“边缘AI技术发展趋势与展望”主题演讲。
  • 世界上尺寸最大的芯片Wafer Scale Engine-2打破了在单 Cerebras公司售价数百万美元的“全球最大AI芯片”Wafer Scale Engine-2又有新消息,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。
  • 婴儿或可帮助解锁下一代人工智能 都柏林圣三一学院的神经科学家及其同事刚刚发布了改进人工智能的新指导原则,他们表示,婴儿可以帮助解锁下一代人工智能(AI)。
  • 日本要利用机器学习实现半导体研究自动化 新型薄半导体材料的开发需要对大量反射高能电子衍射(RHEED)数据进行定量分析,既耗时又需要专业知识。为了解决这个问题,东京理科大学的科学家们确定了可以帮助自动化 RHEED 数据分析的机器学习技术。他们的发现可以极大地加速半导体研究,并为更快、更节能的电子设备铺平道路。
  • 纯视觉自动驾驶更安全?美国交通部发布数据打脸特斯拉 特斯拉的纯视觉自动驾驶到底效果如何?真的如马斯克所说的:“通过摄像头和计算机网络让自动驾驶比人类驾驶更安全”吗?近日美国国家公路交通安全管理局发布了一份新的数据,颇有打脸特斯拉的意味。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了