广告

三星的 PIM 抢走了Hot Chips的热点,这对 HBM 界意味着什么?

2021-08-31 胡安 阅读:
三星将 PIM 纳入高带宽内存(HBM)。PIM 将在 AI 数据处理不断增长的需求与当前难以满足这些需求的内存解决方案之间提供及时的桥梁。

在今年Hot Chips的活动中,三星展示了新的人工智能技术内存生态系统集成解决方案——HBM-PIM系统。该组合使用Xilinx Alveo AI 加速器系统,该系统声称可将整体系统性能提高 2.5 倍于标准速率,同时降低 70% 的能耗。 y1Fednc

y1Fednc

 y1Fednc

图: Xilinx 的 Alveo AI 加速器。y1Fednc

PIM 本身并不是一项新技术,但它以前只是作为学术界和工业界的一个高级概念进行了探索。PIM 的工作原理是集成计算和内存,使具有逻辑的内存设备能够在本地对数据执行计算,这是通常为 CPU、GPU 和 NPU 等高性能逻辑设备保留的任务。在本地对数据执行计算的能力最大限度地减少了延迟,提高了处理速度,并提高了能源效率。y1Fednc

三星通过在 HBM 设备中集成称为可编程计算单元 (PCU) 的 AI 引擎,首次在 HBM 中实现了 PIM 概念。y1Fednc

更快的速率和更少的能源消耗的这些好处对于人工智能应用来说是必不可少的。AI 算法和应用程序面临的一些问题来自大量数据,而当前的存储设备没有足够的容量或带宽来满足这些要求。 y1Fednc

如果系统无法处理所有输入的数据,则存储系统的计算性能将受到影响。三星集成 PIM 的计划应该允许在存储设备中本地保留和处理一些数据,从而减少数据流。 y1Fednc

y1Fednc

数据处理在 AI 应用程序中至关重要,需要像 HBM-PIM 这样重新设计的存储设备来引入由 AI 加速器引擎支持的计算逻辑。(图片来源:三星y1Fednc

PIM 的功能从集成计算和内存开始,使内存设备能够在本地执行任何操作。 y1Fednc

使用 PIM,三星可以消除对通常执行 CPU、GPU 和 NPU 等计算的行业标准逻辑设备和内存解决方案的需求。这种内存解决方案不仅节省了系统的占用空间,而且最大限度地减少了延迟,提高了处理速度,并提高了整体能源效率。 y1Fednc

Aquabolt-XL 和 AXDIMM

三星不仅介绍了 HBM-PIM 背后的想法和研究,还分享了新设备,这些设备将结合基于人工智能的功能,以增强超级计算机和算法中的高速数据处理。 y1Fednc

三星预期的设备之一 Aquabolt-XL 具有人工智能引擎,称为可编程计算单元 (PCU),位于融合的 HBM 设备中。 (延申阅读:三星如何给内存加上AI? )y1Fednc

对于大型数据集,计算和受内存限制的 AI 应用程序所需的容量和带宽增加是需要 HBM-PIM 的原因,三星将 PIM 纳入其中以增强 HBM 的功能。 y1Fednc

Aquabolt-XL 采用 PCU,可在存储系统内核中实现并行处理。通过添加 HBM 设备,整个架构非常稳健,并且能够满足高数据流量的需求。y1Fednc

HBM 的核心是 PCU 引擎,但整体架构是什么? 

HBM 是通过将DRAM裸片堆叠在彼此之上并实现对每个 DRAM 裸片的并行访问来构建的。HBM 的高度内部并行性对整个过程至关重要。 y1Fednc

与单独使用 HBM 相比,涉及语音识别的 AI 应用程序的性能提高了 2 倍,这要归功于 HBM-PIM。由于 DRAM 芯片内部发生的计算量相同,因此消除了与移动数据相关的 IO 流量,从而降低了功耗。y1Fednc

y1Fednc

图:AXDIMM 是一种 CPU 内存数据移动,可避免系统中发生瓶颈,使用 PIM 将有助于该平台。y1Fednc

三星宣布的第二款产品是其加速 DIMM (AXDIMM),它支持 DRAM 模块侧的处理,最大限度地减少 CPU 和 DRAM 之间的大量数据移动。 y1Fednc

这种数据移动的最小化可以提高所有 AI 加速器系统的能源效率。从本质上讲,该芯片充当缓冲区,其中包含一个 AI 引擎。AXDIMM 可以并行处理多个内存列(一组 DRAM 芯片),而不是一次访问一个列。总的来说,这个模块听起来很有前途,因为它可以保留传统的 DIMM 形式,而 AXDIMM 成为不需要系统修改的直接替代品。 y1Fednc

与双倍统计数据保持一致,三星的 AXDIMM 在基于 AI 的应用程序中提供两倍的性能,同时将整个系统的能耗降低 40%。 y1Fednc

不受内存系统性能限制 

易于集成可能会为 PIM 打开许多大门,PIM 可以应用于许多不同的内存技术,例如 LPDDR 和 GDDR 以及 HBM,而无需从根本上改变或抛弃现有的内存生态系统。(延申阅读:三星想把PIM用于HBM之外的领域y1Fednc

预计三星将在 2022 年扩展其 AI 内存产品组合,包括所有 PIM 技术。三星计划继续与其他半导体领导者合作,完成 PIM 平台的标准化,推出基于人工智能的解决方案,用于需要处理大量数据的医疗保健、语音识别和自动驾驶。y1Fednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了