广告

三星的 PIM 抢走了Hot Chips的热点,这对 HBM 界意味着什么?

2021-08-31 胡安 阅读:
三星将 PIM 纳入高带宽内存(HBM)。PIM 将在 AI 数据处理不断增长的需求与当前难以满足这些需求的内存解决方案之间提供及时的桥梁。

在今年Hot Chips的活动中,三星展示了新的人工智能技术内存生态系统集成解决方案——HBM-PIM系统。该组合使用Xilinx Alveo AI 加速器系统,该系统声称可将整体系统性能提高 2.5 倍于标准速率,同时降低 70% 的能耗。 v3bednc

v3bednc

 v3bednc

图: Xilinx 的 Alveo AI 加速器。v3bednc

PIM 本身并不是一项新技术,但它以前只是作为学术界和工业界的一个高级概念进行了探索。PIM 的工作原理是集成计算和内存,使具有逻辑的内存设备能够在本地对数据执行计算,这是通常为 CPU、GPU 和 NPU 等高性能逻辑设备保留的任务。在本地对数据执行计算的能力最大限度地减少了延迟,提高了处理速度,并提高了能源效率。v3bednc

三星通过在 HBM 设备中集成称为可编程计算单元 (PCU) 的 AI 引擎,首次在 HBM 中实现了 PIM 概念。v3bednc

更快的速率和更少的能源消耗的这些好处对于人工智能应用来说是必不可少的。AI 算法和应用程序面临的一些问题来自大量数据,而当前的存储设备没有足够的容量或带宽来满足这些要求。 v3bednc

如果系统无法处理所有输入的数据,则存储系统的计算性能将受到影响。三星集成 PIM 的计划应该允许在存储设备中本地保留和处理一些数据,从而减少数据流。 v3bednc

v3bednc

数据处理在 AI 应用程序中至关重要,需要像 HBM-PIM 这样重新设计的存储设备来引入由 AI 加速器引擎支持的计算逻辑。(图片来源:三星v3bednc

PIM 的功能从集成计算和内存开始,使内存设备能够在本地执行任何操作。 v3bednc

使用 PIM,三星可以消除对通常执行 CPU、GPU 和 NPU 等计算的行业标准逻辑设备和内存解决方案的需求。这种内存解决方案不仅节省了系统的占用空间,而且最大限度地减少了延迟,提高了处理速度,并提高了整体能源效率。 v3bednc

Aquabolt-XL 和 AXDIMM

三星不仅介绍了 HBM-PIM 背后的想法和研究,还分享了新设备,这些设备将结合基于人工智能的功能,以增强超级计算机和算法中的高速数据处理。 v3bednc

三星预期的设备之一 Aquabolt-XL 具有人工智能引擎,称为可编程计算单元 (PCU),位于融合的 HBM 设备中。 (延申阅读:三星如何给内存加上AI? )v3bednc

对于大型数据集,计算和受内存限制的 AI 应用程序所需的容量和带宽增加是需要 HBM-PIM 的原因,三星将 PIM 纳入其中以增强 HBM 的功能。 v3bednc

Aquabolt-XL 采用 PCU,可在存储系统内核中实现并行处理。通过添加 HBM 设备,整个架构非常稳健,并且能够满足高数据流量的需求。v3bednc

HBM 的核心是 PCU 引擎,但整体架构是什么? 

HBM 是通过将DRAM裸片堆叠在彼此之上并实现对每个 DRAM 裸片的并行访问来构建的。HBM 的高度内部并行性对整个过程至关重要。 v3bednc

与单独使用 HBM 相比,涉及语音识别的 AI 应用程序的性能提高了 2 倍,这要归功于 HBM-PIM。由于 DRAM 芯片内部发生的计算量相同,因此消除了与移动数据相关的 IO 流量,从而降低了功耗。v3bednc

v3bednc

图:AXDIMM 是一种 CPU 内存数据移动,可避免系统中发生瓶颈,使用 PIM 将有助于该平台。v3bednc

三星宣布的第二款产品是其加速 DIMM (AXDIMM),它支持 DRAM 模块侧的处理,最大限度地减少 CPU 和 DRAM 之间的大量数据移动。 v3bednc

这种数据移动的最小化可以提高所有 AI 加速器系统的能源效率。从本质上讲,该芯片充当缓冲区,其中包含一个 AI 引擎。AXDIMM 可以并行处理多个内存列(一组 DRAM 芯片),而不是一次访问一个列。总的来说,这个模块听起来很有前途,因为它可以保留传统的 DIMM 形式,而 AXDIMM 成为不需要系统修改的直接替代品。 v3bednc

与双倍统计数据保持一致,三星的 AXDIMM 在基于 AI 的应用程序中提供两倍的性能,同时将整个系统的能耗降低 40%。 v3bednc

不受内存系统性能限制 

易于集成可能会为 PIM 打开许多大门,PIM 可以应用于许多不同的内存技术,例如 LPDDR 和 GDDR 以及 HBM,而无需从根本上改变或抛弃现有的内存生态系统。(延申阅读:三星想把PIM用于HBM之外的领域v3bednc

预计三星将在 2022 年扩展其 AI 内存产品组合,包括所有 PIM 技术。三星计划继续与其他半导体领导者合作,完成 PIM 平台的标准化,推出基于人工智能的解决方案,用于需要处理大量数据的医疗保健、语音识别和自动驾驶。v3bednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 外媒评测小米 11T Pro:快充很牛,相机拉跨 伴随着小米 11T 系列的发布,外媒AndroidAuthority发文称在经过六天的使用测视之后,总结出了关于小米 11T Pro的评测报告。AndroidAuthority认为,小米对 11T Pro 的目标很高,但并没有完全达到目标。这款手机有很多优点,例如华丽的显示屏、一流的性能和极快的充电速度,但相机的性能中等,并且有几个缺失的功能损害了它的整体吸引力。
  • 6502处理器出柔性芯片版本啦!缅怀古典半导体 PragmatIC最近宣布开发6502处理器的柔性芯片版本,似乎也带领着科技史爱好者穿梭时空,回到6502处理器的那段怀旧时光...
  • 苹果A15仿生芯片成目前最强芯片!iPhone 13 Pro的GPU跑 EDN小编在测试平台GeekBench上发现了最新的iPhone 13 Pro的跑分成绩,A15仿生芯片的GPU性能与上一代相比有了明显提升。在Metal项目中,iPhone 13 Pro跑分高达14216分,比iPhone 12 Pro的9123分足足高了55%。虽然iPhone 13和13 mini的A15比13 Pro、13 Pro Max少一个GPU核心,但按照目前的跑分情况,iPhone 13和13 mini的游戏性能也是目前Android手机望尘莫及的。
  • 苹果自称A15仿生芯片性能超同行两年? iPhone 13系列搭载的是苹果研发的A15仿生芯片,采用业界目前最先进的5nm制程工艺,集成150亿个晶体管。与iPhone 12系列搭载的A14仿生芯片相比,A15提升明显,A14是集成了118亿个晶
  • 一文看懂苹果发布会:刘海缩小、支持高刷,iPhone13到底香 加州来电,苹果的重头戏--秋季发布会如约到来。以 Apple TV+ 开场,苹果推出了 iPad Mini 6 和 iPad 9 两款 iPad、Apple Watch Series 7,以及iPhone 13 Pro/13 Pro Max,iPhone 13 Pro和iPhone 13 Pro Max四款 iPhone 13 机型。全面屏时代,刘海屏还有多少忠粉?
  • 英特尔、高通等芯片发现新安全漏洞,将严重破坏蓝牙链接 BrakTooth 是商业闭源蓝牙经典堆栈中的一系列新安全漏洞,范围从拒绝服务 (DoS)、固件崩溃和死锁到某些物联网设备中的任意代码执行 (ACE)。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了