广告

三星的 PIM 抢走了Hot Chips的热点,这对 HBM 界意味着什么?

2021-08-31 12:12:36 胡安 阅读:
三星将 PIM 纳入高带宽内存(HBM)。PIM 将在 AI 数据处理不断增长的需求与当前难以满足这些需求的内存解决方案之间提供及时的桥梁。

在今年Hot Chips的活动中,三星展示了新的人工智能技术内存生态系统集成解决方案——HBM-PIM系统。该组合使用Xilinx Alveo AI 加速器系统,该系统声称可将整体系统性能提高 2.5 倍于标准速率,同时降低 70% 的能耗。 5Kgednc

5Kgednc

 5Kgednc

图: Xilinx 的 Alveo AI 加速器。5Kgednc

PIM 本身并不是一项新技术,但它以前只是作为学术界和工业界的一个高级概念进行了探索。PIM 的工作原理是集成计算和内存,使具有逻辑的内存设备能够在本地对数据执行计算,这是通常为 CPU、GPU 和 NPU 等高性能逻辑设备保留的任务。在本地对数据执行计算的能力最大限度地减少了延迟,提高了处理速度,并提高了能源效率。5Kgednc

三星通过在 HBM 设备中集成称为可编程计算单元 (PCU) 的 AI 引擎,首次在 HBM 中实现了 PIM 概念。5Kgednc

更快的速率和更少的能源消耗的这些好处对于人工智能应用来说是必不可少的。AI 算法和应用程序面临的一些问题来自大量数据,而当前的存储设备没有足够的容量或带宽来满足这些要求。 5Kgednc

如果系统无法处理所有输入的数据,则存储系统的计算性能将受到影响。三星集成 PIM 的计划应该允许在存储设备中本地保留和处理一些数据,从而减少数据流。 5Kgednc

5Kgednc

数据处理在 AI 应用程序中至关重要,需要像 HBM-PIM 这样重新设计的存储设备来引入由 AI 加速器引擎支持的计算逻辑。(图片来源:三星5Kgednc

PIM 的功能从集成计算和内存开始,使内存设备能够在本地执行任何操作。 5Kgednc

使用 PIM,三星可以消除对通常执行 CPU、GPU 和 NPU 等计算的行业标准逻辑设备和内存解决方案的需求。这种内存解决方案不仅节省了系统的占用空间,而且最大限度地减少了延迟,提高了处理速度,并提高了整体能源效率。 5Kgednc

Aquabolt-XL 和 AXDIMM

三星不仅介绍了 HBM-PIM 背后的想法和研究,还分享了新设备,这些设备将结合基于人工智能的功能,以增强超级计算机和算法中的高速数据处理。 5Kgednc

三星预期的设备之一 Aquabolt-XL 具有人工智能引擎,称为可编程计算单元 (PCU),位于融合的 HBM 设备中。 (延申阅读:三星如何给内存加上AI? )5Kgednc

对于大型数据集,计算和受内存限制的 AI 应用程序所需的容量和带宽增加是需要 HBM-PIM 的原因,三星将 PIM 纳入其中以增强 HBM 的功能。 5Kgednc

Aquabolt-XL 采用 PCU,可在存储系统内核中实现并行处理。通过添加 HBM 设备,整个架构非常稳健,并且能够满足高数据流量的需求。5Kgednc

HBM 的核心是 PCU 引擎,但整体架构是什么? 

HBM 是通过将DRAM裸片堆叠在彼此之上并实现对每个 DRAM 裸片的并行访问来构建的。HBM 的高度内部并行性对整个过程至关重要。 5Kgednc

与单独使用 HBM 相比,涉及语音识别的 AI 应用程序的性能提高了 2 倍,这要归功于 HBM-PIM。由于 DRAM 芯片内部发生的计算量相同,因此消除了与移动数据相关的 IO 流量,从而降低了功耗。5Kgednc

5Kgednc

图:AXDIMM 是一种 CPU 内存数据移动,可避免系统中发生瓶颈,使用 PIM 将有助于该平台。5Kgednc

三星宣布的第二款产品是其加速 DIMM (AXDIMM),它支持 DRAM 模块侧的处理,最大限度地减少 CPU 和 DRAM 之间的大量数据移动。 5Kgednc

这种数据移动的最小化可以提高所有 AI 加速器系统的能源效率。从本质上讲,该芯片充当缓冲区,其中包含一个 AI 引擎。AXDIMM 可以并行处理多个内存列(一组 DRAM 芯片),而不是一次访问一个列。总的来说,这个模块听起来很有前途,因为它可以保留传统的 DIMM 形式,而 AXDIMM 成为不需要系统修改的直接替代品。 5Kgednc

与双倍统计数据保持一致,三星的 AXDIMM 在基于 AI 的应用程序中提供两倍的性能,同时将整个系统的能耗降低 40%。 5Kgednc

不受内存系统性能限制 

易于集成可能会为 PIM 打开许多大门,PIM 可以应用于许多不同的内存技术,例如 LPDDR 和 GDDR 以及 HBM,而无需从根本上改变或抛弃现有的内存生态系统。(延申阅读:三星想把PIM用于HBM之外的领域5Kgednc

预计三星将在 2022 年扩展其 AI 内存产品组合,包括所有 PIM 技术。三星计划继续与其他半导体领导者合作,完成 PIM 平台的标准化,推出基于人工智能的解决方案,用于需要处理大量数据的医疗保健、语音识别和自动驾驶。5Kgednc

  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • Nothing Phone 1 官方承认品控缺陷,但拆解后有新发现 前一加手机联合创始人裴宇创立的 Nothing 公司在国外备受关注,但Nothing Phone 1发布之后却被网友爆料大量翻车现场。目前官方也已承认了Nothing Phone 1 在前摄开孔位置附近出现了坏点或绿晕的问题。但Nothing Phone 1也并非一无是处,著名的 JerryRigEverything 耐用性测试就称其“超级坚固”。
  • 拆解一个中国产的“树莓派”开发笔记本,售价279美元值 “树莓派”在全球市越来越受欢迎,甚至有家长开始让孩子用树莓派学习开发产品。有中国厂商嗅到,率先开发出了基于“树莓派”笔记本——CrowPi L ,外观看和普通笔记本差不多, 但却是基于树莓派Raspberry Pi 4B 开发板的套件,专为 STEM 教育而设计,带有可选的电子模块和教程。EDN发现有外媒对其进行了拆解,接下来将这篇拆解文章分享给大家:
  • 售价将超50万美元,乔布斯的Apple-1原型机电路板长什么 这块在 1976 年由史蒂夫-沃兹尼亚克手工焊接的 Apple Computer A 印刷电路板被史蒂夫-乔布斯用来向保罗-特雷尔演示 Apple-1 电脑,后者是加州山景城 The Byte Shop 的老板。这台原型机在“苹果车库”里保存了很多年,然后在大约 30 年前由史蒂夫-乔布斯交给了它现在的主人。当时,乔布斯已被苹果公司赶走。乔布斯当时认为这个原型不是要供奉的东西,而是要被重新利用的东西。
  • iFixit 拆解M2 MacBook Ai:没有散热器,但有用途不明的加 日前,iFixit发表了M2 MacBook Air的拆解视频,表示在M2 MacBook Air 中发现了新增的端口,以及加速度计。
  • M2 Pro 和 M2 Max 或是苹果首款采用台积电3nm 工艺的 M1 Pro 和 M1 Max 最多可配置 10 核 CPU 和 32 核 GPU。借助 M2 Pro 和 M2 Max,Apple 有望突破这一门槛,为这两个领域带来更多的核心数量。目前M2 Pro相关的爆料很少,但据称M2 Max 有12 核 GPU 和 38 核 GPU。12 核 CPU 将包括 10 个性能核心和两个能效核心。
  • 适用于CSP GaN FET的简单高性能散热管理解决方案 本文将演示芯片级封装(CSP) GaN FET提供的散热性能为什么至少能与硅MOSFET相当,甚至更胜一筹。GaN FET由于其卓越的电气性能,尺寸可以减小,从而能在不违背温度限制的同时提高功率密度。本文还将通过PCB布局的详细3D有限元仿真对这种行为进行展示,同时还会提供实验验证,对分析提供支持。
  • 研究人员开发出新设计框架,用于构建下一代模拟计算芯片 印度科学研究所 (IISc) 的研究人员开发了一种设计框架,用于构建下一代模拟计算芯片组,与目前大多数电子设备中的数字芯片相比,该芯片组速度更快、功耗更低。
  • 小米12s系列发布:首款徕卡品牌、1 英寸摄像头传感器、 继一加牵手哈苏(HASSELBLAD)以及 Vivo 牵手蔡司之后,小米和徕卡在今年早些时候也宣布建立合作伙伴关系。小米在六月底宣布,小米 12S 系列将成为该交易的第一批手机,就在昨日,小米举办了小米12S系列新品发布会,包括小米12S、小米12S Pro、小米12S Ultra三款手机,这三款手机均提供徕卡 Summicron 镜头以减少眩光并提高透光率,同时还提供徕卡成像配置文件。
  • 雷军官宣自研电池管理芯片“澎湃 G1”,及小米 12S系列 今日(7月1日),雷军在个人微博官宣新的自研芯片——小米澎湃G1电池管理芯片,该芯片将于7月4日与小米12S系列共同发布。此外,还分享了小米电池技术新进展、小米自研FBO焕新存储技术以及最新升级的叶脉冷泵散热技术。
  • Arm发布第二代 Armv9 CPU及首款移动端支持光追的GPU 日前,Arm推出了基于Armv9架构新一代的CPU,包括Arm Cortex-X3、Arm Cortex-A715等,同时还带来了其首款在移动端支持硬件光线追踪的GPU——Immortalis GPU。这是自Arm去年3月发布全新v9架构、5月发布第一代基于v9架构产品后的第二次更新。
  • 用M2芯片升级M1 MacBook Pro,结果…… 虽然新款 MacBook 与上一代机型的硬件和外形尺寸大致相同,但 M2 芯片的升级带来了主要的性能和电池增益。YouTuber用户@ Luke Miani尝试使用 M2 芯片升级 M1 MacBook Pro。该UP主想知道,既然设计结构相同,那么将 M1 芯片换成 M2 芯片能否成功……
  • 三星电子“试生产”3纳米,据称首位客户为中国半导体厂 据韩媒报道,三星电子计划最早于本周开始试产采用GAA工艺的3nm产品,并称第一个客户是中国的半导体公司。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了