广告

4Gbps!HBM2E内存接口再现性能标杆

2020-10-23 邵乐峰 阅读:
近年来,随着内存带宽逐渐成为影响人工智能持续增长的关键焦点领域之一,以高带宽内存(HBM、HBM2、HBM2E)和GDDR开始逐渐显露头角,成为搭配新一代AI/ML加速器和专用芯片的新型内存解决方案。

人工智能/机器学习(AI/ML)在全球范围内的迅速兴起,正推动着制造业、交通、医疗、教育和金融等各个领域的惊人发展。从2012年到2019年,人工智能训练能力增长了30万倍,平均每3.43个月翻一番,就是最有力的证明。支持这一发展速度需要的远不止摩尔定律,人工智能计算机硬件和软件的各个方面都需要不断的快速改进。z2Xednc

z2Xednc

2012-2019年,人工智能训练能力增长30万倍(图片来源:openai.com)z2Xednc

而中国作为全球人工智能发展最快的国家之一,正备受瞩目。根据德勤最新发布的统计预测数据显示,2020年全球人工智能市场规模将达到6800亿元人民币,复合增长率(CAGR)达26%。而中国人工智能市场的表现尤为突出,2019年末已经达到了510亿元人民币的市场规模,人工智能企业超过2600家。预计到2020年,中国AI市场规模将达到710亿元人民币,五年间(2015-2020)的复合增长率高达44.5%。z2Xednc

近年来,中国正在积极推动人工智能与实体经济的融合,从而实现产业的优化升级。2017年7月,国务院印发了《新一代人工智能发展规划》,这一规划与2015年5月发布的《中国制造2025》共同构成了中国人工智能战略的核心。这份具有里程碑意义的规划,对人工智能发展进行了战略性部署,力争到2030年把中国建设成为世界主要人工智能创新中心。此外,2020年还是中国的新基建元年,而人工智能作为一大重点板块,势必成为新基建的核心支撑。z2Xednc

内存带宽将是影响AI发展的关键因素

“内存带宽将成为人工智能持续增长的关键焦点领域之一。”Rambus IP核产品营销高级总监 Frank Ferro日前在接受《电子工程专辑》采访时表示,以先进的驾驶员辅助系统(ADAS)为例,L3级及更高级别系统的复杂数据处理需要超过200GB/s的内存带宽。这些高带宽是复杂AI/ML算法的基本需求,自驾过程中需要这些算法快速执行大量计算并安全地执行实时决策。而在L5级,如果车辆要能够独立地对交通标志和信号的动态环境做出反应,以便准确地预测汽车、卡车、自行车和行人的移动,将需要超过500GB/s的内存带宽。z2Xednc

z2Xednc

不同ADAS级别对存储带宽的要求(图片来源:anandtech.com)z2Xednc

鉴于此,高带宽内存(HBM、HBM2、HBM2E)和GDDR开始逐渐显露头角,成为搭配新一代AI/ML加速器和专用芯片的新型内存解决方案。他说过去几年内,HBM、HMC、PAM4等标准在市场上展开了激烈的竞争,但从目前的发展态势来看,还是HBM占据了更多的市场份额。不过他同时也坦承,由于汽车安全等级要求很高,考虑到HBM本身采用的是复杂的2.5D架构,再结合DRAM设备,所以目前为止在汽车市场上并没有得到突破性的应用,相比之下,GDDR反而会是比较好的解决方案。z2Xednc

高带宽内存(HBM)于2013年推出,是一种高性能3D堆栈SDRAM构架。与前一代产品一样,HBM2为每个堆栈包含最多8个内存芯片,同时将管脚传输速率翻倍,达到2Gbps。HBM2实现每个封装256GB/s的内存带宽(DRAM堆栈),采用HBM2规格,每个封装支持高达8GB的容量。z2Xednc

2018年末,JEDEC宣布推出HBM2E规范,以支持增加的带宽和容量。当传输速率上升到每管脚3.6Gbps时,HBM2E可以实现每堆栈461GB/s的内存带宽。此外,HBM2E支持12个DRAM的堆栈,内存容量高达每堆栈24GB。z2Xednc

z2Xednc

单一DRAM堆栈的HBM2E内存系统(图片来源:Rambus)z2Xednc

HBM2E提供了达成巨大内存带宽的能力。连接到一个处理器的四块HBM2E内存堆栈将提供超过1.8TB/s的带宽。通过3D堆叠内存,可以以极小的空间实现高带宽和高容量需求。进一步,通过保持相对较低的数据传输速率,并使内存靠近处理器,总体系统功率得以维持在较低水位。z2Xednc

坦率的说,采用HBM的设计的代价是增加复杂性和成本,因此Frank Ferro并不建议在人工智能推理应用中使用HBM技术。然而,对于人工智能训练应用,HBM2E的优点使其成为一个更好的选择。它的性能非常出色,所增加的采用和制造成本可以透过节省的电路板空间和电力相互的缓解。在物理空间日益受限的数据中心环境中,HBM2E紧凑的体系结构提供了切实的好处。它的低功率意味着它的热负荷较低,在这种环境中,冷却成本通常是几个最大的运营成本之一。官方数据显示,Rambus IP系统以及IP产品在实验室经过了非常严苛的环境测试,确保从零下50到125摄氏度范围内均能够正常运行。z2Xednc

同时,Frank Ferro也不认为在芯片上采取分布式内存的方法会给HBM2E和GDDR长期的发展带来影响。原因在于尽管SRAM的速度和延迟性都高于DRAM,但在固定的芯片面积上能安装的SRAM数量却非常少,很多情况下为了满足人工智能训练的需求,一部分SRAM设备不得不装在芯片之外,这就是问题所在。但总体来说,这两种方案属于从不同角度出发解决同一个问题,两者之间是互补而非相互阻碍。z2Xednc

创纪录的性能

针对高带宽和低延迟进行了优化,Rambus HBM2E内存接口解决方案实现了创纪录的4Gbps性能。该解决方案由完全集成且经过验证的PHY和内存控制器IP组成,搭配SK Hynix 3.6Gbps运行速度的HBM2E DRAM,在物理层面实现了完整的集成互联,可以从单个HBM2E设备提供460GB/s的带宽,这也被Frank Ferro视作其HBM2E 产品的核心差异化优势之一。这意味着,除了提供完整的内存子系统、硬核PHY和时序收敛外,用户额外需要的系统级支持、工具套件和技术服务也都包含在内,集成难度和设计时间得以大幅度下降。z2Xednc

z2Xednc

Rambus HBM2E 4Gbps发送端眼图(图片来源:Rambus)z2Xednc

从2017年正式投产HBM解决方案以来,Rambus目前已经拥有第三代PHY和第二代内存控制器IP,全球范围内的成功案例项目超过50个。除了4Gbps HBM2E外,Rambus在其他不同工艺节点的产品还包括采用Global Foundries 12nm/14nm工艺的HBM2,速度为2.0 Gbps/s;采用Global Foundries 12LP+和三星14nm/11nm工艺的HBM2E产品。z2Xednc

不可否认,4.0Gbps是一个全新的行业标杆。在这一过程中,Rambus与SK hynix和Alchip展开了合作,采用台积电N7工艺和CoWoS®先进封装技术,实现了HBM2E 2.5D系统在硅中验证Rambus HBM2E PHY和内存控制器IP。Alchip与Rambus的工程团队共同设计,负责中介层和封装基板的设计。z2Xednc

“在我们提供的完整参考设计框架中,最重要的一点就是如何更好地对中介层进行完整的设计和表征化处理,以确保信号完整性。此外,我们还协助用户对每个信号通道进行仿真分析,通过Lab Station工具对内存子系统进行最优化设计,并提供在SI高速信号完整性和电源完整性方面的经验等等。”Frank Ferro说Rambus的初衷,不仅仅只是扮演IP供应商的角色,更是希望在系统层面降低用户设计难度。z2Xednc

信号完整性之所以如此重要,是因为HBM作为高速内存接口,在与中介层互联的过程中包括至少上千条不同的数据链路,必须要确保所有链路的物理空间得到良好的控制,整个信号的完整性也必须得到验证。因此,Rambus的做法如果从表征化层面来讲,不但需要对整个中介层的材料做出非常精细的选择,还要考虑渐进层的厚度以及整个电磁反射相关的物理参数,并在此基础上进行完整的分析和仿真,以实现信号一致性的处理。z2Xednc

z2Xednc

HBM2E内存接口子系统示例z2Xednc

燧原科技是Frank Ferro在发布会上提及的中国合作伙伴。在此次合作中,燧原科技为自己下一代人工智能训练芯片选择了Rambus HBM2 PHY和内存控制器IP,可实现2Tb/s的性能。而在今年4月和5月,长鑫存储、兆易创新两家公司还分别和Rambus签署了DRAM(动态随机存取存储)与RRAM(电阻式随机存取存储器,也可写作ReRAM)技术专利授权。z2Xednc

Rambus大中华区总经理 Raymond Su表示,通过对IP控制器公司Northwest Logic和Verimatrix安全IP业务部门的收购,Rambus实现了在内存IP层面提供一站式采购和“turn key”服务的目标。接下来,在中国市场,公司将紧密地与云厂商、OEM和ODM合作,推动整个内存产业生态系统的建设。z2Xednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
邵乐峰
暂无简介...
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 使用PCIe交换网结构在多主机系统中优化资源部署 PCIe交换网结构是一种能够充分利用CPU巨大性能的绝佳方法,但PCIe标准本身存在一些障碍。不过,可以通过使用动态分区和多主机单根I/O虚拟化共享技术来解决这些难题,以便可以将GPU和NVMe资源实时动态分配给多主机系统中的任何主机,从而满足机器学习工作负载不断变化的需求。
  • 利用Gen-Z实现内存共享和低延迟 Gen-Z本身的主要技术优势是能够将DRAM和非易失性存储器及未来的持久性存储技术结合起来,它还使用一种高带宽、低延迟和高效的协议来简化软硬件设计,降低了解决方案的成本和复杂性。
  • ARM发布新一代Cortex-R82:首次支持Linux,首款64位实时控 今天刚说到5个大学生4个月造出RISC-V芯片的事情,那边“敌对阵营”ARM就发布了新款Cortex-R82:首款64位实时控制器,首次支持Linux,SSD缓存可达1TB,号称比R8性能翻倍,究竟如何?为什么终于支持Linux了......
  • 安全闪存——网联汽车和工业应用中安全问题的解决之道 随着汽车和工业市场中自动化和互联革命的推进,边缘节点正在迅速成为网络攻击的目标。软件更新、远程捕获诊断数据以及远程端点与基础设施之间的通信变得越来越普遍,因此容易遭受网络攻击和其它安全威胁。 随着半导体技术的进步,工艺尺寸不断缩小,将闪存嵌入到包含硬件安全模块(HSM)的MCU中也变得越来越困难,因此外置闪存的需求不断增加。当闪存外置于MCU时,存储的代码和数据将更加容易受到攻击,所以设备必须设计安全启动流程和其它基础设施,以确保存储和检索的内容可以信赖。 本文探讨的是,当闪存外置于拥有HSM模块的MCU时,但仍然保持硬件信任根时,新一代安全设备的设计会面临哪些挑战和安全要求。本文涉及的其他内容还包括:加密安全存储、快速安全启动、安全固件远程更新和管理合规。
  • 希望助华为渡难关!华为张霁为何如此自信?(附Top PhD论文) 前几天,EDN电子技术设计网报道了:《华为“天才少年”校招薪资曝光:西安交大100万,华科201万》,详细介绍了华为招纳四大天才少年的情况,其中华科大博士生张霁年薪201万。昨天(8月4日)张霁对此进行了强大的回应:希望能助华为渡过难关!他为何如此自信?我们看看其Top PhD实力。
  • 华为“天才少年”校招薪资曝光:西安交大100万,华科201万 去年,华为的“对八位2019届顶尖学生实行年薪制管理”登上了各大平台的热榜,网友大呼华为“大手笔”,现在,时隔一年,第二批“天才少年”入选者也曝光了。西交大本科毕业年薪100万,华科博士毕业年薪201万!
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了