广告

AI推动着存储器互连的不断演进

2020-12-08 Gary Hilson 阅读:
为了满足人工智能(AI)和机器学习应用的需求,位置这个词被越来越多地应用于数据存储。但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。

位置、位置、位置,这并不只是房地产界的核心词。为了满足人工智能(AI)和机器学习应用的需求,这个词被越来越多地应用于数据存储,如数据存储的位置以及存放数据的存储器。cafednc

但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。Rambus研究员Steve Woo最近在AI硬件峰会上主持了一次在线圆桌论坛,讨论了存储器互连的挑战和解决方案,他说:“我们都在为AI的不同方面而工作。”cafednc

Marvell的ASIC事业部CTO Igor Arsovski在17年前曾经做过SRAM设计工程师。他说,慕尼黑啤酒节(Oktoberfest)因为新冠肺炎疫情取消了,而把存储互连比做啤酒很合适。参加啤酒节,可以很容易喝到啤酒。“而SRAM就好像近在身边的啤酒一样。它随手可得,不需要耗费多少能量,而且只要您需要,它就在那儿,就像拥有一个不错的高性能加速器。”但是,如果没有足够的存储空间,就需要走远一点,同时也需要花费更多能量来获取它,就好像必须走更远才能买到大桶啤酒一样。cafednc

Arsovski 说,对存储器而言,大桶啤酒就好像高带宽存储器(HBM),它正越来越多地被AI所采用。“访问这种存储器需要花费约60倍的能量。那里容量虽然大得多,但访问它的带宽却很少。”将啤酒类比扩展到LPDDR之类的技术,这种技术比SRAM更先进。他说:“LPDDR功耗明显更高,但容量更大。这就像沿着那条路走到您最喜爱的酒吧,在那里有几桶啤酒等着您。”cafednc

Arsovski表示,下一代加速器的发展方向是将那些存储器放在加速器正上方,让存储离计算更近。MLCommons执行董事David Kanter补充说,这个啤酒类比概述了不同的封装途径以及在何处安放不同的硅片。MLCommons是一个提供机器学习标准和AI推理基准的组织,其成员涵盖学术界和工业界。他说道:“这使我们对不同的工作负载有非常全面的了解。MLCommons正在开始采取一些措施,其中重点之一就是建立咨询委员会,以吸收特定应用领域的一些资深专家。”cafednc

Kanter说,对存储器而言,整个系统环境至关重要。“您必须考虑系统要实现什么,这将决定要考虑的问题。”他说,当涉及到存储器的位置和连接时,芯片、封装和电路板都是必须考虑的要素。“在阵列结构、单元类型以及距离方面,有很多地方可以优化。”cafednc

Kanter说,明白哪里需要带宽以及非易失性也是关键的考量因素。“希望这将引导做出正确的选择。”cafednc

对于那些传统上并不属于存储系统构建流程的公司而言,这些考量因素至关重要。Google软件工程师Sameer Kumar花费大量时间在编译器和可扩展系统上,这些系统的网络和存储带宽对不同的机器学习模型非常重要,包括其大规模批量操作的能力。他说:“人工智能训练涉及许多存储方面的优化,”这是在编译器中获得极高效率的最关键步骤,它意味着存储也需要更加智能。cafednc

Woo认为,数据移动实际上已经开始主宰AI应用的某些阶段,所以存储互连变得越来越重要。“性能和能效成为日益重要的问题”,提高数据速率极具挑战性,因为所有人都希望将数据移动速度加倍,能效也加倍。“我们以前所依赖的许多技巧和技术都已不再适用,或者正在被慢慢淘汰。我们有极好的机会来思考新的体系架构,并在移动数据的方式上进行创新。”cafednc

Woo表示,创新不仅在存储器件本身上,而且还包括封装,以及堆叠等新技术。在创新的同时,还要确保数据的安全性,这是Rambus目前越来越关注的。cafednc

Rambus感受到业界对3D堆栈的极大兴趣,但如果带宽不随堆栈容量增加而相应增加的话,其可用性会受到限制。(图片来源:Rambus)cafednc

Arsovski表示,Marvell花费了大量时间为客户建立AI系统,为客户提供带宽相关信息,如每个芯片边缘有多少带宽可以用于数据移动,以及有多少带宽可以用于访问存储器。他说:“到目前为止,我们已经可以看到,客户需要更多的存储带宽和更多的I / O带宽。如果看看封装级别的互连,可以看到存在很大的不匹配。我们现在已经到达瓶颈,高端芯片-芯片连接的需求压力持续增大。”cafednc

Arsovski表示,从存储器的角度来看,对于那些无法在裸片上直接构建AI模型的设计师来说,其下一步考虑应该是HBM或GDDR。但是也有很多转而采用3D堆叠,以尝试获得更大的带宽,因为在芯片边缘移动数据的容量有限。“客户希望得到越来越多的I/O带宽,而我们在边缘数据移动上遇到了瓶颈。”cafednc

Kanter说,即使在机器学习的世界中,也存在着“很大的多样性”,这对生态系统既有制约,也有促进,记住这一点很重要。对于常规DRAM来说,随机查找庞大的数据结构不适合单个节点,这意味着如果您想将数据真正保存在存储器中,则需要构建一个非常大的系统集群。他说:“与传统的面向视觉的模型相比,其特征和属性完全不同。在存储方面要牢记这一多样性,这一点非常重要。”cafednc

Kanter说,当需要将大量存储和计算整合在一起时,就需要互连了。“要进行大规模训练,迫切需要既适合客户又适合要解决问题的互连方案。”他说,对于前沿应用来说,互连将特别重要。“如果您只想为一个小型网络训练一个GPU,那么关键因素可能就是存储带宽。”cafednc

Kumar说,更多的存储带宽可以实现不同种类的优化,但是如果模型特别受存储限制,就有必要引入更多的计算。“如果有更多的存储吞吐量可用,甚至有更多的互连吞吐量可用,将可能会使模型设计更加灵活,而且可以启用新功能,并一起构建各种类型的模型。”cafednc

Woo表示,Rambus感受到大家对3D堆栈兴趣浓厚,但随着堆栈越来越高,增加进出堆栈的带宽也变得越来越困难。“如果只是增加堆栈容量,但没有增加相应的带宽,那方案的实用性就成问题了。”cafednc

他说,关键点在于寻找合适的方案,既能保持填充频率,又能利用堆叠能效方面的优势,从而使带宽与容量和堆叠之间具有相对恒定的比率。cafednc

Kumar和Arsovski都认为需要一个平衡、可扩展的系统,这种系统具有精心设计的软件堆栈。 Arsovski说,“我们所说的是一种可以良好扩展的类脑结构。”它必须低功耗且具有大量连接,而现在,3D堆叠是我们能做到最接近的结构,但仍然存在功耗、封装和机械结构方面的挑战。 “我们需要研究出一个高度并行的系统,其每个层级的功耗都极低,而不必担心要为冷却耗费数千瓦的功率。”cafednc

他说,是时候开始寻找适合AI系统的下一个基本构建模块了。“一直以来,我们都采用晶体管作为基本单元,迄今为止,它们都发挥出色。我们通常会依赖我们所知道和喜爱的技术,并且希望它持续发展。但现在我们需要重头开始设计了。”cafednc

(参考原文: AI Drives Memory Interconnect Evolution)cafednc

责编:Amy Guancafednc

本文为《电子工程专辑》2020年12月 刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  cafednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Gary Hilson
EE Times特约编辑。Gary Hilson是一位自由撰稿人和编辑,曾为北美地区的印刷和电子出版物撰写过大量稿件。 他感兴趣的领域包括软件、企业级和网络技术、基础研究和教育市场,以及可持续交通系统和社会新闻。 他的文章发表于Network Computing,InformationWeek,Computing Canada,Computer Dealer News,Toronto Business Times,Strategy Magazine和Ottawa Citizen。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 爱芯元智沉浸式黑光体验,AI赋能让ISP没有上限 人工智能产业的逐渐成熟,驱动了AI芯片的快速发展,也对人工智能芯片的画质提出了更高的要求,现有的镜头与传感器在物理学上已经接近极限,ISP(Image signal processor)作为SoC中负责画质处理和提升的主要单元,其发展也已经达到‘天花板’,业界迫切需要找到新的方式来提升画质。AI赋能ISP成为画质升级的最优解。
  • 安霸推出AI域控制器CV3系列SoC,单芯片即可实现ADAS及L4 CV3系列汽车专用SoC以5纳米超低功耗制程达到空前的单芯片500 eTOPS AI算力,同时支持高分辨率摄像头、毫米波雷达、激光雷达和超声波雷达。
  • ISSCC 2022倒计时:欧洲,你准备好了吗? 国际固态电路会议(ISSCC 2022)将于2022年2月20日至24日以现场活动和虚拟活动两种形式同时举行。尽管欧洲具有创新生态系统,但其通过提交技术论文的代表人数多年来却一直在稳步下降。ISSCC欧洲地区委员会正在努力扭转这一趋势。
  • “AI+税务”,追查“雪梨、薇娅们”偷逃税的技术难度并 过去几天,网友连续吃瓜,而最令人惊叹的当属头部网红主播薇娅因偷逃税罚款共计13.41亿元一事了。据EDN小编发现,浙江省税务局的官方通报显示:案件是“经过大数据分析发现”的。这让人不免好奇,什么是税收大数据分析?税务系统的大数据是如何分析出这些网红主播们偷逃税的?
  • “元宇宙”落地之路:新场景与三大硬科技机会 最近一段时间“元宇宙”一词火爆全网和电子信息圈,尤其是在Facebook不再要Face而改名为Meta之后更是形成了一个小高潮,但是很多人是从游戏、VR/AR等角度去诠释这个Metaverse新词,但元宇宙的本质是一种近乎完全数字化的生活和工作环境。所以尽管游戏等行业和应用也许是最快导入元宇宙的领域,但是我们认为自动驾驶汽车、服务型制造、数字孪生、远程教育和医疗等都是向元宇宙方向出发的新场景,而元宇宙也离不开数据处理加速器、数字人民币等信息安全技术和新一代网络连接技术的支撑。
  • 商汤被美国列入涉军企业名单,推迟全球发售及上市 据EDN电子技术设计报道,美国财政部于当地时间2021年12月10日宣布将商汤加入所谓“中国军工复合体企业”清单,商汤虽发布声明对这一决定与相关指控表示强烈反对,但仍被迫推迟全球发售及上市。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了