广告

AI推动着存储器互连的不断演进

2020-12-08 Gary Hilson 阅读:
为了满足人工智能(AI)和机器学习应用的需求,位置这个词被越来越多地应用于数据存储。但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。

位置、位置、位置,这并不只是房地产界的核心词。为了满足人工智能(AI)和机器学习应用的需求,这个词被越来越多地应用于数据存储,如数据存储的位置以及存放数据的存储器。SLjednc

但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。Rambus研究员Steve Woo最近在AI硬件峰会上主持了一次在线圆桌论坛,讨论了存储器互连的挑战和解决方案,他说:“我们都在为AI的不同方面而工作。”SLjednc

Marvell的ASIC事业部CTO Igor Arsovski在17年前曾经做过SRAM设计工程师。他说,慕尼黑啤酒节(Oktoberfest)因为新冠肺炎疫情取消了,而把存储互连比做啤酒很合适。参加啤酒节,可以很容易喝到啤酒。“而SRAM就好像近在身边的啤酒一样。它随手可得,不需要耗费多少能量,而且只要您需要,它就在那儿,就像拥有一个不错的高性能加速器。”但是,如果没有足够的存储空间,就需要走远一点,同时也需要花费更多能量来获取它,就好像必须走更远才能买到大桶啤酒一样。SLjednc

Arsovski 说,对存储器而言,大桶啤酒就好像高带宽存储器(HBM),它正越来越多地被AI所采用。“访问这种存储器需要花费约60倍的能量。那里容量虽然大得多,但访问它的带宽却很少。”将啤酒类比扩展到LPDDR之类的技术,这种技术比SRAM更先进。他说:“LPDDR功耗明显更高,但容量更大。这就像沿着那条路走到您最喜爱的酒吧,在那里有几桶啤酒等着您。”SLjednc

Arsovski表示,下一代加速器的发展方向是将那些存储器放在加速器正上方,让存储离计算更近。MLCommons执行董事David Kanter补充说,这个啤酒类比概述了不同的封装途径以及在何处安放不同的硅片。MLCommons是一个提供机器学习标准和AI推理基准的组织,其成员涵盖学术界和工业界。他说道:“这使我们对不同的工作负载有非常全面的了解。MLCommons正在开始采取一些措施,其中重点之一就是建立咨询委员会,以吸收特定应用领域的一些资深专家。”SLjednc

Kanter说,对存储器而言,整个系统环境至关重要。“您必须考虑系统要实现什么,这将决定要考虑的问题。”他说,当涉及到存储器的位置和连接时,芯片、封装和电路板都是必须考虑的要素。“在阵列结构、单元类型以及距离方面,有很多地方可以优化。”SLjednc

Kanter说,明白哪里需要带宽以及非易失性也是关键的考量因素。“希望这将引导做出正确的选择。”SLjednc

对于那些传统上并不属于存储系统构建流程的公司而言,这些考量因素至关重要。Google软件工程师Sameer Kumar花费大量时间在编译器和可扩展系统上,这些系统的网络和存储带宽对不同的机器学习模型非常重要,包括其大规模批量操作的能力。他说:“人工智能训练涉及许多存储方面的优化,”这是在编译器中获得极高效率的最关键步骤,它意味着存储也需要更加智能。SLjednc

Woo认为,数据移动实际上已经开始主宰AI应用的某些阶段,所以存储互连变得越来越重要。“性能和能效成为日益重要的问题”,提高数据速率极具挑战性,因为所有人都希望将数据移动速度加倍,能效也加倍。“我们以前所依赖的许多技巧和技术都已不再适用,或者正在被慢慢淘汰。我们有极好的机会来思考新的体系架构,并在移动数据的方式上进行创新。”SLjednc

Woo表示,创新不仅在存储器件本身上,而且还包括封装,以及堆叠等新技术。在创新的同时,还要确保数据的安全性,这是Rambus目前越来越关注的。SLjednc

Rambus感受到业界对3D堆栈的极大兴趣,但如果带宽不随堆栈容量增加而相应增加的话,其可用性会受到限制。(图片来源:Rambus)SLjednc

Arsovski表示,Marvell花费了大量时间为客户建立AI系统,为客户提供带宽相关信息,如每个芯片边缘有多少带宽可以用于数据移动,以及有多少带宽可以用于访问存储器。他说:“到目前为止,我们已经可以看到,客户需要更多的存储带宽和更多的I / O带宽。如果看看封装级别的互连,可以看到存在很大的不匹配。我们现在已经到达瓶颈,高端芯片-芯片连接的需求压力持续增大。”SLjednc

Arsovski表示,从存储器的角度来看,对于那些无法在裸片上直接构建AI模型的设计师来说,其下一步考虑应该是HBM或GDDR。但是也有很多转而采用3D堆叠,以尝试获得更大的带宽,因为在芯片边缘移动数据的容量有限。“客户希望得到越来越多的I/O带宽,而我们在边缘数据移动上遇到了瓶颈。”SLjednc

Kanter说,即使在机器学习的世界中,也存在着“很大的多样性”,这对生态系统既有制约,也有促进,记住这一点很重要。对于常规DRAM来说,随机查找庞大的数据结构不适合单个节点,这意味着如果您想将数据真正保存在存储器中,则需要构建一个非常大的系统集群。他说:“与传统的面向视觉的模型相比,其特征和属性完全不同。在存储方面要牢记这一多样性,这一点非常重要。”SLjednc

Kanter说,当需要将大量存储和计算整合在一起时,就需要互连了。“要进行大规模训练,迫切需要既适合客户又适合要解决问题的互连方案。”他说,对于前沿应用来说,互连将特别重要。“如果您只想为一个小型网络训练一个GPU,那么关键因素可能就是存储带宽。”SLjednc

Kumar说,更多的存储带宽可以实现不同种类的优化,但是如果模型特别受存储限制,就有必要引入更多的计算。“如果有更多的存储吞吐量可用,甚至有更多的互连吞吐量可用,将可能会使模型设计更加灵活,而且可以启用新功能,并一起构建各种类型的模型。”SLjednc

Woo表示,Rambus感受到大家对3D堆栈兴趣浓厚,但随着堆栈越来越高,增加进出堆栈的带宽也变得越来越困难。“如果只是增加堆栈容量,但没有增加相应的带宽,那方案的实用性就成问题了。”SLjednc

他说,关键点在于寻找合适的方案,既能保持填充频率,又能利用堆叠能效方面的优势,从而使带宽与容量和堆叠之间具有相对恒定的比率。SLjednc

Kumar和Arsovski都认为需要一个平衡、可扩展的系统,这种系统具有精心设计的软件堆栈。 Arsovski说,“我们所说的是一种可以良好扩展的类脑结构。”它必须低功耗且具有大量连接,而现在,3D堆叠是我们能做到最接近的结构,但仍然存在功耗、封装和机械结构方面的挑战。 “我们需要研究出一个高度并行的系统,其每个层级的功耗都极低,而不必担心要为冷却耗费数千瓦的功率。”SLjednc

他说,是时候开始寻找适合AI系统的下一个基本构建模块了。“一直以来,我们都采用晶体管作为基本单元,迄今为止,它们都发挥出色。我们通常会依赖我们所知道和喜爱的技术,并且希望它持续发展。但现在我们需要重头开始设计了。”SLjednc

(参考原文: AI Drives Memory Interconnect Evolution)SLjednc

责编:Amy GuanSLjednc

本文为《电子工程专辑》2020年12月 刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  SLjednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Gary Hilson
EE Times特约编辑。Gary Hilson是一位自由撰稿人和编辑,曾为北美地区的印刷和电子出版物撰写过大量稿件。 他感兴趣的领域包括软件、企业级和网络技术、基础研究和教育市场,以及可持续交通系统和社会新闻。 他的文章发表于Network Computing,InformationWeek,Computing Canada,Computer Dealer News,Toronto Business Times,Strategy Magazine和Ottawa Citizen。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 拆解:Google Home Hub智能扬声器和显示屏 虽然我家是以AmazonEcho为中心的,但Google的智能扬声器和显示屏生态系统也有很多拥趸。在去年夏天的一个促销活动中,我购买了一个优惠三件套组合,之前已拆解了其中的GoogleHome Mini和GE C-Life智能灯泡,本文拆解的是其中的第三位成员——Google Home Hub。
  • 猎豹移动旗下猎户星空与南昌市、58集团签订家政机器人 近日,在2020年第二届滕王阁创投峰会(以下简称“峰会”)上,猎豹移动旗下猎户星空与南昌市人民政府、58集团三方签订了“家政机器人战略合作框架协议”,三方将共同携手,各自发挥优势,推动家政服务数字社区建设、家政场景服务机器人的研发应用与产业发展。
  • (华为)激光雷达参数详解 新势力造车在近两年得到飞速发展,国内的蔚来、理想、小鹏等都在资本市场上融到了大量的资金,早期的新势力汽车是从新能源电动车入手,因为自动驾驶门槛较高,但是随着技术的发展和客户潮流的需要,自动驾驶不得不提上日程,尽管特斯拉的马斯克对激光雷达不屑一顾,但是还是有除特斯拉以外的大部分厂商都在使用激光雷达,而且是作为主要的传感器。因此,激光雷达是自动驾驶中绕不过去的坎,本文对激光雷达的参数进行详细解读。
  • 自动驾驶最成功的领域会在哪里?农用拖拉机!(附视频) 自动驾驶从最初的乘用车Waymo到自动驾驶卡车,但是,这两个领域都没有实现真正能够落地的应用。那么,自动驾驶最成功的领域将会是哪里呢?农用领域的自动驾驶越来越深入。凭借360度摄像头、一套传感器和自主导航软件,Monarch拖拉机可以在无人驾驶的情况下执行预先编程的任务。我们来看看其智能化程度。并附上视频。
  • 电动汽车“新势力造车”厂商市值排行(2020年最新),占全 以特斯拉为代表的电动汽车在全球刮起了新势力造车风,这两年理想、蔚来等在资本的支持下得到了高速发展。那么,他们的市值现在有多少呢?
  • 什么是神经网络?工作原理是什么?——AI算法必懂 关注AI的同学一定都知道神经网络,这是AI算法中模拟人的大脑所衍生出来的学科和算法。可以说,不了解神经网络就不能说动算法,懂算法者必懂神经网络。下面我们就对神经网络的工作原理进行深入浅出的介绍。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了