广告

AI推动着存储器互连的不断演进

2020-12-08 08:41:39 Gary Hilson 阅读:
为了满足人工智能(AI)和机器学习应用的需求,位置这个词被越来越多地应用于数据存储。但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。

位置、位置、位置,这并不只是房地产界的核心词。为了满足人工智能(AI)和机器学习应用的需求,这个词被越来越多地应用于数据存储,如数据存储的位置以及存放数据的存储器。Zqrednc

但解决这种位置的挑战不只是存储器供应商应做的工作,与AI相关的供应商也扮演着重要角色。尽管存储距离计算越来越近,但解决方案的很大一部分在于存储互连。Rambus研究员Steve Woo最近在AI硬件峰会上主持了一次在线圆桌论坛,讨论了存储器互连的挑战和解决方案,他说:“我们都在为AI的不同方面而工作。”Zqrednc

Marvell的ASIC事业部CTO Igor Arsovski在17年前曾经做过SRAM设计工程师。他说,慕尼黑啤酒节(Oktoberfest)因为新冠肺炎疫情取消了,而把存储互连比做啤酒很合适。参加啤酒节,可以很容易喝到啤酒。“而SRAM就好像近在身边的啤酒一样。它随手可得,不需要耗费多少能量,而且只要您需要,它就在那儿,就像拥有一个不错的高性能加速器。”但是,如果没有足够的存储空间,就需要走远一点,同时也需要花费更多能量来获取它,就好像必须走更远才能买到大桶啤酒一样。Zqrednc

Arsovski 说,对存储器而言,大桶啤酒就好像高带宽存储器(HBM),它正越来越多地被AI所采用。“访问这种存储器需要花费约60倍的能量。那里容量虽然大得多,但访问它的带宽却很少。”将啤酒类比扩展到LPDDR之类的技术,这种技术比SRAM更先进。他说:“LPDDR功耗明显更高,但容量更大。这就像沿着那条路走到您最喜爱的酒吧,在那里有几桶啤酒等着您。”Zqrednc

Arsovski表示,下一代加速器的发展方向是将那些存储器放在加速器正上方,让存储离计算更近。MLCommons执行董事David Kanter补充说,这个啤酒类比概述了不同的封装途径以及在何处安放不同的硅片。MLCommons是一个提供机器学习标准和AI推理基准的组织,其成员涵盖学术界和工业界。他说道:“这使我们对不同的工作负载有非常全面的了解。MLCommons正在开始采取一些措施,其中重点之一就是建立咨询委员会,以吸收特定应用领域的一些资深专家。”Zqrednc

Kanter说,对存储器而言,整个系统环境至关重要。“您必须考虑系统要实现什么,这将决定要考虑的问题。”他说,当涉及到存储器的位置和连接时,芯片、封装和电路板都是必须考虑的要素。“在阵列结构、单元类型以及距离方面,有很多地方可以优化。”Zqrednc

Kanter说,明白哪里需要带宽以及非易失性也是关键的考量因素。“希望这将引导做出正确的选择。”Zqrednc

对于那些传统上并不属于存储系统构建流程的公司而言,这些考量因素至关重要。Google软件工程师Sameer Kumar花费大量时间在编译器和可扩展系统上,这些系统的网络和存储带宽对不同的机器学习模型非常重要,包括其大规模批量操作的能力。他说:“人工智能训练涉及许多存储方面的优化,”这是在编译器中获得极高效率的最关键步骤,它意味着存储也需要更加智能。Zqrednc

Woo认为,数据移动实际上已经开始主宰AI应用的某些阶段,所以存储互连变得越来越重要。“性能和能效成为日益重要的问题”,提高数据速率极具挑战性,因为所有人都希望将数据移动速度加倍,能效也加倍。“我们以前所依赖的许多技巧和技术都已不再适用,或者正在被慢慢淘汰。我们有极好的机会来思考新的体系架构,并在移动数据的方式上进行创新。”Zqrednc

Woo表示,创新不仅在存储器件本身上,而且还包括封装,以及堆叠等新技术。在创新的同时,还要确保数据的安全性,这是Rambus目前越来越关注的。Zqrednc

Rambus感受到业界对3D堆栈的极大兴趣,但如果带宽不随堆栈容量增加而相应增加的话,其可用性会受到限制。(图片来源:Rambus)Zqrednc

Arsovski表示,Marvell花费了大量时间为客户建立AI系统,为客户提供带宽相关信息,如每个芯片边缘有多少带宽可以用于数据移动,以及有多少带宽可以用于访问存储器。他说:“到目前为止,我们已经可以看到,客户需要更多的存储带宽和更多的I / O带宽。如果看看封装级别的互连,可以看到存在很大的不匹配。我们现在已经到达瓶颈,高端芯片-芯片连接的需求压力持续增大。”Zqrednc

Arsovski表示,从存储器的角度来看,对于那些无法在裸片上直接构建AI模型的设计师来说,其下一步考虑应该是HBM或GDDR。但是也有很多转而采用3D堆叠,以尝试获得更大的带宽,因为在芯片边缘移动数据的容量有限。“客户希望得到越来越多的I/O带宽,而我们在边缘数据移动上遇到了瓶颈。”Zqrednc

Kanter说,即使在机器学习的世界中,也存在着“很大的多样性”,这对生态系统既有制约,也有促进,记住这一点很重要。对于常规DRAM来说,随机查找庞大的数据结构不适合单个节点,这意味着如果您想将数据真正保存在存储器中,则需要构建一个非常大的系统集群。他说:“与传统的面向视觉的模型相比,其特征和属性完全不同。在存储方面要牢记这一多样性,这一点非常重要。”Zqrednc

Kanter说,当需要将大量存储和计算整合在一起时,就需要互连了。“要进行大规模训练,迫切需要既适合客户又适合要解决问题的互连方案。”他说,对于前沿应用来说,互连将特别重要。“如果您只想为一个小型网络训练一个GPU,那么关键因素可能就是存储带宽。”Zqrednc

Kumar说,更多的存储带宽可以实现不同种类的优化,但是如果模型特别受存储限制,就有必要引入更多的计算。“如果有更多的存储吞吐量可用,甚至有更多的互连吞吐量可用,将可能会使模型设计更加灵活,而且可以启用新功能,并一起构建各种类型的模型。”Zqrednc

Woo表示,Rambus感受到大家对3D堆栈兴趣浓厚,但随着堆栈越来越高,增加进出堆栈的带宽也变得越来越困难。“如果只是增加堆栈容量,但没有增加相应的带宽,那方案的实用性就成问题了。”Zqrednc

他说,关键点在于寻找合适的方案,既能保持填充频率,又能利用堆叠能效方面的优势,从而使带宽与容量和堆叠之间具有相对恒定的比率。Zqrednc

Kumar和Arsovski都认为需要一个平衡、可扩展的系统,这种系统具有精心设计的软件堆栈。 Arsovski说,“我们所说的是一种可以良好扩展的类脑结构。”它必须低功耗且具有大量连接,而现在,3D堆叠是我们能做到最接近的结构,但仍然存在功耗、封装和机械结构方面的挑战。 “我们需要研究出一个高度并行的系统,其每个层级的功耗都极低,而不必担心要为冷却耗费数千瓦的功率。”Zqrednc

他说,是时候开始寻找适合AI系统的下一个基本构建模块了。“一直以来,我们都采用晶体管作为基本单元,迄今为止,它们都发挥出色。我们通常会依赖我们所知道和喜爱的技术,并且希望它持续发展。但现在我们需要重头开始设计了。”Zqrednc

(参考原文: AI Drives Memory Interconnect Evolution)Zqrednc

责编:Amy GuanZqrednc

本文为《电子工程专辑》2020年12月 刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  Zqrednc

Gary Hilson
EE Times特约编辑。Gary Hilson是一位自由撰稿人和编辑,曾为北美地区的印刷和电子出版物撰写过大量稿件。 他感兴趣的领域包括软件、企业级和网络技术、基础研究和教育市场,以及可持续交通系统和社会新闻。 他的文章发表于Network Computing,InformationWeek,Computing Canada,Computer Dealer News,Toronto Business Times,Strategy Magazine和Ottawa Citizen。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 因眼睛小车主被辅助驾驶误判“开车睡觉”,小鹏、蔚来回 昨日,汽车博主@常岩CY 发博称自己突然上了热搜,原来就是因自己眼睛小被小鹏汽车自动驾驶误判“开车睡觉”,不住的发出提醒。此外,@常岩CY 称在多款车型上都收到此困扰。无论是红外还是摄像头,只要开始检测眼睛,就会判定过度疲劳。小鹏P7会提示他睡觉,蔚来ET7一开车就认为其疲劳和走神,岚图FREE会在冬天为了让其“别困”而打开冷风……
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • “智能家居”未来将可通过呼吸控制操作 凯斯西储大学的研究人员创造了一个简单的原型设备,使用户能够通过改变他们的呼吸模式来控制“智能家居”。这种自供电装置可放入鼻孔,并有可能提高行动不便或无法清晰说话的人的生活质量。如果个人呼吸困难,它也可以编程为医务人员提供自动警报。
  • 核酸采样机器人将取代“大白”?用了哪些技术保证采样准 取棉签、核酸采样、储存核酸采样管、设备消杀……动作精准流畅,今后给你核酸采样的可能不再是“大白”,而是机器人。EDN小编就带大家来看看,目前已被使用的核酸采样机器人有哪些?
  • 一个AI程序就可将手机电池增加30% 一项尖端的人工智能开发可以将智能手机的电池寿命延长 30%。这项应用则是利用 AI 分析正在使用的应用程序的 FPS 变化,并试图找到 CPU 和 GPU 处理器的最佳运行频率以适应变化,同时消耗设备中最少的功率和温度增益……
  • AI视觉芯片如何赋能两轮车出行? 6月29日,在由全球领先的专业电子机构媒体AspenCore和深圳市新一代信息通信产业集群联合主办的“2022国际AIoT生态发展大会-智慧两轮车分论坛”中,嘉楠科技副总裁汤炜伟以《勘智AI视觉芯,赋能智眼两轮行》为主题,向大家分享了嘉楠地芯片设计创新历程,及其RISCV架构AI芯片技术路线图,并以具体案例展示AI视觉芯片如何赋能两轮车出行。
  • 碎片化、成本高是难题,AIoT行业需要哪些改变? 作为AIoT的行业基石,物联网市场到2022年预计将达到 144 亿活跃连接。随着供应限制的缓解和增长的进一步加速,IoT Analytics 最新预测指出,到2025年全球将有大约 270 亿台联网物联网设备。中国物联网链接到2025年也将达到80亿。随着整个AIoT和IoT市场的快速成长与变化,我们将面临哪些风险和挑战?
  • 英特尔张宇:边缘AI有三个阶段,我们还处在山脚 在AspenCore举办的“2022国际AIoT生态发展大会”上,英特尔公司高级首席工程师、物联网事业部中国区首席技术官张宇博士通过视频方式分享了“边缘AI技术发展趋势与展望”主题演讲。
  • 世界上尺寸最大的芯片Wafer Scale Engine-2打破了在单 Cerebras公司售价数百万美元的“全球最大AI芯片”Wafer Scale Engine-2又有新消息,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。
  • 婴儿或可帮助解锁下一代人工智能 都柏林圣三一学院的神经科学家及其同事刚刚发布了改进人工智能的新指导原则,他们表示,婴儿可以帮助解锁下一代人工智能(AI)。
  • 日本要利用机器学习实现半导体研究自动化 新型薄半导体材料的开发需要对大量反射高能电子衍射(RHEED)数据进行定量分析,既耗时又需要专业知识。为了解决这个问题,东京理科大学的科学家们确定了可以帮助自动化 RHEED 数据分析的机器学习技术。他们的发现可以极大地加速半导体研究,并为更快、更节能的电子设备铺平道路。
  • 纯视觉自动驾驶更安全?美国交通部发布数据打脸特斯拉 特斯拉的纯视觉自动驾驶到底效果如何?真的如马斯克所说的:“通过摄像头和计算机网络让自动驾驶比人类驾驶更安全”吗?近日美国国家公路交通安全管理局发布了一份新的数据,颇有打脸特斯拉的意味。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了