广告

世界上尺寸最大的芯片Wafer Scale Engine-2打破了在单个设备上训练的最大 AI 模型的记录

2022-06-24 15:41:22 综合报道 阅读:
Cerebras公司售价数百万美元的“全球最大AI芯片”Wafer Scale Engine-2又有新消息,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。

EDN电子技术设计的读者们,是否还记得售价数百万美元的“全球最大AI芯片”?EDN在去年报道过Cerebras推出的这款基于台积电7nm的第二代产品Wafer Scale Engine,其内核数量增加了2倍多。更多详细内容:世界上尺寸最大的芯片Wafer Scale Engine发布第二代,售价“数百万”美元 0LSednc

今日,这家公司又官宣了新消息!0LSednc

Cerebras Systems公司近日宣布,在基于单个Wafer Scale Engine-2芯片的CS-2系统上训练了世界上最大的拥有200亿参数的NLP(自然语言处理)人工智能模型。这也使得它能够适应,目前网络上非常热门的基于文本创建图像的OpenAI的120亿个参数的DALL-E的神经网络模型。0LSednc

Cerebras 在单个芯片上访问 200 亿个工作负载参数

由Cerebras训练的人工智能模型攀升到一个独特的、惊人的200亿个参数。 Cerebras无需在多个加速器上扩展工作负载就完成了这一操作。 Cerebras的成功对于机器学习至关重要,因为与以前的模型相比,软件需求的基础设施和复杂性降低了,显著降低了原本需要数千个GPU 训练的成本(以及相关的硬件和扩展要求),同时消除了在它们之间划分不同版本模型的技术困难。0LSednc

“Wafer Scale Engine-2”的制程工艺由台积电16nm工艺提升到了7nm工艺,基于一整张12英寸的晶圆制造,面积是462.25平方厘米,相当于市面上数百种高级芯片,拥有2.6万亿个7纳米晶体管。 除了晶圆和晶体管外,Wafer Scale Engine-2还包含85万个核心和40 GB集成缓存,,内存带宽由9PB/s提高到了20PB/s,结构带宽高达220PB/s,功耗为15kW,各项指标均打破首代WSE 处理器创造的世界纪录。0LSednc

0LSednc

CS-2大幅降低超大规模的人工智能模型训练门槛

资料显示,OpenAI 的 GPT-3 是一种 NLP 模型,可以编写有时可能会欺骗人类读者的整篇文章,具有惊人的 1750 亿个参数。DeepMind 的 Gopher 于去年年底推出,将这个数字提高到 2800 亿。Google Brain 的大脑甚至宣布训练一个超过万亿参数的模型 Switch Transformer。0LSednc

0LSednc

如果将CS-2所达成训练200亿参数的NLP人工智能模型的成就与上述更大规模的人工智能模型相比,CS-2的成就似乎平淡无奇。但是,事实上,CS-2大幅降低超大规模人工智能模型训练门槛。0LSednc

Cerebras的成就是特别重要的,因为研究人员将发现,他们将能够在新的Wafer Scale Engine-2上计算和创建逐渐精细的模型,而其他人不能。 0LSednc

大量可行参数背后的技术使用了该公司的Weight Streaming技术,允许研究人员“解耦计算和内存占用,允许内存扩展到存储AI工作负载中快速增长的参数所需的任何数量。” 反过来,设置学习所需的时间将从几个月减少到几分钟,只需要几个标准的命令,允许在GPT-J和GPT-Neo之间完美切换。 0LSednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 谷歌与美国政府合作开发开源芯片 谷歌和美国商务部的国家标准与技术研究院 (NIST) 周三 签署了一项联合研发协议 ,根据该协议,谷歌将资助开源芯片的生产,这些芯片可供学术和小型企业研究人员用于构建各种的新兴应用。
  • 用交通状况鸟瞰图来辅助提升自动驾驶安全性 慕尼黑工业大学 (TUM) 的研究人员与行业合作伙伴合作开发了一种技术,以基于车载传感器输入和交通状况鸟瞰图来补充车辆视角。这提高了道路安全,包括自动驾驶。
  • 芯片,举足轻重到底有多重? 近几年,芯片成为全球瞩目的焦点。新冠疫情导致的供应链危机,以及汽车智能化的快速发展,让芯片的价格持续暴涨。同时,由于众所周知的原因,中美两国在半导体芯片领域不断加大投资。而美国利用在半导体技术方面的优势,也在不断用政策手段限制中国芯片行业的发展。在这种大背景下,中国企业能否在半导体芯片领域有所突破,打破美国的技术垄断?各国在半导体领域的投资热潮,会不会导致产能过剩?
  • 台积电2nm将于2025年量产,ASML高NA EUV芯片制造机2024 今日,台积电负责研发和技术的高级副总裁Y.J. Mii博士透露,台湾半导体制造公司(TSMC)将在2024年收购ASML的高NA EUV芯片制造机,目标是在2025年量产其2纳米(nm)半导体制造工艺。
  • 苹果A16 Bionic架构优化,多核性能提高了14% 据EDN电子技术设计了解,苹果最新的A16 Bionic虽然使用与A15 Bionic相同数量的内核,但A16 Bionic在架构方面进行了优化。
  • 基于苹果A13仿生芯片,S8芯片配备与S6/S7相同CPU Apple Watch Series 6、Apple Watch Series 7、Apple Watch Series 8、Apple Watch Ultra和第二代Apple Watch SE都采用完全相同的CPU。
  • eSIM与SIM有什么区别?能否终结物理SIM卡? 嵌入式 SIM (eSIM) 是一种采用物理 SIM 卡中通常存在的电路并将其永久安装到移动设备中的技术。通过设置例程(通常涉及来自运营商的二维码),移动设备无需物理 SIM 卡即可加入运营商网络。
  • 英特尔演示世界最高速度WiFi 7,速度超5Gbps Intel基于酷睿笔记本电脑展示了Wi-Fi 7的演示,其Wi-Fi 7解决方案连接到了博通的Wi-Fi 7接入点。
  • 号称史上最硬智能手表,Apple Watch Ultra维修费用超售 苹果带来了全新的 Apple Watch Ultra 运动手表,被称为史上最坚固、最硬的Apple Watch。然而,每个硬件都有极限,如果你不小心损坏它,它可能会花费499 美元的维修费用,这几乎是这款智能手表60%的售价。
  • 日本研究人员用新材料传感器提升电动汽车续航 通常,电动汽车中的电池电流可以达到数百安培。然而,能够检测此类电流的商用传感器无法测量毫安级电流的微小变化。这导致电池充电估计的模糊性约为 10%。这意味着电动汽车的续驶里程可以延长 10%。反过来,这将减少低效的电池使用。
  • 柔宇科技名下3700万资产被法院查封、冻结 据EDN电子技术设计了解,柔宇科技名下3700万资产被法院查封、冻结。
  • 苹果新品发布会:与华为对垒卫星功能,还把“药丸”屏玩出 9月8日凌晨,苹果2022秋季新品发布会在其加州总部举行。亮点包括可穿戴设备新产品线Apple Watch Ultra,iPhone 14系列取消的Mini新增Plus型号,iPhone 14美版干掉实体SIM卡转用eSIM,iPhone 14 系列智能机引入的“卫星紧急求援”(Emergency SOS via Satellite)功能等,意外的是,发布会之前备受“吐槽”的iPhone 14 Pro药丸屏,被苹果引入了全新的灵动岛交互,反而被网友称为本次发布会的最大亮点。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了