广告

亚马逊自研人工智能AI芯片:吞吐量提高30%

2020-11-16 综合报道 阅读:
现在,对于巨头来说,AI已经不再那么神秘,因此,很多有自身需要或者有客户的大厂都会从合作走到自研这一步,现在,巨头亚马逊也逐渐摆脱对NVIDIA的依赖,开始了人工智能芯片的自研,且其芯片吞吐量提高达到30%。

现在,对于巨头来说,AI已经不再那么神秘,因此,很多有自身需要或者有客户的大厂都会从合作走到自研这一步,现在,巨头亚马逊也逐渐摆脱对NVIDIA的依赖,开始了人工智能芯片的自研,且其芯片吞吐量提高达到30%。0COednc

亚马逊宣布将人工智能处理迁移到自家定制的 AWS Inferentia 芯片。这意味着亚马逊最大的推理(inferencing)服务(例如语音助手 Alexa)将交由更快、更专业的芯片进行处理,而非基于 NVIDIA 的多用途 GPU。0COednc

Inferentia-image.ff8c860375e648fb9f60b27f3125fc21adda3a59.jpg0COednc

亚马逊已经将大约 80% 的 Alexa 语音助手处理迁移到 Elastic Compute Cloud (EC2) Inf1 实例上处理。和使用传统 GPU 的 G4 实例相比,Inf1 实例将吞吐量提高了 30%,成本下降了 45%。亚马逊认为,它们是推断自然语言和语音处理工作负载的最佳实例。0COednc

QQ截图20201116102540.jpg0COednc

Alexa 的工作方式是这样的:实际的智能音箱(或者扬声器)可以不做任何操作,所有任务都交由 AWS 处理器完成。或者更准确的说,一旦 Echo 设备上的芯片检测到唤醒词,系统就会启动。。它开始实时将音频流传输到云。在数据中心的某个地方,音频被转换为文本(这是推理的一个示例)。然后从文本中提取含义(另一个推理实例)完成所需要的所有操作,例如获取当天的天气信息等等。0COednc

Alexa 完成您的请求后,她需要将答案传达给您。然后,脚本被转换为音频文件(另一个推理示例),并发送到您的Echo设备。回音播放文件,以便于你出行的时候是否决定带上雨伞。显然,推理是工作的重要组成部分。毫不奇怪,亚马逊投入了数百万美元来制造完美的推理芯片。0COednc

Inferentia 芯片由四个 NeuronCore 组成。每个实现一个“高性能脉动阵列矩阵乘法引擎”。每个NeuronCore或多或少地由以线性,独立方式处理数据的大量小型数据处理单元(DPU)组成。每个Inferentia芯片还具有巨大的缓存,从而提高了延迟。0COednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 苹果Mac系列评分排名显示:M1单核“碾压”Intel十核i9,多 昨天,有媒体曝光苹果M1跑分:在 Geekbench 网站上,这台 MacBook Air 搭载 M1 芯片,8GB 运行内存,单核得分 1687,多核得分 7433。今天,又有媒体曝出苹果Mac系列评分排名,从而看出M1单核“碾压”Intel十核i9,多核胜过至强E5。
  • 苹果M1跑分曝光!Arm处理器笔记本MacBook Air超过Intel EDN电子技术昨天发表了《是Arm,导致了苹果与Intel的彻底分手吗?》,里面详细介绍了苹果基于Arm核心的M1处理器的性能,但是还没有实际的跑分测试,今天在 Geekbench 网站上就有了。
  • 英特尔发布Xe-LP微架构服务器GPU,提高跨平台代码重用 虽然GPU是英特尔的短板,但是其一直在努力,并且把这个方向扩展到了服务器领域。确实,服务器领域的GPU应用和定位于消费领域的桌面应用不同。我们看看英特尔最新的基于Xe-LP微架构的数据中心服务器GPU性能如何?
  • 苹果发布Arm笔记本处理器M1,英特尔正在修补CPU漏洞 今日凌晨,苹果发布了基于Arm核心的Mac笔记本处理器M1,从手机基带到Mac笔记本处理器,苹果似乎彻底与Intel分手了,详情请看《是“第三者”,导致了苹果与Intel的彻底分手吗?》,而此中原因,有很大一部分确实是Intel差强人意,这不,人家在宣布自己的喜讯:"M1诞下了三胞胎:MacBook Air、MacBook Pro、Mac mini",可Intel还在修补自己的CPU漏洞......
  • 安森美CEO:半导体是世界的半导体,合作才有创新 全球疫情给经济和社会造成了巨大的动荡,在此期间,全球各行业在一定程度上都调整了各自的经营模式。虽然人们在思考疫情时,首先想到的肯定不是半导体,但在帮助人类对抗病毒时,半导体的确发挥了非常重要的作用。半导体将很多不可能的构想,变成了可能,但最近全球贸易环境紧张,让半导体供应链出现问题。需要明确的是,半导体是一个全球性的行业……
  • 苹果或于2021年3月发布全新iPad Pro:搭载A14X、支持5G iPhone 12的发布,最亮眼的应该是A14处理器和5G,那么苹果的iPad系列何时能升级到5G,搭载传说中的A14X,以及mini LED屏幕呢?
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了