广告

高能低耗易部署,爱芯元智AX650N成Transformer最佳落地平台

2023-05-30 爱芯元智 阅读:
爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。

近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。Gddednc

2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。Gddednc

Gddednc

Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。Gddednc

作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。Gddednc

Gddednc

具体来看,361帧的高性能,可媲美汽车自动驾驶领域基于GPU的高端域控SoC;而80.45%的高精度成绩同样高于市面平均水平;199 FPS/W的速度则充分体现出低功耗的特点,对比于目前基于GPU的高端域控SoC,有着数倍的优势;更为重要的,AX650N部署方便,GitHub上的原版模型可以在爱芯元智的平台上高效运行,不需要对模型做修改,亦无需QAT重新训练。与此同时,AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台,最终落地效果更好用、更易用,且大幅提升了用户效率。Gddednc

目前,AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型,在DINOv2也已达到30帧以上的运行结果,这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。Gddednc

Gddednc

接下来,爱芯元智AX650N将会针对Transformer结构进行持续优化,并且探索更多的Transformer大模型,例如多模态大模型,不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是,爱芯元智还将推出相应开发板,满足开发者对Transformer深度研究的需求,探寻更丰富的产品应用。Gddednc

“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台,让智能落实到生活的真实场景,最终实现普惠AI造就美好生活的企业愿景”,爱芯元智创始人、CEO仇肖莘女士表示。未来,爱芯元智将在成为人工智能算力平台型公司的道路上继续探索,加速基于Transformer的大模型在端侧、边缘侧落地的节奏,让普惠智能真正落地生根,开花结果。Gddednc

关于爱芯元智:Gddednc

爱芯元智成立于2019年5月。作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智组建了从芯片设计、研发到生产的全功能团队,核心成员均参与过10颗以上芯片的设计和生产,在产品规划和产品落地上具有丰富经验。Gddednc

目前,爱芯元智已成功研发并量产了三代多颗端侧、边缘侧智能视觉感知芯片,所有芯片产品均具备低功耗优势及优异的图像处理能力。凭借自研核心技术——爱芯智眸®AI-ISP和混合精度NPU,爱芯芯片产品可满足客户不同场景的产品需求,相关产品和解决方案已成功落地华东、华南、华北,广泛应用于智慧城市、智能交通、智慧家居、智慧制造、智能消费等领域。Gddednc

责编:Franklin
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 爱立信推出基于“Intel 4”工艺的处理器,甚至领先于英 爱立信在其新闻稿中指出,与上一代相比,新的 RAN 处理器 6672 和无线电处理器 6372 的容量增加了四倍,效率提高了一倍。他们声称,Intel 4上的新处理器的功耗比行业基准低30%到60%。
  • 联发科发布天玑8300 5G生成式AI移动芯片:GPU峰值性能提 天玑8300基于Armv9 CPU架构,采用台积电第二代4nm工艺,八核CPU由4个Cortex-A715性能核心和4个Cortex-A510能效核心组成,官方表示,CPU峰值性能较上一代提升20%,功耗降低30%。
  • SK海力士计划将GPU和内存半导体集成到单个封装中 SK海力士近期新增了大量逻辑(系统)半导体设计人员,多名骨干人员组成团队,开始研究半导体设计。据悉,SK海力士决定从HBM4开始,挑战在同一个芯片上同时实现存储半导体和逻辑半导体的方法。一位业内人士表示,“‘半导体游戏规则’可能在10年内改变”,“区分存储半导体和逻辑半导体可能变得毫无意义”。
  • 高通发布骁龙7 Gen 3:AI功能更强大,或首发于荣耀和Vivo 该处理器采用台积电 4nm 工艺制造,具有 1+3+4 CPU 配置。Kryo CPU 提供主频为 2.63GHz 的主核心,还有 3 个主频为 2.4GHz 的性能核心,还有四个主频为 1.8GGHz 的高效核心。
  • NVIDIA GeForce RTX 4090显卡仍易出现"12VHPWR"插头烧 NVIDIA GeForce RTX 4090 GPU的用户仍然很容易遇到"12VHPWR"插头问题,包括熔化和烧伤。
  • 法国科学家研发最迄今灵敏的力传感器,有望发现未知的第 法国科学家利用极冷的铷原子,制造出了迄今最灵敏的力传感器,其可测量拎起单个电子所需力十分之一大小的力。研究人员表示,这么小的力极难测量,而新传感器可在几微米外对其开展测量,未来有望发现新的力。
  • 一个技巧,可使小米14系列运行32位ARM应用程序 小米14系列的发布引起了业界的广泛关注,不仅是全网首批预装澎湃OS系统的机型,还配备了最新的骁龙8 Gen 3芯片组。然而,新的芯片组使用了全新的CPU架构,仅支持64Bit应用,不再支持32Bit应用……
  • 清华大学新突破:摆脱摩尔定律,百纳米完胜7纳米的全新计 清华大学自动化系戴琼海院士、吴嘉敏助理教授与电子工程系方璐副教授、乔飞副研究员联合攻关,提出了一种摆脱摩尔定律的全新计算架构:光电模拟芯片。根据官方的实测,光电融合芯片的系统级算力较现有的高性能芯片架构提升了3000余倍,而电路部分仅采用180nm CMOS工艺,已取得比7纳米制程的高性能芯片多个数量级的性能提升……
  • 苹果发布会:创新不够,颜色来凑? 北京时间周二早晨,苹果举办了主题为“快得吓人”(Scary Fast)的线上发布会,宣布推出搭载M3系列芯片的新款MacBook Pro和iMac。但值得一提的是,除了芯片有升级之外,电脑其他方面基本没变化,最大的变化也只有新增“深空黑”色而已。
  • 苹果M3、M3 Pro、M3 Max芯片规格提前曝光 苹果在这场新品发布会中,将同时发布三款新的 M3 芯片,包括基础版的M3,以及更强大的 M3 Pro和M3 Max,据报道这些芯片采用与 A17 Pro 相同的尖端 3nm 工艺批量生产。至于CPU和GPU数量,据称M3在核心数量上似乎并没有太大的突破……
  • 拆解小米14 Pro:除了首发骁龙8Gen3,还有什么新技术? 小米14系列昨晚(10月26日)刚发布,微机分WekiHome就在今天(10月27日)发出了小米14 Pro的拆解视频,本文我们就来看看小米14与小米14 Pro具体有什么区别,小米14 Pro的内部设计有哪些跃进。
  • SoC处理器对NOR Flash提出新要求 半导体工艺的节点发展非常快,最近3纳米已经量产了。工艺节点的降低,它的特征尺寸降低,它的速度也会越快。另外,节点的降低也会带来电压的降低,它的功耗降低。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了