广告

一文看懂特斯拉Dojo的江湖地位及独门秘籍

2021-08-24 胡安 阅读:
近日特斯拉亮相的D1 芯片宣称拥有500亿个晶体管,超过了AMD拥有395.4亿个晶体管的Epyc Rome,落后于NVIDIA的GA100 Ampere SoC的540亿个晶体管的记录。

现在,特斯拉不仅是个汽车公司、AI公司,还是个芯片公司。在AI训练芯片界,用于训练AI模型的芯片供应商,除了英特尔、英伟达和Graphcore,现在还有特斯拉。V3Tednc

近日特斯拉亮相的D1 芯片宣称拥有500亿个晶体管,超过了AMD拥有395.4亿个晶体管的Epyc Rome,落后于NVIDIA的GA100 Ampere SoC的540亿个晶体管的记录。V3Tednc

D1 芯片总共有645mm²,每mm²上集成7750万个晶体管的有效晶体管密度,仅次于移动芯片苹果M1,功率密度高于Nvidia A100 GPU。V3Tednc

V3Tednc

D1使用 7nm工艺,推测是由三星或台积电代工,考虑到三星也制造了特斯拉的HW3芯片,所以前者代工D1的可能性更大一些。V3Tednc

25个D1芯片组成一个Training Tile(训练片,EDN没有看到官方翻译,根据Tile的原意”瓦片”和它的外观暂且译为”训练片”吧);然后12个训练片可以组成一个服务器机柜,共108 PFlops;几个机柜再组成Dojo超级计算机。V3Tednc

V3Tednc

图:每个服务器机柜超过 100,000 个功能单元、400,000 个定制内核和132GB SRAM。V3Tednc

Dojo江湖地位

特斯拉曾经采用NVIDIA GPU构建的超级计算机上过Top10榜单,性能仅略低于中国的太湖之光:V3Tednc

V3Tednc

从排名上看起来Dojo并不是计算能力最强的超级计算机,这是Dojo的设计目的只是针对一项非常具体的任务,即:基于大量360度视频训练神经网络。所有代码都是专门为在此硬件上理想工作而编写的。V3Tednc

相比之下,其他超级计算机的构建都考虑到了灵活性,以便能够适应大量不同的任务。当然,如果真的要在视频训练上一决高下,即使是最强大的 Fugaku (富岳),也很可能是比Dojo慢的。V3Tednc

何况巨大的Fugaku是由256 个机柜组成,Dojo仅由10个机柜组成,因此在尺寸方面Dojo也是最小的超级计算机。V3Tednc

如果特斯拉在Dojo中增加54个机柜Dojo就能超过FugakuV3Tednc

Dojo没有 RAM,没有共享缓存

智能手机和特斯拉的HW3都是有SoC之外的RAM 芯片的。即使是最快的最厉害的硬盘驱动器也做不到和RAM一样的随机存取,无法取代RAM。V3Tednc

理论上,最新的PCIe 4技术只能达到0.5~3GB/s,比消费类计算机标准DDR4 RAM的20~25GB/s差太多,更别提高达50GB/s的下一代 DDR5 RAM。V3Tednc

智能手机和消费电脑通常使用 4-32GB的RAM,专业工作站的RAM甚至可以达到512GB。V3Tednc

那么,如果特斯拉的训练芯片没用RAM,那用的是啥?V3Tednc

它内部是有一个更快的随机内存层,称为缓存。当 SoC/CPU 调用DRAM时,响应时间约为 60纳秒;而L3缓存或片上 SRAM 的响应时间可低至10纳秒。V3Tednc

英特尔目前最大的L3缓存是57MB,IBM的记录是120MB,AMD最强大的处理器有256MB的L3缓存,而特斯拉在 2019 年宣布的 HW3 芯片有 64 MB 的 SRAM。 V3Tednc

V3Tednc

特斯拉的训练节点带有1.25MB的SRAM,354个节点组成的计算阵列,也就是这个SoC算下来就是424.8 MB的缓存,这超过了所有其他处理器。——这有可能都不是L3缓存,而是更快的 L2了。V3Tednc

Dojo处理器之间通信采用定制协议

通常SoC是通过引脚把信号发送到主板上再进行传输,但特斯拉并没有把SoC从晶圆上割下来,而是把留在一片晶圆上的所有SoC连接起来。V3Tednc

新 PCI-e Gen 4 连接的最新 SSD 的理论限制为 64 GB/s,特斯拉的每个连接器能达到900 GB/s的速度,推测是他们定制了自己的连接方式。V3Tednc

  V3Tednc

Dojo采用液体冷却训练 

每个 D1 芯片的功耗仅400 W,25个芯片组成的MCM训练片的功耗为15千瓦。训练片是液体冷却的,据说用了10公斤液体,但特斯拉没说是水冷。 V3Tednc

在Tesla的训练片中,有SoC的一侧与常规处理器一样是暴露着的,可以直接冷却。另一侧被稳压器盖住了,如上图所示。V3Tednc

那么稳压器直接盖在处理器有啥好处?V3Tednc

常见的处理器的电源都是装在处理器旁边的主板上,电流需要通过主板、插座、引脚和SoC;而Dojo训练片的电源可以直接传输到SoC,减少了散发的热量。V3Tednc

最后,看起来特斯拉现在已经掌握着摩尔定律的衣钵,马斯克表示,“We should have Dojo operational next year”。明年值得期待。V3Tednc

  • 结果赔了夫人又折兵,成了全民公敌
  • 只能佩服,因为兔子都在忙大数据卖菜呢~~
本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • Ignion选用AWS云服务来变革物联网设计流程 Ignion宣布推出天线设计智能云服务Antenna Intelligence Cloud,该服务将云计算和人工智能功能引入到天线领域。
  • Microchip模拟嵌入式SuperFlash技术助力存算一体创新 SuperFlash memBrain存储器解决方案使知存科技片上系统(SoC)能够满足最苛刻的神经处理成本、功耗和性能要求
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • “中国IC设计成就奖”提名产品简介:高性能GPU芯片及解 沐曦致力于提供国际顶尖的高性能通用GPU芯片及解决方案,结合我国人工智能等领域对GPU芯片的强烈市场需求,对标当前国际领先的GPU芯片产品立项开展技术研发。
  • “中国IC设计成就奖”提名产品简介:全志科技高性能智能 高性能三重异构智能语音应用处理器R329芯片,采用业界先进的半导体工艺,首款集成Arm中国周易语音处理器。集成DSP、NPU、64位CPU及丰富的外设接口,创新突破了低功耗、边缘语音AI超级算力、多重异构通讯、多核调度等关键技术,处于国内领先水平。
  • “中国IC设计成就奖”提名产品简介:追萤3D AI芯片Ai310 埃瓦科技自主研发的追萤 3D AI芯片创新的采用了异构架构 SOC 设计和微内核架构设计,包含 NPU 神经网络加速核、3D 立体匹配加速核、ISP 核等功能性处理核心;其中 NPU 神经网络加速核基于可重构以及片上多级存储和缓存设计,使数据可高效送达加速核心,使该芯片拥有领先的高效智能处理能力、分析以及低功耗管理的能力;其设计架构的资源复用性使硬件计算单位可灵活分配,适应于不同场景的计算需求;在 3D 视觉算法加速方面创新的采用了自研立体匹配算法的 3D 加速微内核架构设计,可有效加速双目立体视觉、结构光等多种 3D 视觉算法。
  • “中国IC设计成就奖”提名产品简介:ada200优势 1.九天睿芯,感存算一体芯片,可以在功耗和性能满足”低功耗AI场景“的同时,成本也大幅度下降。2.采用模数混合的存内计算架构,ADA200相比传统数字芯片,1/3成本,1/10功耗。
  • “中国IC设计成就奖”提名产品简介:面向边缘视觉分析的 面向边缘视觉分析的数据流AI芯片CAISA是鲲云科技自主研发的专为人工智能图像提供高性能计算加速的AI芯片产品,是全球首个量产的数据流AI芯片。
  • “中国IC设计成就奖”提名产品简介:人工智能语音芯片CI 1、人工神经网络硬件引擎架构:具备高计算性能,进行神经网络计算时相当于数十个CPU并行计算的能力;低访问带宽和低功耗,通过并行计算和共用神经元权重参数,大幅降低访问带宽及功耗;高可配置性,支持神经元层数和节点数、神经网络结构的配置。 2、单、双、及麦克风阵列降噪增强技术:支持各种平稳、非平稳环境噪声抑制;可支持线阵、圆阵结构等常用麦阵结构;采用定向波束形成与自适应信号处理技术相结合;拾取方向动态可调;支持单声道、立体声等回声抑制;采用独立研发的空间预测技术,支持强回声情况下回声抑制;与降噪处理技术相结合;自动增益调节、高通、带通滤波等。 3、低功耗和可靠性设计技术:具备低功耗集成电路设计技术,包括基于活动语音检测的低功耗控制技术和时钟门控技术。 4、逻辑设计技术:掌握了语音信号处理IP的设计方法,包括算法硬件化、定点、浮点运算处理等。同时积累了整套SoC设计所需的控制类IP,并成功通过流片验证。
  • “中国IC设计成就奖”提名产品简介:智能安防AI SoC芯片 亿智SV826是2021年推出的高性能的安防AI SoC芯片,主要面向视频编解码AI摄像机产品。
  • “中国IC设计成就奖”提名产品简介:低功耗视觉AIoT SoC 亿智SH516芯片是亿智电子2021年推出的一款低功耗的智能视觉AIoT SoC芯片。
  • “中国IC设计成就奖”提名产品简介:高性能大算力全场景 - AI性能跑分更强,超越Nvidia Orin - 应用当前先进的安全技术和研发流程 - 国内唯一可获得、支持快速量产的整车智能计算平台芯片
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了