张量处理单元（TPU）是一种定制化的 ASIC 芯片，它由谷歌从头设计，并专门用于机器学习工作负载。TPU 为谷歌的主要产品提供了计算支持，包括翻译、照片、搜索助理和 Gmail 等。Cloud TPU 将 TPU 作为可扩展的云计算资源，并为所有在 Google Cloud 上运行尖端 ML 模型的开发者与数据科学家提供计算资源。在 Google Next’18 中，我们宣布 TPU v2 现在已经得到用户的广泛使用，包括那些免费试用用户，而 TPU v3 目前已经发布了内部测试版。
第三代 Cloud TPU
如上为 tpudemo.com 截图，该网站 PPT 解释了 TPU 的特性与定义。在本文中，我们将关注 TPU 某些特定的属性。
神经网络如何运算
在我们对比 CPU、GPU 和 TPU 之前，我们可以先了解到底机器学习或神经网络需要什么样的计算。如下所示，假设我们使用单层神经网络识别手写数字。
如果图像为 28×28 像素的灰度图，那么它可以转化为包含 784 个元素的向量。神经元会接收所有 784 个值，并将它们与参数值（上图红线）相乘，因此才能识别为「8」。其中参数值的作用类似于用「滤波器」从数据中抽取特征，因而能计算输入图像与「8」之间的相似性：
这是对神经网络做数据分类最基础的解释，即将数据与对应的参数相乘（上图两种颜色的点），并将它们加在一起（上图右侧收集计算结果）。如果我们能得到最高的预测值，那么我们会发现输入数据与对应参数非常匹配，这也就最可能是正确的答案。
简单而言，神经网络在数据和参数之间需要执行大量的乘法和加法。我们通常会将这些乘法与加法组合为矩阵运算，这在我们大学的线性代数中会提到。所以关键点是我们该如何快速执行大型矩阵运算，同时还需要更小的能耗。
CPU 如何运行
因此 CPU 如何来执行这样的大型矩阵运算任务呢？一般 CPU 是基于冯诺依曼架构的通用处理器，这意味着 CPU 与软件和内存的运行方式如下：
CPU 如何运行：该动图仅展示了概念性原理，并不反映 CPU 的实际运算行为。
CPU 最大的优势是灵活性。通过冯诺依曼架构，我们可以为数百万的不同应用加载任何软件。我们可以使用 CPU 处理文字、控制火箭引擎、执行银行交易或者使用神经网络分类图像。
但是，由于 CPU 非常灵活，硬件无法一直了解下一个计算是什么，直到它读取了软件的下一个指令。CPU 必须在内部将每次计算的结果保存到内存中（也被称为寄存器或 L1 缓存）。内存访问成为 CPU 架构的不足，被称为冯诺依曼瓶颈。虽然神经网络的大规模运算中的每一步都是完全可预测的，每一个 CPU 的算术逻辑单元（ALU，控制乘法器和加法器的组件）都只能一个接一个地执行它们，每一次都需要访问内存，限制了总体吞吐量，并需要大量的能耗。
GPU 如何工作
为了获得比 CPU 更高的吞吐量，GPU 使用一种简单的策略：在单个处理器中使用成千上万个 ALU。现代 GPU 通常在单个处理器中拥有 2500-5000 个 ALU，意味着你可以同时执行数千次乘法和加法运算。
GPU 如何工作：这个动画仅用于概念展示。并不反映真实处理器的实际工作方式。
这种 GPU 架构在有大量并行化的应用中工作得很好，例如在神经网络中的矩阵乘法。实际上，相比 CPU，GPU 在深度学习的典型训练工作负载中能实现高几个数量级的吞吐量。这正是为什么 GPU 是深度学习中最受欢迎的处理器架构。
但是，GPU 仍然是一种通用的处理器，必须支持几百万种不同的应用和软件。这又把我们带回到了基础的问题，冯诺依曼瓶颈。在每次几千个 ALU 的计算中，GPU 都需要访问寄存器或共享内存来读取和保存中间计算结果。因为 GPU 在其 ALU 上执行更多的并行计算，它也会成比例地耗费更多的能量来访问内存，同时也因为复杂的线路而增加 GPU 的物理空间占用。
TPU 如何工作
当谷歌设计 TPU 的时候，我们构建了一种领域特定的架构。这意味着，我们没有设计一种通用的处理器，而是专用于神经网络工作负载的矩阵处理器。TPU 不能运行文本处理软件、控制火箭引擎或执行银行业务，但它们可以为神经网络处理大量的乘法和加法运算，同时 TPU 的速度非常快、能耗非常小且物理空间占用也更小。
其主要助因是对冯诺依曼瓶颈的大幅度简化。因为该处理器的主要任务是矩阵处理，TPU 的硬件设计者知道该运算过程的每个步骤。因此他们放置了成千上万的乘法器和加法器并将它们直接连接起来，以构建那些运算符的物理矩阵。这被称作脉动阵列（Systolic Array）架构。在 Cloud TPU v2 的例子中，有两个 128X128 的脉动阵列，在单个处理器中集成了 32768 个 ALU 的 16 位浮点值。
我们来看看一个脉动阵列如何执行神经网络计算。首先，TPU 从内存加载参数到乘法器和加法器的矩阵中。
然后，TPU 从内存加载数据。当每个乘法被执行后，其结果将被传递到下一个乘法器，同时执行加法。因此结果将是所有数据和参数乘积的和。在大量计算和数据传递的整个过程中，不需要执行任何的内存访问。
这就是为什么 TPU 可以在神经网络运算上达到高计算吞吐量，同时能耗和物理空间都很小。
好处：成本降低至 1/5
因此使用 TPU 架构的好处就是：降低成本。以下是截至 2018 年 8 月（写这篇文章的时候）Cloud TPU v2 的使用价格。
Cloud TPU v2 的价格，截至 2018 年 8 月。
斯坦福大学发布了深度学习和推理的基准套装 DAWNBench。你可以在上面找到不同的任务、模型、计算平台以及各自的基准结果的组合。
DAWNBench：https://dawn.cs.stanford.edu/benchmark/
在 DAWNBench 比赛于 2018 年 4 月结束的时候，非 TPU 处理器的最低训练成本是 72.40 美元（使用现场实例训练 ResNet-50 达到 93% 准确率）。而使用 Cloud TPU v2 抢占式计价，你可以在 12.87 美元的价格完成相同的训练结果。这仅相当于非 TPU的不到 1/5 的成本。这正是神经网络领域特定架构的威力之所在。
（原文链接：https://cloud.google.com/blog/products/ai-machine-learning/what-makes-tpus-fine-tuned-for-deep-learning；机器之心编译）
-
微信扫一扫
一键转发 -
最前沿的电子设计资讯
请关注“电子技术设计微信公众号”
- 称可超越ChatGPT，微软推出新人工智能模型——Kosmos-1 微软推出了 Kosmos-1，据称它是一种多模式大型语言模型 (MLLM)，不仅可以对语言提示做出反应，还可以对视觉线索做出反应，可用于一系列任务，包括图像说明、视觉问题回答等等。
- MWC 2023落下帷幕，盘点国产厂商的那些亮眼表现 MWC 2023(世界移动通信大会2023)于2月27日在巴塞罗那正式向全球移动产业伙伴开启，大会也于3月2日正式落下帷幕。展会持续五天，根据官方数据统计，2023年MWC有2000多家全球厂商参展，中国有以OPPO、荣耀为代表的共计28个国产厂商参展。本次展会，各大厂商纷纷拿出自己的看家本领，可谓是亮点多多，今天就带大家一起看看展会上国产厂商展现的那些亮眼技术吧~
- 维持ChatGPT运行将需要超过3万块Nvidia显卡 据TrendForce的最新预测，人工智能（AI）将成为Nvidia的最大收入来源之一。该研究公司估计，OpenAI的ChatGPT最终将需要超过3万块Nvidia显卡的算力以维持运行。
- Win11端Phone Link添加新支持，iPhone能在PC端接打电话 3月1日，微软宣布，为Win11平台上的Phone Link应用程序添加对iPhone的支持。用户通过该应用程序连接PC和iPhone之后，可以在PC端拨打和接听电话、发送和接收短信、直接在PC上查看iPhone的通知。预览版要求Phone Link应用程序版本1.23012.169.0或更高版本。
- 谷歌达成量子计算机第二里程碑，实现量子计算纠错 2月24日，谷歌CEO Sundar Pichai撰写博客，称公司量子计算又向前迈了一大步。谷歌量子AI团队有史以来首次通过实验证明：可以通过增加量子比特的数量来减少错误。在其最新的研究中，谷歌用49个物理量子比特制作的逻辑量子比特超越了用17个量子比特制作的逻辑量子比特。
- NVIDIA：超级算力，赋能整车中央计算 由全球电子技术领域知名媒体集团AspenCore主办的“中国国际汽车电子高峰论坛”于2023年2月23日正式拉开帷幕。会上，NVIDIA中国区软件解决方案总监卓睿分享了题为“超级算力，赋能整车中央计算”的主题演讲。
- 我国煤炭行业首个OTA无线射频实验室建成并投入使用 据中国煤炭科工集团官网消息，近日，煤炭行业首个“OTA无线射频实验室”在中国煤炭科工集团煤科院建成并投入应用。
- 复旦团队发布国内首个类ChatGPT模型MOSS，与ChatGPT相比 复旦大学自然语言处理实验室邱锡鹏教授团队悄然发布了国内首个类ChatGPT模型MOSS（https://moss.fastnlp.top/），不仅一举刷出数个微博热搜话题，在知乎上更是直接冲上热榜，话题浏览进306万次。知乎匿名网友称已经拿到了内测资格，并实时更新了一波测试结果……
- “IDM929”14nm工艺自研国产GPU芯片即将流片 2月14日消息，据智绘微电子官方消息，该公司自研国产GPU芯片“IDM929”已完成设计，即将进入流片阶段。
- 国内首个类ChatGPT模型MOSS内测，中国版ChatGPT还差什么 2月20日，复旦大学自然语言处理实验室邱锡鹏教授团队发布国内首个类ChatGPT模型MOSS（https://moss.fastnlp.top/），现已发布至公开平台，邀公众参与内测。
- NOR Flash克服可穿戴设备设计挑战 为了持续改进下一代设备中的各种功能，可穿戴设备和耳戴式设备依赖于内存。内存是实现高级设备的关键设计因素...
- 模拟计算重新定义边缘AI性能新境界 传统的数字计算扩展方法，即转向更先进的半导体工艺节点，显然已经达到物理极限(即摩尔定律已经失效)，而不断攀升的制造成本则限制了只有少数几家最富有的公司才能使用该技术。下一代的人工智能处理亟需采用新的方法。
- 拆解报告：X-STATION HDMI+2A1C+SSD三合一氮化镓玲珑坞 充电头网拿到了X-STATION近期新推出的一款多功能Cyberize玲珑坞，是全球首款集充电器、拓展坞和SSD移动硬盘为
- 拆解报告：雅迪180W石墨烯铅酸电池充电器 本次拆解的是雅迪另外一款智能充电器，这款充电器同样为铅酸电池充电器，采用220V交流输入，标称输出电压为60V，输
- PICO 4 VR一体机拆解 PICO 4 VR一体机还采用了双立体声扬声器，通过声场重构技术和头部运动数据计算音效定位，实现空间音频效果。配
- 康佳智能头盔评测 康佳智能头盔以“传统头盔+智能功能”的组合方式，让用户在得到安全保护的同时，享受到更多智能服务。实际用起
- 李想两万字回应：我们如何造车？ 在造车新势力中，理想汽车的李想也是个异类——身为CEO在微博上高强度冲浪，不时与黑粉激情对线；打造产品时与行
- 全球十大动力电池企业盘点之三：三星SDI 三星SDI的电池板块2022年全年营收约970.2亿元人民币，同比增长60.5%，营业利润约69.2亿元人民币，同比+133.2%，营业
- 拆解报告：一加80W超级闪充充电器 一加推出了一款80W输出功率的超级闪充充电器，这款充电器采用白色直板机身设计，配有固定插脚。支持5V2A或5-11V
- 海尔HB-W003真无线耳机评测 外观设计上，海尔HB-W003的充电盒采用新颖的滑盖设计，比常见的产品在视觉效果上更有辨识度。配置功能上，耳机采
- AWEI用维T29 Pro真无线耳机拆解 此次将要拆解的AWEI用维T29 Pro真无线耳机充电盒配备了RGB炫彩呼吸灯，支持开盖即连，支持快速充电；耳机采用了柄
- 两万字详解自动驾驶路径规划的常用算法 自动驾驶自诞生那天起，其志向便已立下，成为熟知城市每一处道路的“老司机”，成为乘客更安全、更舒适、更高效出
- 76份射频和微波资料汇总分享 今天我们分享一下近期整理的一些射频和微波课程网址分享给大家。
- 国产激光雷达雷达的崛起之路 激光雷达会成为智能汽车上的标准配置吗？激光雷达又能给智能汽车带来什么价值？或者说，我们加1、2万块钱配个激光
- 类比发布车规级变压器原边控制器IS801Q，进一步完善锂电池管理系统 致力于提供高品质芯片的国内优秀模拟及数模混合芯片设计商上海类比半导体技术有限公司（下称“类比半导体”或
- 类比半导体发布四款生物电势测量模拟前端芯片 致力于提供高品质芯片的国内优秀模拟及数模混合芯片设计商上海类比半导体技术有限公司（下称“类比半导体”或
- 意法半导体STM32U5系列MCU上新，提高物联网和嵌入式应用性能和能效 Ajax Systems已使用 新STM32U5 MCU开发下一代无线安保和智能家居解决方案；新STM32U5系列MCU是首款获得NIST
- Vishay推出采用先进Power DFN系列DFN3820A封装的额定电流高达4 汽车级200 V、400 V和 600 V器件厚度仅为0.88 mm，采用可润湿侧翼封装，改善热性能并提高效率
- 锐成芯微推出基于BCD工艺的三层光罩eFlash IP 成都锐成芯微科技股份有限公司宣布，公司推出基于BCD工艺平台的LogicFlash Pro® eFlash IP产品，其特点是在
- 瑞萨电子推出包括汽车级在内的10款全新成功产品组合 这些经过全面测试的解决方案展示了瑞萨的相关产品组合的强大实力，包含电动汽车充电、汽车仪表盘控制和其它应
- QORVO UWB技术帮助移远通信推出具有更高定位精度和安全性的新一 Qorvo宣布，移远通信基于 Qorvo DW3300Q 平台最新推出支持超宽带连接（UWB）技术的车规级模组 AU30Q，面向新一代汽
- 比科奇在MWC 23上为全球市场带来高性能低功耗的商用5G小基站和 现场展示了近十家中外客户基于PC802 PHY SoC开发的5G/4G小基站系统
- Microchip推出新一代PoE交换机，为户外应用增加先进的网络和安全功 PDS-204GCO是广受欢迎的PDS-104GO的下一代解决方案，易于安装且环保
- Teledyne e2v发布150万像素的统包式光学模组Optimom，用于快速轻松 Teledyne Technologies 集团旗下公司 Teledyne e2v 宣布推出 Optimom™ 系列最新产品 Optimom 1.5M，这一系列
- CEVA宣布推出其迄今功能最强大、效率最高的DSP架构， 满足5G-Advan 全新CEVA-XC20延续了CEVA在数字信号处理器领域的行业领导地位。这款DSP架构采用新颖的矢量多线程计算技术，与
- 瑞萨电子推出业界首款用于动态软件开发且基于云的系统开发工具Qu Quick-Connect Studio使用户能够在硬件设计之前快速构建原型并开发量产级软件，从而缩短设计周期
