广告

每秒可对近20亿张图像进行处理分类的“超级芯片”

2022-06-09 16:23:57 宾夕法尼亚大学 阅读:
在测试过程中,该团队制作了一个尺寸为 9.3 mm 2(0.01 in 2)的芯片,并将其用于对一系列类似于字母的手写字符进行分类。在对相关数据集进行训练后,该芯片能够对包含两种字符集的图像进行分类,准确率达到 93.8%,对四种类型的图像进行分类准确率为 89.8%。

受人类大脑的启发,许多人工智能系统都是基于人工神经网络实现的,其中生物神经元的电等效物相互连接,使用一组已知数据(例如图像)进行训练,然后用于识别或分类新数据点。ZbWednc

在用于图像识别的传统神经网络中,目标物体的图像首先在图像传感器上形成,例如智能手机中的数码相机。然后,图像传感器将光转换为电信号,最终转换为二进制数据,然后可以使用计算机芯片对其进行处理、分析、存储和分类。加速这些能力是改进许多应用程序的关键,例如人脸识别、自动检测照片中的文本或帮助自动驾驶汽车识别障碍物。ZbWednc

虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算,这使得它对于大多数应用程序来说足够快,更复杂的图像分类,例如识别移动物体、3D 物体识别,或微细胞分类身体,正在推动即使是最强大的技术的计算极限。这些技术的当前速度限制是由计算机处理器中基于时钟的计算步骤时间表设置的,其中计算以线性时间表一个接一个地发生。ZbWednc

为了解决这个限制,宾夕法尼亚大学的工程师创建了第一个可扩展的芯片,几乎可以立即对图像进行分类和识别。电气与系统工程副教授 Firooz Aflatouni 与博士后 Farshid Ashtiani 和研究生 Alexander J. Geers 一起,消除了传统计算机芯片中的四个主要耗时的罪魁祸首:光信号到电信号的转换,需要用于将输入数据转换为二进制格式、大内存模块和基于时钟的计算。ZbWednc

他们通过使用在 9.3 平方毫米芯片上实现的光学深度神经网络直接处理从感兴趣对象接收到的光来实现这一点。ZbWednc

ZbWednc

该芯片能够对包含两种字符集的图像进行分类,准确率达到 93.8%,对四种类型的图像进行分类准确率为 89.8%ZbWednc

这项发表在《自然》杂志上的研究描述了芯片的许多光学神经元如何使用光缆或“波导”相互连接,以形成一个由许多“神经元层”组成的深层网络,模仿人脑。信息通过网络的各个层,每一步都有助于将输入图像分类为其学习类别之一。在研究人员的研究中,芯片分类的图像是手绘的类似字母的字符。ZbWednc

就像我们大脑中的神经网络一样,这个深度网络的设计方式允许快速信息处理。研究人员证明,他们的芯片可以在半纳秒内完成整个图像分类——这是传统数字计算机芯片在其基于时钟的时间表上仅完成一个计算步骤所需的时间。ZbWednc

“我们的芯片通过我们所谓的‘传播计算’来处理信息,这意味着与基于时钟的系统不同,计算是在光通过芯片传播时发生的,”Aflatouni 说。“我们也跳过了将光信号转换为电信号的步骤,因为我们的芯片可以直接读取和处理光信号,而这两种变化都使我们的芯片成为一种更快的技术。”ZbWednc

该芯片直接处理光信号的能力为其自身带来了另一个好处。ZbWednc

“当当前的计算机芯片处理电信号时,它们通常通过图形处理单元或 GPU 运行它们,这会占用空间和能量,”Ashtiani 说。“我们的芯片不需要存储信息,不需要大内存单元。”ZbWednc

“而且,通过消除存储图像的内存单元,我们还增加了数据隐私,”Aflatouni 说。“使用直接读取图像数据的芯片,不需要照片存储,因此不会发生数据泄漏。”ZbWednc

一个以光速读取信息并提供更高程度网络安全的芯片无疑会在许多领域产生影响;这是过去几年对这项技术的研究不断增加的原因之一。ZbWednc

“我们不是第一个提出直接读取光信号的技术,”Geers 说,“但我们是第一个在芯片内创建完整系统的人,该系统既兼容现有技术,又可扩展以处理更复杂的问题。数据。”ZbWednc

该芯片具有深度网络设计,需要进行训练才能学习和分类新数据集,类似于人类的学习方式。当呈现给定数据集时,深度网络接收信息并将其分类为先前学习的类别。这种训练需要达到一种平衡,即足够具体以产生准确的图像分类,并且足够通用以在呈现新数据集时有用。工程师可以通过添加更多神经层来“放大”深度网络,从而使芯片能够以更高分辨率读取更复杂图像中的数据。ZbWednc

而且,虽然这种新芯片将推进当前的图像传感技术,但它可以用于各种数据类型的无数应用。ZbWednc

“这项技术真正有趣的是,它不仅可以对图像进行分类,还可以做更多的事情,”Aflatouni 说。“我们已经知道如何将许多数据类型转换为电域——图像、音频、语音和许多其他数据类型。现在,我们可以将不同的数据类型转换为光域,并使用这项技术几乎立即处理它们。”ZbWednc

但是当信息以光速处理时会是什么样子呢?ZbWednc

“要了解该芯片处理信息的速度有多快,请参考电影的帧速率,”他继续说道。“一部电影的播放速度通常在每秒 24 到 120 帧之间。这颗芯片每秒可以处理近 20 亿帧!”ZbWednc

对于一项具有许多应用的技术,重要的是要在更基础的层面上了解它的能力和局限性,而 Aflatouni 当前和未来的这项研究计划将做到这一点。ZbWednc

“我们在这项研究中的下一步将检查芯片的可扩展性以及三维物体分类的工作,”Aflatouni 说。“那么也许我们会冒险进入非光学数据分类领域。虽然图像分类是该芯片的首批研究领域之一,但我很高兴看到它将如何使用它,也许与数字平台一起使用,以加速不同类型的计算。”ZbWednc

该研究论文题为 "An on-chip photonic deep neural network for image classification",已发表在《自然》期刊上。ZbWednc

论文原文:https://www.nature.com/articles/s41586-022-04714-0ZbWednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 商务部暂停天然砂对台湾地区出口,对其半导体制造产业有 据EDN电子技术设计了解,商务部网站8月3日早晨8点发布最新消息,表示将从即日起暂停天然砂对台湾地区出口。不少网友认为暂停天然砂对台湾地区的出口,此举将严重影响台湾的建筑业,实则影响不仅仅如此。台湾地区天然砂进口量的90%以上来自大陆,而台湾芯片占台湾2021年出口额的34.8%。网友称商务部暂停天然砂对台湾地区出口是捏到了台湾半导体制造业的七寸。
  • 华盛顿大学首创用人体热能为可穿戴电子设备供电 从健康和健身追踪器到虚拟现实设备,可穿戴电子产品已成为我们日常生活的一部分,但找到持续为这些设备供电的方法是一项挑战。华盛顿大学的研究人员开发了一种创新的解决方案:首创的柔性、可穿戴热电设备,可将体热转化为电能。
  • 深圳允许完全自动驾驶车辆上路,主驾无需坐人 据EDN电子技术设计引援央视财经报道,从8月1日开始,《深圳经济特区智能网联汽车管理条例》正式实施,智能网联汽车列入国家汽车产品目录或者深圳市智能网联汽车产品目录,这也让深圳成为了国内首个允许L3级别自动驾驶车辆合法上路的城市。
  • 理想ONE高速起火烧成光架,其1.2T三缸增程器曾被指隐藏 近期,网络平台上发布了一段理想ONE在行驶过程中,车辆出现起火的视频内容。现场拍摄的灭火后图片显示,该轿车过火后仅剩骨架,车辆前部增程器位置受损严重,车辆尾门已经在过火后从车身主体脱落。此前,曾有国内汽车媒体对一台行驶了10万公里的理想ONE的东安1.2T三缸增程发动机进行拆解,被指隐藏暗病。
  • 上海微系统所使用石墨烯纳米带研制出世界上最小尺寸的 非易失性相变随机存取存储器(PCRAM)被认为是大数据时代新兴海量存储的有希望的候选者之一。然而,相对较高的编程能量阻碍了 PCRAM 中功耗的进一步降低。利用石墨烯的窄边接触可以有效降低每个电池中相变材料的活性体积,从而实现低功耗运行。
  • 可解决工业自动化和IIoT挑战的MCU 工业自动化和工业物联网(IIoT)设计人员的性能要求不断变化。就MCU而言,他们希望获得更快的处理速度、更多的内存、更好的连接性和更多的安全功能。
  • 我国建成开通5G基站数达185.4万个 工信部近日透露,截至2022年6月底,中国5G基站数达到185.4万个,其中二季度新增基站近30万个,已建成全球规模最大、技术领先的网络基础设施,实现“县县通5G、村村通宽带”。。
  • 苹果发布2022财年第三财季业绩,营收829.59亿美元 Apple 今日公布了 2022 年第三财季的财务业绩。报告显示,苹果公司第三财季公布收入为 829.59亿美元,去年同期为 814 亿美元,同比增长2%;季度净利润为 194 .4亿美元,去年同期为217 亿美元,同比下降10.6%;其中,iPhone带来的营收406.7亿美元,同比增长3%。
  • 工程师开发出可以看到身体内部的贴纸 麻省理工学院的工程师设计了一种贴片,可以产生身体的超声图像。这种邮票大小的设备贴在皮肤上,可以提供 48 小时内脏器官的连续超声成像。
  • 美国参议院批准价值2460亿美元的芯片法案 美国参议院周三通过立法,以超过 750 亿美元支持国内半导体产业。GlobalFoundries、英特尔、三星代工厂、德州仪器、台积电和其他在美国建立半导体制造设施的公司或将受益。
  • 第三代半导体——碳化硅材料之制程与分析 SiC功率电子是加速电动车时代到来的主要动能。以SiC MOSFET取代目前的Si IGBT,不仅能使电力移转时的能源损耗降低80%以上,同时也可让芯片模块尺寸微缩至原本的1/10,达到延长电动车续航里程及缩短充电时间的功效。
  • 开源软件真的可靠吗? 乍看之下,采用开源软件似乎是个不错的办法,但归根究底,开源软件有几个特性可能会使其变得“邪恶”...
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了