广告

每秒可对近20亿张图像进行处理分类的“超级芯片”

2022-06-09 16:23:57 宾夕法尼亚大学 阅读:
在测试过程中,该团队制作了一个尺寸为 9.3 mm 2(0.01 in 2)的芯片,并将其用于对一系列类似于字母的手写字符进行分类。在对相关数据集进行训练后,该芯片能够对包含两种字符集的图像进行分类,准确率达到 93.8%,对四种类型的图像进行分类准确率为 89.8%。

受人类大脑的启发,许多人工智能系统都是基于人工神经网络实现的,其中生物神经元的电等效物相互连接,使用一组已知数据(例如图像)进行训练,然后用于识别或分类新数据点。iVLednc

在用于图像识别的传统神经网络中,目标物体的图像首先在图像传感器上形成,例如智能手机中的数码相机。然后,图像传感器将光转换为电信号,最终转换为二进制数据,然后可以使用计算机芯片对其进行处理、分析、存储和分类。加速这些能力是改进许多应用程序的关键,例如人脸识别、自动检测照片中的文本或帮助自动驾驶汽车识别障碍物。iVLednc

虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算,这使得它对于大多数应用程序来说足够快,更复杂的图像分类,例如识别移动物体、3D 物体识别,或微细胞分类身体,正在推动即使是最强大的技术的计算极限。这些技术的当前速度限制是由计算机处理器中基于时钟的计算步骤时间表设置的,其中计算以线性时间表一个接一个地发生。iVLednc

为了解决这个限制,宾夕法尼亚大学的工程师创建了第一个可扩展的芯片,几乎可以立即对图像进行分类和识别。电气与系统工程副教授 Firooz Aflatouni 与博士后 Farshid Ashtiani 和研究生 Alexander J. Geers 一起,消除了传统计算机芯片中的四个主要耗时的罪魁祸首:光信号到电信号的转换,需要用于将输入数据转换为二进制格式、大内存模块和基于时钟的计算。iVLednc

他们通过使用在 9.3 平方毫米芯片上实现的光学深度神经网络直接处理从感兴趣对象接收到的光来实现这一点。iVLednc

iVLednc

该芯片能够对包含两种字符集的图像进行分类,准确率达到 93.8%,对四种类型的图像进行分类准确率为 89.8%iVLednc

这项发表在《自然》杂志上的研究描述了芯片的许多光学神经元如何使用光缆或“波导”相互连接,以形成一个由许多“神经元层”组成的深层网络,模仿人脑。信息通过网络的各个层,每一步都有助于将输入图像分类为其学习类别之一。在研究人员的研究中,芯片分类的图像是手绘的类似字母的字符。iVLednc

就像我们大脑中的神经网络一样,这个深度网络的设计方式允许快速信息处理。研究人员证明,他们的芯片可以在半纳秒内完成整个图像分类——这是传统数字计算机芯片在其基于时钟的时间表上仅完成一个计算步骤所需的时间。iVLednc

“我们的芯片通过我们所谓的‘传播计算’来处理信息,这意味着与基于时钟的系统不同,计算是在光通过芯片传播时发生的,”Aflatouni 说。“我们也跳过了将光信号转换为电信号的步骤,因为我们的芯片可以直接读取和处理光信号,而这两种变化都使我们的芯片成为一种更快的技术。”iVLednc

该芯片直接处理光信号的能力为其自身带来了另一个好处。iVLednc

“当当前的计算机芯片处理电信号时,它们通常通过图形处理单元或 GPU 运行它们,这会占用空间和能量,”Ashtiani 说。“我们的芯片不需要存储信息,不需要大内存单元。”iVLednc

“而且,通过消除存储图像的内存单元,我们还增加了数据隐私,”Aflatouni 说。“使用直接读取图像数据的芯片,不需要照片存储,因此不会发生数据泄漏。”iVLednc

一个以光速读取信息并提供更高程度网络安全的芯片无疑会在许多领域产生影响;这是过去几年对这项技术的研究不断增加的原因之一。iVLednc

“我们不是第一个提出直接读取光信号的技术,”Geers 说,“但我们是第一个在芯片内创建完整系统的人,该系统既兼容现有技术,又可扩展以处理更复杂的问题。数据。”iVLednc

该芯片具有深度网络设计,需要进行训练才能学习和分类新数据集,类似于人类的学习方式。当呈现给定数据集时,深度网络接收信息并将其分类为先前学习的类别。这种训练需要达到一种平衡,即足够具体以产生准确的图像分类,并且足够通用以在呈现新数据集时有用。工程师可以通过添加更多神经层来“放大”深度网络,从而使芯片能够以更高分辨率读取更复杂图像中的数据。iVLednc

而且,虽然这种新芯片将推进当前的图像传感技术,但它可以用于各种数据类型的无数应用。iVLednc

“这项技术真正有趣的是,它不仅可以对图像进行分类,还可以做更多的事情,”Aflatouni 说。“我们已经知道如何将许多数据类型转换为电域——图像、音频、语音和许多其他数据类型。现在,我们可以将不同的数据类型转换为光域,并使用这项技术几乎立即处理它们。”iVLednc

但是当信息以光速处理时会是什么样子呢?iVLednc

“要了解该芯片处理信息的速度有多快,请参考电影的帧速率,”他继续说道。“一部电影的播放速度通常在每秒 24 到 120 帧之间。这颗芯片每秒可以处理近 20 亿帧!”iVLednc

对于一项具有许多应用的技术,重要的是要在更基础的层面上了解它的能力和局限性,而 Aflatouni 当前和未来的这项研究计划将做到这一点。iVLednc

“我们在这项研究中的下一步将检查芯片的可扩展性以及三维物体分类的工作,”Aflatouni 说。“那么也许我们会冒险进入非光学数据分类领域。虽然图像分类是该芯片的首批研究领域之一,但我很高兴看到它将如何使用它,也许与数字平台一起使用,以加速不同类型的计算。”iVLednc

该研究论文题为 "An on-chip photonic deep neural network for image classification",已发表在《自然》期刊上。iVLednc

论文原文:https://www.nature.com/articles/s41586-022-04714-0iVLednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 用水泥和炭黑制造储能超级电容器 一项新的研究表明,人类最普遍的两种历史材料,水泥和炭黑(类似于非常细的木炭),可能会成为新型低成本储能系统的基础。该技术可以在可再生能源供应出现波动的情况下使能源网络保持稳定,从而促进太阳能、风能和潮汐能等可再生能源的使用。
  • 一种用于电路板回收的新基材:遇水能溶 英国的Jiva Materials公司开发了一种新型的PCB基材Soluboard,这种基材是由天然纤维包裹在一种无卤的聚合物中制成的,与行业内经常使用的FR-4基材不同,这种材料只要在90摄氏度左右的热水中浸泡30分钟,就可以分层溶解···
  • 美国公司声称发现室温超导材料,被授予了高于室温的第二 位于美国佛罗伦萨州的Taj Quantum的公司在社交媒体宣布,被授予了高于室温的第二类超导体专利。据称,这种独特的 II 型超导体(专利号:17249094)可在较宽的温度范围内工作,包括远高于室温的温度,从约 -100° F (-73° C) 到约 302° F (150° C) - 这是一种特性这在超导体世界中并不常见。
  • 俄罗斯“贝加尔湖”基准测试对比英特尔和华为芯片,惨败 俄罗斯服务器处理器 Baikal-S 的开发人员将其性能与美国和中国的同类芯片进行了比较。涉及六个流行指标。
  • 麻省理工发现新型量子磁铁释放电子潜力 研究人员发现了如何控制异常霍尔效应和贝里曲率来制造用于计算机、机器人和传感器的柔性量子磁体。
  • 电池能用三十年?美国Ener Venue称推出革命性电池技术 三元锂离子电池的理论寿命约为800次循环,磷酸铁锂约为2000次,而钛酸锂据说可以达到1万次循环,也就是说常规普通人使用的锂离子电池每天完全充放电三次,最多也就能用上几年的时间。虽然相较于铅酸电池200-300次的循环寿命来说,这已经是很大幅度的提升了,但现在有一家公司宣称他们的电池可以充放电30000次,每天充放电三次,能用30年。
  • 测试中比友商温度低14度,一加天工散热系统怎么做到的? 7月27日,一加在2023年ChinaJoy上发布了全球首创的散热技术,即航天级三维立体散热系统“天工散热系统”,这是一加的又一次新的尝试,让我们一起来了解一下。
  • 万物电气化:探索绿色未来之路 在本文中,我们将重点介绍美国年度脱碳展望(ADP)2022报告中的一些重要发现。本报告着眼于实现净零经济的各种情景。我们在本文中重点关注的方法称为“中心情景”,它遵循到2050年实现净零排放的时间表。
  • 韩国造世界首个室温超导体,闹剧还是新的未来? 7月22日,韩国的一个科研团队在预印本网站arXiv平台上上传了两篇论文,声称发现了世界上首个常压室温超导体,这种材料是一种改性铅磷灰石名为LK-99,超导临界温度在127摄氏度,即400K以上,而且在常压下就具备超导性。
  • 下一个医疗前沿:网联可穿戴设备 医疗和消费级可穿戴设备将继续增强连接性和电池寿命,以实现对血压、体温和身体水分等多种生物标志物的实时和非侵入性监测。
  • 瑞能半导体全球首座模块工厂在上海湾区高新区正式投入 瑞能微恩半导体暨瑞能金山模块厂开业典礼在上海湾区高新区隆重举行,标志着瑞能全球首座模块工厂正式投入运营,将主要生产应用于消费、通讯、新能源以及汽车相关的各类型功率模块产品,串联客户和生态圈,积极推动行业高质量发展。
  • TI无线MCU创新方案,助力用户加速拥抱物联网 7月21日,由AspenCore主办的“2023全球MCU生态发展大会”在深圳罗湖君悦酒店隆重举行,特邀请到MCU领域的领军企业之一德州仪器(TI)参加了“无线MCU分论坛”,论坛上,TI无线产品工程师魏天华分享了主题为“创新型无线解决方案,助力不断发展的互联世界”的演讲,为现场观众带来了TI最新的无线MCU系列,以及对于这一市场的深刻思考。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了