广告

SynSense时识科技携手Prophesee,开发结合处理器IP的影像感测单芯片

2022-01-14 14:50:42 Sally Ward-Foxton,EE Times欧洲特派记者 阅读:
瑞士新创公司SynSense和法国业者Prophesee正在合作开发一款事件导向影像传感器单芯片,结合Prophesee的Metavision 影像传感器和Synsense的DYNAP-CNN 神经形态处理器。

总部位于瑞士的新创公司SynSense和法国业者Prophesee正在合作开发一款事件导向(event-based)影像传感器单芯片,结合Prophesee的Metavision 影像传感器和Synsense的DYNAP-CNN 神经形态处理器。两家公司将会在该款传感器-处理器单芯片的设计、开发、制造和商品化等各方面进行,目标是实现小体积、平价的超低功耗处理器。okRednc

“我们不是传感器公司,我们是处理器公司;”SynSense全球业务暨算法/应用开发资深总监Dylan Muir接受《EE Times》访问时表示:“因为我们正在关注低功耗的传感器处理作业,发现我们的硬件若能距离传感器越近会越好;所以能与事件导向视觉传感器业者合作,对我们来说很有意义。”okRednc

 okRednc

okRednc

SynSense过去曾结合该公司的棘波神经网络(spiking neural network) IP以及来自另一家公司Inivation的动态视觉传感器,实现名为Speck的相机模块。okRednc

(图片来源:SynSense)okRednc

 okRednc

SynSense也和另一家事件导向影像传感器业者Inivation合作,后者已经开发出一款名为名为Speck的128×128分辨率事件导向相机模块。Muri指出:“我们与Prophesee合作是为了朝更高分辨率画素数组方向发展。”okRednc

他指出,Prophesee先前曾与Sony合作,并在实现低光源敏感性方面具备优势;“以长期来看,我们希望能在装置中以尺寸非常小巧的模块进行高分辨率的视觉处理,这比把所有的东西都放大还来得复杂。”okRednc

较高分辨率的传感器数组会占据更多电路板空间,也需要更多的处理作业,所以处理器核心必然也要更大。Muir表示,高质量影像传感器对芯片的需求,与市场对数字逻辑芯片的小型化需求不一致,因此堆栈式架构或是背对背键合的多芯片解决方案,看来是最有可能的解决方式。okRednc

较高分辨率的传感器也会需要算法开发。Muir指出,目前较小的画素矩阵是透过单一卷积神经网络(CNN)来处理,较高分辨率意味着需要庞大的CNN;此外,一个影像可以被分割成一块块,由多个CNN平行处理,或者是只检视影像的某一个范围。okRednc

事件导向视觉传感器

像是Prophesee的事件导向影像传感器,其重点不在于影像而是影格(video frames)的变化;该技术是以人眼如何记录和解释视觉馈入为基础,能大幅减少数据产出量,这对于低光源情境来说更具效益,比起其他影像传感器,能够用更低的功耗来运作。okRednc

Prophesee的事件导向Metavision传感器,在每个画素中具备嵌入式的智能功能,能够让每个画素单独启动,进而触发一个事件。okRednc

SynSense提供低维度讯号(音频、生物讯号、振动监测)处理的混合讯号处理器,耗电量低于500μW;不过该公司并未打算将该技术立即商业化,现有芯片上资源也不足以执行一个CNN,而这是视觉处理的必备条件。为此,SynSense开发了第二种为卷积神经网络量身打造的数字架构,该IP会整合到Prophesee传感器中。okRednc

转向一个完全异步数字架构,也意味着该设计需要转移至更高阶制程,同时消耗更少功率。该处理器IP包括可支持CNN事件导向视觉的棘波(spiking)卷积核心,SynSense为棘波神经网络采用以倒传递(Back-propagation)为基础的训练。okRednc

Muir指出,这种方法能让时间讯号(temporal signals)的处理速度,超越被转换于事件领域中执行的标准CNN。倒传递是透过在训练过程中近似棘波的导数(derivative)来实现的,而推论则是纯粹以棘波为基础。okRednc

SynSense的棘波神经元利用8位的突触权重(synaptic weights)整数逻辑、一个16位的神经元状态、一个16位的阈值(threshold),以及单一位的输入和输出棘波。神经元是最简单的“IF”(integrate and fire)模型──相较于更复杂的LIF (leaky integrate and fire)模型,该简单版模型在没有输入的时候,内部状态不会衰减,减少了运算的需求。okRednc

此外SynSense的神经元将8位数值与16位数值相加,然后将之与16位阈值相比较。Muir表示:“一开始让我们颇感惊讶的是,我们能够把神经元设计缩减到这么简单的程度,还能够让它表现非常好。”okRednc

okRednc

SynSense的数字二进制异步神经元,是利用简单的“IF”(integrate and fire)设计。okRednc

(图片来源:SynSense)okRednc

SynSense的数字芯片是为CNN处理打造,且每个CNN层是由不同的处理器核心来处理的。核心的运作是异步且各自独立的,整个处理流程(pipeline)是事件导向。在系统监视互动意图的展示中(无论使用者是否看着这个装置),SynSense以小于100ms延迟来堆栈被处理的输入,而传感器和处理器消耗的动态功率低于5mW 。okRednc

SynSense的处理器核心已经历经几代的演进,而Speck传感器已经准备好支持实时图像处理应用程序的商业化,可提供像是智能型手机与智能家庭装置使用;128×120分辨率的摄影机对短距离或室内应用来说相当足够的(诸如保全监控等户外应用会需要更高分辨率)。okRednc

SynSense成立于2017年,是从瑞士苏黎世(University of Zurich)独立出来的企业,目前有65名员工,分散于苏黎世的研发办公室、在中国成都的系统和产品工程基地,以及上海的IC设计团队。该公司最近结束了Pre-B 轮募资,投资者包括Westport Capital、张江集团、CET Hik、CMSK、Techtronics、Ventech China、CTC Capital与Yachang Investments 等(不过SynSense婉拒透露募资金额)。okRednc

目前已有事件导向视觉处理器的硬件开发工具组上市,可实现手势辨识、人员侦测(presence detection)与意图互动(intent to interaction)等智能家庭装置上的应用功能。而视觉处理器样本、音频与IMU开发工具组、Speck相机模块的开发工具组,则将于2022年底开始提供。okRednc

(参考原文:Neuromorphic Developers Partner to Integrate Sensor, Processor,By Sally Ward-Foxton;本文同步刊登于《电子工程专辑》杂志20221月号)okRednc

责编:Demi
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 深圳允许完全自动驾驶车辆上路,主驾无需坐人 据EDN电子技术设计引援央视财经报道,从8月1日开始,《深圳经济特区智能网联汽车管理条例》正式实施,智能网联汽车列入国家汽车产品目录或者深圳市智能网联汽车产品目录,这也让深圳成为了国内首个允许L3级别自动驾驶车辆合法上路的城市。
  • 理想ONE高速起火烧成光架,其1.2T三缸增程器曾被指隐藏 近期,网络平台上发布了一段理想ONE在行驶过程中,车辆出现起火的视频内容。现场拍摄的灭火后图片显示,该轿车过火后仅剩骨架,车辆前部增程器位置受损严重,车辆尾门已经在过火后从车身主体脱落。此前,曾有国内汽车媒体对一台行驶了10万公里的理想ONE的东安1.2T三缸增程发动机进行拆解,被指隐藏暗病。
  • 上海微系统所使用石墨烯纳米带研制出世界上最小尺寸的 非易失性相变随机存取存储器(PCRAM)被认为是大数据时代新兴海量存储的有希望的候选者之一。然而,相对较高的编程能量阻碍了 PCRAM 中功耗的进一步降低。利用石墨烯的窄边接触可以有效降低每个电池中相变材料的活性体积,从而实现低功耗运行。
  • 可解决工业自动化和IIoT挑战的MCU 工业自动化和工业物联网(IIoT)设计人员的性能要求不断变化。就MCU而言,他们希望获得更快的处理速度、更多的内存、更好的连接性和更多的安全功能。
  • 我国建成开通5G基站数达185.4万个 工信部近日透露,截至2022年6月底,中国5G基站数达到185.4万个,其中二季度新增基站近30万个,已建成全球规模最大、技术领先的网络基础设施,实现“县县通5G、村村通宽带”。。
  • 第三代半导体——碳化硅材料之制程与分析 SiC功率电子是加速电动车时代到来的主要动能。以SiC MOSFET取代目前的Si IGBT,不仅能使电力移转时的能源损耗降低80%以上,同时也可让芯片模块尺寸微缩至原本的1/10,达到延长电动车续航里程及缩短充电时间的功效。
  • 开源软件真的可靠吗? 乍看之下,采用开源软件似乎是个不错的办法,但归根究底,开源软件有几个特性可能会使其变得“邪恶”...
  • GaN是否可靠? GaN产业已经建立一套方法来保证GaN产品的可靠性,因此问题并不在于“GaN是否可靠?”,而是“如何验证GaN的可靠性?”
  • 国际象棋机器人Chessrobot夹断对手手指,意外还是设计缺 据悉,在7月19日的莫斯科国际象棋公开赛期间,一位7岁小男孩疑似因提前走子犯规手,意外被“对手”国际象棋机器人Chessrobot夹住手指,造成指骨骨折,该事件登上了热搜榜。该男孩是莫斯科9岁以下最强的30位棋手之一。
  • MIT研究人员发现了一种性能比硅更好的半导体材料 硅是地球上最丰富的元素之一,其纯净形式已成为许多现代技术的基础,从太阳能电池到计算机芯片,但硅作为半导体的特性远非理想。现在,来自 MIT、休斯顿大学和其他机构的一组研究人员发现了一种称为立方砷化硼的材料,这种材料可以克服硅的上述两个限制。其为电子和电洞提供了高迁移率,并具有优良的热导率。研究人员表示,这是迄今为止发现最好的半导体材料,在将来也可能说是最好的材料。
  • 增强型GaN HEMT的漏极电流特性 增强型GaN基高电子迁移率晶体管(HEMT)已经采用两种不同的结构开发出来。这两种增强型结构是金属-绝缘层-半导体(MIS)结构和栅极注入晶体管(GIT)结构。MIS结构具有受电压驱动的小栅极漏电流,而GIT则具有脊形结构和高阈值电压。两者也都有一些缺点。MIS对栅极干扰的可靠性较低,阈值电压较低,而GIT的栅极开关速度较慢,栅极漏电流较大。
  • M2 Pro 和 M2 Max 或是苹果首款采用台积电3nm 工艺的 M1 Pro 和 M1 Max 最多可配置 10 核 CPU 和 32 核 GPU。借助 M2 Pro 和 M2 Max,Apple 有望突破这一门槛,为这两个领域带来更多的核心数量。目前M2 Pro相关的爆料很少,但据称M2 Max 有12 核 GPU 和 38 核 GPU。12 核 CPU 将包括 10 个性能核心和两个能效核心。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了