广告

SynSense时识科技携手Prophesee,开发结合处理器IP的影像感测单芯片

2022-01-14 Sally Ward-Foxton,EE Times欧洲特派记者 阅读:
瑞士新创公司SynSense和法国业者Prophesee正在合作开发一款事件导向影像传感器单芯片,结合Prophesee的Metavision 影像传感器和Synsense的DYNAP-CNN 神经形态处理器。

总部位于瑞士的新创公司SynSense和法国业者Prophesee正在合作开发一款事件导向(event-based)影像传感器单芯片,结合Prophesee的Metavision 影像传感器和Synsense的DYNAP-CNN 神经形态处理器。两家公司将会在该款传感器-处理器单芯片的设计、开发、制造和商品化等各方面进行,目标是实现小体积、平价的超低功耗处理器。I5gednc

“我们不是传感器公司,我们是处理器公司;”SynSense全球业务暨算法/应用开发资深总监Dylan Muir接受《EE Times》访问时表示:“因为我们正在关注低功耗的传感器处理作业,发现我们的硬件若能距离传感器越近会越好;所以能与事件导向视觉传感器业者合作,对我们来说很有意义。”I5gednc

 I5gednc

I5gednc

SynSense过去曾结合该公司的棘波神经网络(spiking neural network) IP以及来自另一家公司Inivation的动态视觉传感器,实现名为Speck的相机模块。I5gednc

(图片来源:SynSense)I5gednc

 I5gednc

SynSense也和另一家事件导向影像传感器业者Inivation合作,后者已经开发出一款名为名为Speck的128×128分辨率事件导向相机模块。Muri指出:“我们与Prophesee合作是为了朝更高分辨率画素数组方向发展。”I5gednc

他指出,Prophesee先前曾与Sony合作,并在实现低光源敏感性方面具备优势;“以长期来看,我们希望能在装置中以尺寸非常小巧的模块进行高分辨率的视觉处理,这比把所有的东西都放大还来得复杂。”I5gednc

较高分辨率的传感器数组会占据更多电路板空间,也需要更多的处理作业,所以处理器核心必然也要更大。Muir表示,高质量影像传感器对芯片的需求,与市场对数字逻辑芯片的小型化需求不一致,因此堆栈式架构或是背对背键合的多芯片解决方案,看来是最有可能的解决方式。I5gednc

较高分辨率的传感器也会需要算法开发。Muir指出,目前较小的画素矩阵是透过单一卷积神经网络(CNN)来处理,较高分辨率意味着需要庞大的CNN;此外,一个影像可以被分割成一块块,由多个CNN平行处理,或者是只检视影像的某一个范围。I5gednc

事件导向视觉传感器

像是Prophesee的事件导向影像传感器,其重点不在于影像而是影格(video frames)的变化;该技术是以人眼如何记录和解释视觉馈入为基础,能大幅减少数据产出量,这对于低光源情境来说更具效益,比起其他影像传感器,能够用更低的功耗来运作。I5gednc

Prophesee的事件导向Metavision传感器,在每个画素中具备嵌入式的智能功能,能够让每个画素单独启动,进而触发一个事件。I5gednc

SynSense提供低维度讯号(音频、生物讯号、振动监测)处理的混合讯号处理器,耗电量低于500μW;不过该公司并未打算将该技术立即商业化,现有芯片上资源也不足以执行一个CNN,而这是视觉处理的必备条件。为此,SynSense开发了第二种为卷积神经网络量身打造的数字架构,该IP会整合到Prophesee传感器中。I5gednc

转向一个完全异步数字架构,也意味着该设计需要转移至更高阶制程,同时消耗更少功率。该处理器IP包括可支持CNN事件导向视觉的棘波(spiking)卷积核心,SynSense为棘波神经网络采用以倒传递(Back-propagation)为基础的训练。I5gednc

Muir指出,这种方法能让时间讯号(temporal signals)的处理速度,超越被转换于事件领域中执行的标准CNN。倒传递是透过在训练过程中近似棘波的导数(derivative)来实现的,而推论则是纯粹以棘波为基础。I5gednc

SynSense的棘波神经元利用8位的突触权重(synaptic weights)整数逻辑、一个16位的神经元状态、一个16位的阈值(threshold),以及单一位的输入和输出棘波。神经元是最简单的“IF”(integrate and fire)模型──相较于更复杂的LIF (leaky integrate and fire)模型,该简单版模型在没有输入的时候,内部状态不会衰减,减少了运算的需求。I5gednc

此外SynSense的神经元将8位数值与16位数值相加,然后将之与16位阈值相比较。Muir表示:“一开始让我们颇感惊讶的是,我们能够把神经元设计缩减到这么简单的程度,还能够让它表现非常好。”I5gednc

I5gednc

SynSense的数字二进制异步神经元,是利用简单的“IF”(integrate and fire)设计。I5gednc

(图片来源:SynSense)I5gednc

SynSense的数字芯片是为CNN处理打造,且每个CNN层是由不同的处理器核心来处理的。核心的运作是异步且各自独立的,整个处理流程(pipeline)是事件导向。在系统监视互动意图的展示中(无论使用者是否看着这个装置),SynSense以小于100ms延迟来堆栈被处理的输入,而传感器和处理器消耗的动态功率低于5mW 。I5gednc

SynSense的处理器核心已经历经几代的演进,而Speck传感器已经准备好支持实时图像处理应用程序的商业化,可提供像是智能型手机与智能家庭装置使用;128×120分辨率的摄影机对短距离或室内应用来说相当足够的(诸如保全监控等户外应用会需要更高分辨率)。I5gednc

SynSense成立于2017年,是从瑞士苏黎世(University of Zurich)独立出来的企业,目前有65名员工,分散于苏黎世的研发办公室、在中国成都的系统和产品工程基地,以及上海的IC设计团队。该公司最近结束了Pre-B 轮募资,投资者包括Westport Capital、张江集团、CET Hik、CMSK、Techtronics、Ventech China、CTC Capital与Yachang Investments 等(不过SynSense婉拒透露募资金额)。I5gednc

目前已有事件导向视觉处理器的硬件开发工具组上市,可实现手势辨识、人员侦测(presence detection)与意图互动(intent to interaction)等智能家庭装置上的应用功能。而视觉处理器样本、音频与IMU开发工具组、Speck相机模块的开发工具组,则将于2022年底开始提供。I5gednc

(参考原文:Neuromorphic Developers Partner to Integrate Sensor, Processor,By Sally Ward-Foxton;本文同步刊登于《电子工程专辑》杂志20221月号)I5gednc

责编:Demi
本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 2021年在美专利申请50强企业排行:中国企业增长10%,华为 日前,IFI Claims发布了最新的在美国专利申请50强企业排行榜,IFI Claims表示,前50名排名确定了 2021 年美国知识产权领域最具创新性的公司,前5名分别是IBM、三星、佳能和台积电,华为首次进入前5。
  • 听安森美谈谈汽车智能电源和智能感知方案有何发展趋势 安森美(onsemi)在汽车应用领域有着很强的优势。该公司自2021年8月份更名并启用新logo后,集中精力发展智能电源和智能感知技术,用来支持汽车和工业增长的大趋势。日前,该公司召开汽车方案媒体交流会,带我们了解汽车电子IC在这两个方面的技术发展趋势。
  • ADAS工程师需了解的新NCAP雷达要求 很多情况下,Euro NCAP都率先设定标准,进而推动全球汽车行业的发展。最新的第79号条例指定了雷达在盲点检测和车道变换辅助中的最小距离和最低运行速度。
  • 状态监控(CbM)技术如何以更高能效实现海水淡化 如果我们可以饮用海水,会怎么样?这将对农业、可持续发展和全球生活质量产生巨大影响,但对能源的需求同样也很大。海水淡化技术非常耗电,且实施起来往往需要花费大量的时间和资源。
  • 纳米线晶体管集成内存,可实现未来的超级计算机 日前,瑞典隆德大学的研究人员提出了一种将存储单元与处理器集成的新解决方案,该解决方案可以实现更快的计算,可用于克服冯诺依曼瓶颈——需要在单独的内存和计算单元之间打乱数据——并有助于提高计算性能。
  • 模拟是否在机器学习世界占一席之地? 透过将机器学习工作负载从数字转移到模拟,使其更加接近传感器,工程师能够了解并掌握模拟数据的相关性,因而更有效地处理传感器「数据洪流」(data deluge)。在迅速兴起中的机器学习世界中,这正是模拟得以发挥作用之处...
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了