广告

联合式学习开启AI运算新篇章

2020-07-09 14:01:33 MAJEED AHMAD, EDN执行主编 阅读:
人工智能(AI)本身是一种颠覆性的技术,而联合式学习(federated learning)则可能会是颠覆AI的一种方法……

人工智能(AI)本身是一种颠覆性的技术,而联合式学习(federated learning)则可能会是颠覆AI的一种方法──瑞士洛桑联邦理工学院(Ecole Polytechnique Federale de Lausanne,EPFL)教授暨嵌入式系统实验室(Embedded Systems Laboratory)总监David Atienza率先开发了一种解决方案,可替代传统集中式的机器学习(ML)。rHOednc

关键的差异在于,联合式学习是在多个保存本地数据样本而不会交换它们的去中心化边缘装置或服务器上进行特定ML训练,这可降低对隐私保护的疑虑以及能源消耗,因为数据不会移动到云端或是中央数据库。rHOednc

联合式学习在蔓延全球的新冠病毒疫情中也能发挥作用。Atienza领导的EPFL团队正在实验一种能结合来自各种咳嗽症状监测装置的数据,以提升初始诊断精确度的AI系统──根据世界卫生组织(WHO)统计,有三分之二的新冠病毒肺炎患者会出现干咳的症状,而医护人员若能在就医者进入急诊室时先掌握到这类症状,可早期发现确诊病患。rHOednc

透过该AI系统,工程师能将从不同咳嗽样本取得的个别数据相关联,以创建一个更复杂精密的模型。Atienza接受《EE Times》访问时表示,该AI系统项目就是采用联合式学习的概念,让设计者能使用一系列传感器来观察特定的征象。虽然这些传感器无法全面观察被指派的对象,但有助于建立一个简化的模型并与其他类似的模型结合,然后生成一个完整的AI模型。rHOednc

AI运算新篇章

联合式学习是2017年由Google所提出,为需要利用具备庞大运算力之集中式数据中心来执行的传统机器学习提供可行替代方案,也为无力负担大型数据中心的新创公司与中小企业提供了自建ML模型的途径。此外,在大型数据中心进行训练的机器学习模型,其数据隐私保护往往是一个主要顾虑,这种新架构是在装置本地储存数据,对于隐私较有保障。rHOednc

Atienza在介绍联合式学习概念时表示,人们可以想象这是收集数据以训练AI模型的中央辅助系统;而联合式学习也能让物联网(IoT)更具适应性,从位于不同据点的小型数据集(dataset)中学习。他补充指出,分散各处的传感器收集数据进行模型训练并非独立作业,而是透过一个做为数据交换数据库的(加密)共享端点。rHOednc

在传感器内部执行学习时,该共享数据库或服务器会协助传感器将观察到的数据同步化,并建立共享模型。Atienza解释:“在完全分布式的学习中,没有将装置联合并同步化的数据库;因此像是传感器等装置无法互相沟通,也没有一个中央单元负责协调。”rHOednc

除了完全分布式的系统会更复杂,联合式学习还有助于解决许多问题并提供良好结果。例如在医疗应用中,不同的诊所能联合开发AI模型,又不直接分享敏感的病患个资。rHOednc

rHOednc

在医疗应用环境采用联合式学习。(图片来源:Carnegie)rHOednc

联合式学习也为AI开启了全新的运算典范,工程师能执行本地的神经网络训练,并为有效的训练找到正确数据。Atienza表示,这有助于促进机器学习应用的发展,例如自然语言处理以及档案/文件处理。rHOednc

他指出:“现在AI解决方案的焦点集中在人类无法做得很好的任务上,设计工程师(透过联合式学习)能在数据集中纳入可取得的数据与丛集以支持特定算法;在将数据进行分类后,就能建立更好、个人化的机器学习模型。”rHOednc

可编程的“迷你”加速器

联合式学习需要什么样的硬件?对此Atienza表示,相较于目前支持特定机器学习应用的AI加速器,联合式学习所需的硬件解决方案必须更“多才多艺”;他指出,像是一群迷你加速器的粗粒度可重配置数组(coarse grained reconfigurable array,CGRA)解决方案,就能针对特定使用案例进行配置。rHOednc

Atienza解释,CGRA解决方案能保留一种基础架构,也就是设计工程师能在不同的AI应用使用相同的芯片,只更改芯片的可编程部分。rHOednc

rHOednc

支持某个联合学习应用的CGRA解决方案。(图片来源:EPFL)rHOednc

CGRA网状网络能藉由利用多样化运算核心(computational kernels)的可重配置解决方案提供高度灵活性;与FPGA设计相似,是紧密互连的2D可重配置单元(reconfigurable cells,RCs)网状网络结构。但这种技术能让加速器在作业层级(operation level)可编程,不同于FPGA是位层级(bit level)的可重配置数组、具备相当的功耗开销。rHOednc

Atienza预期,支持这种联合式学习新技术的硬件,将会有越来越多的可配置功能,藉由芯片的编程来根据目前市场趋势、支持不同种类的AI任务;“联合式学习应用将会带动对可重新编程、利用大量迷你加速器的AI硬件之需求。”rHOednc

(原文发表于ASPENCORE旗下EDN姐妹网站EETimes,参考链接 :Federated Learning Demands More Programmable Hardware,编译:Judith Cheng;责编:Demi Xia)rHOednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 称可超越ChatGPT,微软推出新人工智能模型——Kosmos-1 微软推出了 Kosmos-1,据称它是一种多模式大型语言模型 (MLLM),不仅可以对语言提示做出反应,还可以对视觉线索做出反应,可用于一系列任务,包括图像说明、视觉问题回答等等。
  • 维持ChatGPT运行将需要超过3万块Nvidia显卡 据TrendForce的最新预测,人工智能(AI)将成为Nvidia的最大收入来源之一。该研究公司估计,OpenAI的ChatGPT最终将需要超过3万块Nvidia显卡的算力以维持运行。
  • 复旦团队发布国内首个类ChatGPT模型MOSS,与ChatGPT相比 复旦大学自然语言处理实验室邱锡鹏教授团队悄然发布了国内首个类ChatGPT模型MOSS(https://moss.fastnlp.top/),不仅一举刷出数个微博热搜话题,在知乎上更是直接冲上热榜,话题浏览进306万次。知乎匿名网友称已经拿到了内测资格,并实时更新了一波测试结果……
  • “IDM929”14nm工艺自研国产GPU芯片即将流片 2月14日消息,据智绘微电子官方消息,该公司自研国产GPU芯片“IDM929”已完成设计,即将进入流片阶段。
  • 模拟计算重新定义边缘AI性能新境界 传统的数字计算扩展方法,即转向更先进的半导体工艺节点,显然已经达到物理极限(即摩尔定律已经失效),而不断攀升的制造成本则限制了只有少数几家最富有的公司才能使用该技术。下一代的人工智能处理亟需采用新的方法。
  • 全新的通信协议Wi-R,碰拳就能传输信息 最近,专注于分布式计算的人机界面公司Ixana开发了一种全新的通信协议Wi-R,它将人体变成了一种可以传播信息的媒介,旨在为用户创建“类似有线的无线”通道。与蓝牙和NFC等其他协议相比,该平台具有独特的优势,具有更高的能效,并为可穿戴设备提供了新的安全层。
  • 写在新年开端——边缘智能,赋能数字化未来 新的一年世界仍然面临着大大小小的挑战,即使是最权威的经济学家也无法给出确切的预测。如果从更长的时间范畴来看,技术与人类进步的脚步却从未停歇,贯穿各种上上下下的周期,这也许是对长期主义最好的诠释。
  • ChatGPT参加美国医疗执照考试,人工智能医生即将上岗? 美国执业医师资格考试以难度大著称,但根据一项研究发现,聊天机器人ChatGPT无需经过专门训练或加强学习,就能在美国医学执照考试中取得及格或接近及格的成绩。有专家认为:“社会即将发生变化,我们可能很快就会从 Google 医生或 Bing 护士那里获得专业的医疗建议。”
  • ChatGPT爆火,麻省理工学院揭露其训练学习方式 麻省理工学院的研究人员发现,类似于大型语言模型的大规模神经网络模型能够在其隐藏层内包含更小的线性模型,大型模型可以使用简单的学习算法对其进行训练以完成新任务。
  • PMIC如何应用在图像传感器设计 若设计者需求高质量的供电,又要节省电路板空间,PMIC就成为相当好的解决办法。本文将阐述PMIC如何导入图像传感器的应用,以及导入后的效果。
  • 微软推出新版Bing搜索引擎及改进版Edge,号称“比 ChatG 巨头们的AI战愈演愈烈起来。在谷歌公布其 ChatGPT 竞品Bard后的第二天,微软就官宣了两款新的 AI 产品:基于下一代 OpenAI 大型语言模型上的新版 Bing 搜索引擎,号称“比 ChatGPT 更强大”,以及基于AI功能的改进版 Edge 网络浏览器。
  • 感受到了ChatGPT的威胁?谷歌、百度新动作,苹果也急了 ChatGPT 在1月份达到了1亿用户,在两个月内完成了TikTok大约九个月和 Instagram 两年半时间做出的成绩,迅速成为互联网上广泛使用的工具。随着人工智能关注度的提高,谷歌和微软也开始进一步争夺人工智能领导之位,而国内的人工智能企业百度也将有下一步动作。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了