广告

麻省理工团队能将被AI优化过的AI设计过程加速240倍!

时间:2019-04-08 阅读:
自2017年以来,人工智能(AI)研究人员一直用AI神经网络来设计更好、更快的AI神经网络。迄今为止,学界一直在追求用人工智能促进人工智更好地发展。这主要是因为,这种方法能达到数万小时的GPU时间。 如果真可以实现这一点,那么设计AI应用程序时,可能会更快、更简单。

今年5月,麻省理工学院的一个研究团队将展示一种名为“神经架构搜索”( “neural architecture search” )的算法,该算法可以使被AI优化过的AI设计过程加速240多倍。 这有利于人工智能更快、更准,并且在实际范围内广泛应用于图像识别算法和其他相关应用。

自2017年以来,人工智能(AI)研究人员一直用AI神经网络来设计更好、更快的AI神经网络。迄今为止,学界一直在追求用人工智能促进人工智更好地发展。这主要是因为,这种方法能达到数万小时的GPU时间。 如果真可以实现这一点,那么设计AI应用程序时,可能会更快、更简单。

麻省理工学院电子工程和计算机科学助理教授韩松说:“在模型大小、应用延迟、准确性和模型容量之间存在各种权衡。把所有的东西权衡起来就会产生一个巨大的设计空间。 以前人们设计的神经网络采用的是启发式算法。神经架构搜索的目的在于减轻算法的工作量,将基于人类启发式的探索转化为算法自主学习的,更符合AI的设计逻辑。 就像AI可以学习下围棋一样,去学习如何设计一个神经网络。”

就像人工智能曾战胜李世石与柯洁,甚至可以教这些围棋国手新的围棋路数, 通过AI来优化AI可以提供新的AI设计思路。

麻省理工用的AI算法类型是一种卷积神经网络(CNN)。(CNN通常是用于图像识别的首选神经网络。除此之外,它还被应用于自然语言处理和药物研发。)

韩松说,这种被AI优化过的CNN的图像分类速度将是其他AI的1.8倍。

他补充说团队能将CNN提速至此,主要缘于以下三点:

首先,他们减少了运行神经架构搜索的GPU内存负载。标准神经架构搜索可以同时检查网络中神经层之间所有可能的连接。而韩松团队的算法每次只在CPU的内存中保存一条路径。这个技巧可以只用十分之一的内存完成对所有参数空间的搜索,从而使搜索能够覆盖更多的网络配置而不会耗尽芯片上的空间。

第二,该团队通过删减掉冗余的神经网络来精简路径,这样明显加快了神经网络搜索进程。通常,神经架构搜索只丢弃单个“神经元”,因为它会修剪掉所有次优的神经网络连接。

第三,这个算法使神经网络搜索意识到AI系统在正在运行的硬件中可能的延迟时间 ,不管这个硬件是GPU或CPU。

韩松说,令人惊讶的是,通过新的算法,我们发现,传统AI中某些图像识别神经网络是错的。从某种意义上说,当前大家已经在用GPU运行算法了,但有些做AI的人的设计思维仍然处于CPU时代。

CNN在其图像识别算法中使用的是3×3、5×5或7×7像素的正方形网格滤波器,不过此前,大家很少使用7×7像素的滤波器,因为人们一直认为运行多层3×3像素的滤波器比单个7×7像素的滤波器更快。

然而,被AI优化的AI却使用了不少7×7像素的滤波器。韩松表示,当前用于人工智能计算的硬件中,GPU仍然占主导地位。他说:“GPU本身有很大的并行性,而且大型内核调用比调用几个小内核调用效率更高,因此7×7层的滤波器更适用于GPU。”

(原文发表于:IEE  Spectrum;智东西编译)

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • “智能+”时代加速到来,高性能模拟技术助推智慧医疗落 随着中国政府在2019年政府工作报告首次提出“智能+”,业界预测诸多传统产业智能化升级的步伐将大大加快。而对于普通民众来说,“智能+”与医疗产业紧密结合的智慧医疗服务无疑与日常生活最为息息相关。
  • 美国制裁面面观:不只是华为,其他国产厂商将面临什么影响 有句话叫做“居安思危”。华为为首的等企业在获得业务成功的同时,也预料到了难以控制的外界影响,开始纷纷准备独立于全球化业界主流但不受影响的方案。如今的形势,恐怕会导致原本并不会成为主角的方案登台亮相,并使得中国的产品在一段时间内存在性能上的损失。
  • 2019国际电子产业链资源对接大会参展商之“芯之联” 在ASPENCORE旗下《电子工程专辑》、《电子技术设计》、《国际电子商情》三大媒体联合举办的2019国际电子产业链资源对接大会上,来自深圳的芯之联科技有限公司是其中的一个参展商。
  • 芯之联:小芯片在AIoT时代的大作为 近来人们不再像从前那样单独提及AI(人工智能)和IoT(物联网),而是将其融合在一起,AIoT(人工智能物联网)成为科技行业热词。AI+IoT成为业内共识,语音识别+人脸识别+边缘计算+物联网等多概念融入,借助AI、大数据、云计算等技术,实现“云+边+端”的全新模式被广泛接受。
  • 微软AI:数据科学给商业带来的变革 中国目前看起来最缺的,就是数据科学家或者叫做懂数据科学的人。
  • 中兴、华为、大疆、海康威视,美国发动的不是贸易战是科 美国对华为的禁令可以视为这场科技战打响的第一枪,而对大疆无人机的警告,以及对中国视频设备公司海康威视的担忧,意味着“科技战”出现了明显升级的趋势。这起事件应视为美国已经对中国发动了一场远比贸易战“更血腥”的“科技战”。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告