广告

部署边缘AI会遇到哪些挑战,又该如何应对?

2023-09-19 15:15:10 Gilad David Maayan 阅读:
在本文中,我将探讨边缘AI系统是怎么在实地运行的,企业会遇到哪些主要挑战,以及如何应对这些挑战···

边缘AI是指在边缘计算设备上部署AI算法,以进行实时预测或决策。更新、更便携的机器学习技术,特别是轻量级推理算法,也使得在更小的设备上运行AI任务成为可能。边缘AI也有许多实际用例,包括监控、机器人和工业系统。Qlyednc

在实践中,边缘AI涉及从传感器或其他来源收集数据,在边缘设备上使用AI模型本地处理这些数据,然后使用模型的输出来触发操作或发送通知。通过在本地处理数据,边缘AI可以帮助减少延迟和网络流量,并提高可靠性和安全性。Qlyednc

边缘AI通常使用针对计算资源有限的边缘设备进行优化的轻量级AI模型。这些模型可以在云端进行预训练,然后在边缘设备上进行微调,或者可以使用联合学习(Federated Learning)等技术直接在设备上进行训练。Qlyednc

在本文中,我将探讨边缘AI系统是怎么在实地运行的,企业会遇到哪些主要挑战,以及如何应对这些挑战。Qlyednc

边缘AI系统如何实施?

实施边缘AI系统通常涉及以下几个步骤:Qlyednc

  1. 确定系统需要解决的用例、业务问题或好机会,并确定边缘AI可提供哪些帮助。
  2. 为边缘AI系统选择合适的硬件。这包括选择具有必要处理能力、内存和连接性的边缘设备,以支持将要部署的AI模型。
  3. 开发将部署在边缘设备上的AI模型。这包括使用能代表用例的数据集来训练模型,然后将模型部署到边缘设备。
  4. 优化边缘部署模型。这包括对模型的大小和复杂性进行调整,以使其能够在相关边缘设备上运行。
  5. 测试系统以确保其按预期工作。这包括测试AI模型、硬件和连接性,以确保它们都能正常运行。
  6. 将系统部署到生产环境。这包括部署边缘设备、AI模型和连接基础设施,并确保系统与更广泛的IT环境正确的集成

在现场运行边缘AI需要考虑几个因素:Qlyednc

  • 安全性:边缘AI设备可能包含敏感数据或负责关键功能,因此必须实施信息安全措施,保护它们免受网络威胁。这可能包括数据加密、访问控制和软件更新,以解决安全漏洞问题。
  • 监控和维护:边缘AI设备可能需要监控和维护以确保其能持续运行。其中包括监视硬件故障、软件错误和连接问题,并安排定期维护来解决这些问题。此外,还需要监控AI模型的预测并评估其准确性和相关性,因为AI模型的性能会随着时间的推移而下降(这种现象被称为数据漂移)。
  • 连接性:边缘AI设备需要网络连接才能与其他设备通信、发送数据和接收更新。在偏远地区或恶劣环境中,连接可能会受到限制或不可靠,因此选择能够离线运行并在连接可用时同步数据的边缘设备非常重要。
  • 功耗:边缘设备可以依靠电池电源、太阳能或其他替代能源运行,因此选择针对低功耗进行过优化的设备非常重要。这可以通过硬件优化(例如使用低功耗处理器)或通过软件优化(例如降低数据传输频率)来实现。
  • 环境因素:边缘AI设备可能会部署在极端温度、湿度或振动等恶劣环境中。所以十分重要的是,要选择专为在这些条件下运行而设计的设备,这些设备要能抵御可能影响其性能的环境因素。

现在我们已经了解了边缘AI部署的基本参数,那么让我们来回顾一下企业在这些部署中面临的一些挑战以及解决这些挑战的方向。Qlyednc

运营边缘AI系统的主要挑战以及如何克服这些挑战

安全和隐私问题

运营边缘AI系统的关键挑战之一就是确保安全和隐私。从本质上讲,边缘AI设备是分布式的,通常位于公共或半公共空间,这使得它们容易受到物理和网络攻击。此外,这些设备经常处理敏感数据,增加了数据泄露的风险。Qlyednc

为降低这些风险,您可以采取的措施包括对静态和传输中的数据进行加密、定期进行安全检查以及定期更新软件以解决漏洞问题。此外,还可以使用联合学习和差分隐私(Differential Privacy,一种公开共享数据集信息的数学技术,但不包括数据集中的个人相关信息)等技术,确保敏感数据得到保护,同时仍能发挥AI的优势。Qlyednc

运行和模型监控

由于边缘AI系统分散性的本质,以及有限的计算资源,对这些边缘AI系统进行监控可能极具有挑战性。边缘AI监控有两个关键方面:确保边缘AI系统继续按预期运行并能够,并能抵御故障状况;监控机器学习模型输出,以确保即使现实条件和数据集发生变化,这些输出也是准确的。Qlyednc

为了克服这些挑战,企业应该投资专门为边缘系统设计的监控解决方案,这些解决方案能够在边缘设备上运行,并能应对有限的连接。通常会有两种监控解决方案,其中一种可实时了解边缘设备的性能和状态,另一种可对模型进行监控,以检测数据漂移并调整模型以提高其准确性。Qlyednc

模型部署与管理

另一个挑战是AI模型的部署和管理。边缘AI设备的计算资源通常有限,因此部署大型复杂的AI模型具有挑战性。此外,在大量分布式设备上管理和更新这些模型可能是一场组织管理上的噩梦。Qlyednc

为了克服这一挑战,必须将重点放在模型优化上。模型量化(Model Quantization)、模型剪枝(Model Pruning)和知识蒸馏(Knowledge Distillation)等技术可用于减小AI模型的大小,而不会明显降低性能。此外,OTA更新可用于高效管理和更新整个设备群的模型。Qlyednc

延迟

延迟是自动驾驶汽车和实时视频分析等许多边缘AI应用的关键因素。高延迟可能会导致响应延迟,进而影响这些应用的性能和安全性。Qlyednc

要解决这个问题,必须优化AI模型和底层硬件。在模型方面,可以使用模型量化和剪枝等技术来降低计算复杂度并提高推理速度。在硬件方面,可以使用专门的AI加速器来提高性能。Qlyednc

可靠性和弹性

可靠性和弹性也是运行边缘AI系统的重要考虑因素。这些系统必须能够在各种条件下可靠运行,包括网络连接不稳定和停电。Qlyednc

为了提高可靠性和弹性,必须设计能够处理各种输入和条件的鲁棒的AI模型。此外,实施故障安全机制以确保系统能够从故障中正常恢复也至关重要。Qlyednc

互操作性

最后,互操作性也是运行边缘AI系统的一个关键挑战。随着各种设备和平台的使用,确保不同组件能够无缝协作并不是一件容易的事。Qlyednc

为了应对这一挑战,必须采用开放标准和协议,这可以促进互操作性并降低厂商锁定(vendor lock-in)的风险。此外,与设备制造商、平台提供商和软件开发商在内的各利益相关方密切合作以确保无缝集成也至关重要。Qlyednc

结论

总之,边缘AI在实时处理、低延迟和更好的数据隐私方面具有显著优势。然而,实施和运行它却面临着相当大的挑战,从模型部署、管理和互操作性到安全性、隐私和可靠性。重要的是要考虑这些挑战,并应用模型优化、强大的安全措施、互操作协议和弹性设计等解决方案。通过精心规划、建立适当的合作伙伴关系和勤勉的执行,企业可以利用边缘AI的力量来改变其公司并创造新的机遇。Qlyednc

(原文刊登于EDN姊妹网站Embedded,参考链接:Tackling edge AI challenges,由Ricardo Xie编译。)Qlyednc

责编:Ricardo
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了