广告

记天玑开发者大会:定义移动生成式AI生态的现在与将来

2024-05-16 20:31:29 黄烨锋 阅读:
很多人以为天玑开发者大会的主角是新发布的天玑9300+,但实际上围绕AI手机的移动AI生态构建,才是关键。这应该是联发科第一次有这么大的动作...那这一生态对市场而言意味着什么呢?

我们对生成式AI端侧应用的想象力,似乎还相当欠缺。比如说K歌软件应用AI技术,大部分人能想到的应该是唱完以后AI修音+美化。pB2ednc

但其实在最近MDDC天玑开发者大会上,全民K歌展示的是,只需要对着麦克风唱歌30秒,基于端侧模型,就能用你的声音生成所有你想唱的歌曲——不需要你自己唱...这在几年前应该是个完全不可想象的应用场景。pB2ednc

pB2ednc

这其中有个潜移默化的转变:以过往开发生态的传统来看,这类app通常借助操作系统或更上层的标准API,亦或与OEM厂商合作来实现不同的功能。但在AI渴求芯片高效算力的时代,此类生态的中心却开始向芯片厂商倾斜了。上述全民K歌的“AI歌声”特性,就是全民K歌和联发科合作,将端侧模型落地到天玑9300上实现的。pB2ednc

王小川(百川智能创始人、CEO)在圆桌发言中提到,他当年还在做输入法时合作的都是终端厂商,但现在做大模型“涉及到算力”,“开始和芯片厂商产生碰撞。”“在生成式AI到来以后,联发科所在的生态位,肩负的责任变得更大。”MDDC本身是联发科首次公开举办的大规模生态合作活动,推广“天玑AI先锋计划”,在我们看来算得上是吹响构建移动AI生态的号角。pB2ednc

pB2ednc

所以我们看到联发科协同Counterpoint,与包括阿里云、百川智能、虎牙直播、酷狗音乐、零一万物、OPPO、vivo、腾讯AI Lab等在内的合作伙伴联合发布了《生成式AI手机产业白皮书》,率先定义 “生成式AI手机”。与此同时,面向开发者发布“天玑AI开发套件”;覆盖“全场景终端”,囊括手机、平板、IoT、汽车,乃至可能在规划中的笔记本PC。pB2ednc

陈冠州(联发科技董事,总经理暨营运长)表示:“通过天玑平台的优势,以及‘天玑AI先锋计划’,联发科将融合产业生态伙伴的力量,高效地赋能开发者,加速构建从云端到终端的AI新生态,推动生成式AI技术在智能终端上的应用普及,让更多用户享受到全新的高端生成式AI体验,加速万物AI时代的到来。”。pB2ednc

pB2ednc

这样一来,本次发布的天玑9300+芯片就成为了整个天玑AI生态战略的一个维度。怪不得在通用计算加速和AI时代来临以后,英伟达一直在强调自己不是家芯片公司。但AI生态构建可不简单,尤其是生成式AI于端侧生态发展初期。借助MDDC活动上看到的,我们来谈谈联发科的移动AI生态具体是怎么做的,生态现状如何,未来又将是怎样。pB2ednc

发展生成式AI生态两个基础

李彦辑(联发科技无线通信事业部副总经理)在采访中谈到,云上AI开发的工具链发展相对“完整”。“可是端侧的工具链,尤其手机端——体量如此之大的终端消费电子,其实还没有完善的工具链来发展生成式AI”。pB2ednc

我们知道即便是以数据中心以依托的企业生成式AI市场发展都仍处于早期阶段,则基于开发生态现状,不难发现消费市场的端侧生成式AI的发展阶段比企业数据中心更初级。“生成式AI去年处在萌芽阶段,今年准备要起飞。”这是联发科推出天玑AI先锋计划的时代背景,“希望加速推动生态往生成式AI迁移。”pB2ednc

所谓的生成式AI技术要落到实处、芯片厂商要构建围绕自己的生态系统,基础部分有两点:(1)芯片及硬件基础;(2)开发工具及AI模型。pB2ednc

硬件基础自然是联发科天玑芯片。天玑9300应当是生成式AI在手机平台落地的开端。这次新发布的天玑9300+,强调的一样是AI。其中AI部分的关键构成,除了CPU全大核有加成以外,最关键的还是APU 790——我们在天玑9300芯片的解析文章里已经详细介绍过。pB2ednc

pB2ednc

值得一提的是APU 790对于Transformer算子加速的支持——Transformer是现在大部分生成式AI模型的基础结构。其实仔细想一想,率先做出此番支持的天玑9300发布于2023年11月初。基于此类芯片设计至少12-18个月的周期,天玑9300的设计起码是2022年下半年就开始的,早于ChatGPT的全面爆发。pB2ednc

陈冠州也在圆桌讨论中提到,联发科“几年前就意识到Transformer的优越性,当时就相信它会在未来大量被采用”,“所以我们在天玑9300芯片上,第一时间将Transformer的支持固化到芯片里,大大降低了大语言模型推理过程中的功耗、成本和效率。”pB2ednc

天玑9300+的生成式AI特性部分,李彦辑提到“推测解码加速”在端侧实现,令端侧大模型“推理性能大幅提升120%”,“业界首款支持Llama 2 7B参数模型,运行速度22 tokens/秒”,“业界首款生成式AI端侧双LoRA融合”,支持最新的AI框架ExecuTorch,并且支持阿里云通义千问大模型、百川大模型、文心大模型、谷歌Gemini Nano、零一万物终端大模型、Meta Llama 2和Llama 3等前沿主流的AI大模型。pB2ednc

这其中的绝大部分特性,实则还是与软件工具、生态更为相关,是以天玑芯片、APU 790硬件级生成式AI引擎为基础的上层构建。虽然联发科从未主动谈过公司内部软件团队构建情况,但相信现阶段联发科在软件上的投入应该是不小的。pB2ednc

pB2ednc

比如说推测解码(speculative decoding)加速——开发者大会上,联发科AI专家解释说这项技术主要是用小模型(draft model)生成候选token序列,同时原始大模型验证该序列,如此能够实现Token生成加速并有效缓解内存访问带宽的瓶颈问题。pB2ednc

联发科提供的数据是,7B参数量的原始模型,加上1.3B以下小模型,token生成可提速1.5-2.1倍。开发者提供预训练好的大小模型,“就能快速部署到天玑平台上,实现token加速”。李彦辑提到的Llama 2 7B参数模型达成22 tokens/秒的生成速度,应该就是基于这一特性实现的。pB2ednc

而所谓的“双LoRA融合”是天玑9300+相较此前天玑9300的进一步提升。LoRA(Low-Rank Adaptation)是现如今生成式AI领域最热门的技术之一了:基础大模型+少量差异,fine-tune为具备新特性的模型。它对端侧部署的价值体现在,多个特性共享一个基础大模型,显著减少模型部署尺寸。pB2ednc

pB2ednc

比如说常见的照片风格化,如果总共有4种风格,每种算法占据1.2G空间,则总共需要4.8G。用LoRA方法,则每种风格200MB差分包,加上1G基础模型,总共1.8G尺寸就能达成相同的效果——端侧也能进行LoRA快速切换。工程师说,当这样的LoRA“技能”(即此例中的不同风格)足够多时,单一风格存储成本节省最多90%。pB2ednc

pB2ednc

在天玑AI开发套件中,开发者提供预训练LoRA模型,则工具箱就支持端侧部署及LoRA Fusion。发布会上提到的“双LoRA融合”,被联发科称为“天玑AI LoRA Fusion 2.0技术”。应该是能够进一步扩充大模型“技能”,提升生成效率且降低内存占用的方案。pB2ednc

为什么是联发科来做生态?

上述推测解码加速,以及双LoRA融合特性,都是天玑AI开发套件的组成部分。如前所述,端侧生成式AI开发工具链资源少。所以“联发科是第一家提出覆盖手机、车机等消费终端设备完整工具链、开发环境的企业”。pB2ednc

从更实际的角度来看,以手机为代表的移动端侧部署生成式AI,本身就有其特有的难点,比如说生成式AI模型要跑在资源有限的端侧设备上,涉及到模型量化、精度维持;移动平台的性能与功耗调校等问题。联发科AI专家提到,最新的大模型优化技术都是从PC平台孵化的,要移植到功耗敏感型设备上难度更大。pB2ednc

天玑AI开发套件的发布“就是个很好的开始”。 套件总体有四大模块,分别是Gen-AI Model Hub,Gen-AI最佳实践,Gen-AI优化技术,以及Neuron Studio——这是个IDE。pB2ednc

pB2ednc

Model Hub顾名思义就是个模型库了,现阶段有Llama 2/3, 百川大模型, 通义千问, Stable Diffusion/XL等主流大模型的覆盖——联发科表示还在不断新增更多支持;“Gen-AI最佳实践”涵盖模型量化、编译和推理,强调的是加速大模型的端侧部署,据说能够将原本2-3周才搞定的工作,缩短到1天;pB2ednc

“Gen-AI优化技术”主要包括前文提到的推测解码加速和LoRA融合;还有作为IDE的Neuron Studio是个“可视化AI应用开发环境”——联发科强调说AI应用开发者不需要在不同的工具间来回切换,一个IDE就完成模型修改、编译、平台试运行、一键部署终端等工作。pB2ednc

AI专家在演讲中解析了从模型准备、模型量化,到模型编译和模型推理的全流程。比如模型量化的校准数据集一键生成;模型编译过程中不需要手动做内存与缓存配置,自动匹配优化参数;pB2ednc

以及模型推理步骤原本需要开发者由Python → C++重新编写,尤其要考虑移动端更紧凑的计算资源,开发工具“提供基于天玑平台充分优化后的流程串接通路,C++源码,让开发伙伴什么都不改就能跑起来”,“想做客制化也只需要几步操作”,“节省至少50%的开发时间”。pB2ednc

pB2ednc

抖音技术专家介绍说,抖音的SDXL-Lightning文生图模型,基于天玑生成式AI工具箱部署到天玑平台,达成内存峰值4.x G,初始化时间10+秒的整体指标;2step <5秒完成生成pB2ednc

章立(联发科技无线通信事业部生态发展资深总监)表示联发科未来“每年MDDC,工具这块都会有迭代”,而这次发布的版本“是我们交的第一份答卷”,“明年我们的工具会更强大”。pB2ednc

在我们看来,整套开发工具强调的是“一站式”和尽可能的“自动化”。 还是那句话,虽然联发科没怎么谈在软件上下的功夫——对开发者而言,“自动化”和“一站式”本身就是在尝试隐藏开发的更多复杂性;而这些复杂性无疑是需要联发科买单的,或者说浓缩了联发科与模型厂商、操作系统供应商、OEM厂商等角色间的合作。pB2ednc

所以本次宣布的“天玑AI先锋计划”一方面是强调与下游应用开发者的合作与扶持;另一方面则是和模型、OEM厂商等角色的联合协作。毕竟移动生成式AI生态要建起来,光靠联发科做芯片、做工具必然是不够的。想必明年的MDDC上,这一计划的名单会做持续扩充。这也是联发科作为移动生成式AI生态核心角色,举办MDDC,聚拢各层级合作伙伴的意义所在。pB2ednc

pB2ednc

RWKV作曲,能够基于用户给出的少量音符完成整首乐曲的创作pB2ednc

这其中有个问题很值得探讨:为什么是联发科这样的芯片厂商作为核心去发展AI生态,而不是操作系统、模型或OEM厂商。该问题同样适用于PC、数据中心领域。对模型、OEM厂商这样的下游而言,这些角色各自不同的策略方向不利于构建更大的AI生态。pB2ednc

于上游,有观点认为,和图形渲染生态前期标准、API不统一的情况类似,当年芯片厂商自为政,直到GPU硬件架构趋同,以及中间层标准出现(如DirectX, Vulkan),芯片厂商才不再担纲领衔生态的角色。pB2ednc

趋势可能仍有待观察,不过和早年图形生态发展时代有所不同的是,现在的时代背景是摩尔定律迟滞,而应用尤其是AI应用仍然非常渴求算力。这使得上层应用开发者、模型供应商尝试直接与芯片企业合作。此时更多的中间角色都将无益于算力获取。所以英伟达没有打算让渡CUDA的生态核心地位,Intel似乎也不打算在PC上将AI生态话语权交给微软。pB2ednc

移动AI生态起步相对更晚,未来格局未为可知。另外移动与嵌入式领域,芯片与操作系统的耦合深度又与数据中心、PC不同。但无论如何,我们认为芯片厂商在此局中的话语权,必然远大过当年图形生态发展期。就连EDA厂商现在都在强调芯片设计“以应用为导向”,可见价值链重心正在变化:就看未来各层级参与者入局,移动AI生态是否会收敛了…pB2ednc

只不过联发科的行动的确相当早。手机作为生成式AI最早能够见到的移动端载体,后续扩展到车机、PC、IoT等端侧,联发科正在构建的天玑AI生态是在为未来做准备。竞争对手尚在谈自家芯片能跑多大参数规模的AI模型时,联发科已经尝试站在生态中心,呼唤生态粘性了。“当别人还在说模型支持的时候,我们已经从用户角度去看应用了。”pB2ednc

杀手级应用何时会来

陈冠州在圆桌环节则总结现在联发科在做的事情是规范化和优化。“规范适合由平台厂商提出;且端侧相比云端算力有限,生态和标准肯定是芯片厂来做。”而构建起生态与标准,做规范与优化的目标,还是为应用开发者提供环境,让应用来填充生态。pB2ednc

MDDC活动现场,我们还是看到了不少开发者围绕天玑AI生态开发出的AI应用。比如文首提到的全民K歌“AI歌声”;再比如Soul APP,基于大语言模型+Stable Diffusion打造所谓的情感陪伴AI对话(下图),和不同的形象做图文聊天,而且是完全在端侧本地推理——这其中就引入了LoRA达成单一模型的多风格虚拟人物切换;pB2ednc

pB2ednc

还有MOBA类游戏的AI游戏教练、虎牙直播AI换脸、酷狗音乐的歌词生图、火山引擎的AI创作SDK套件实现端侧图片/视频的AI创作;还有诸如车机平台对话式的操作指引、新闻智选等……联发科甚至在想借助生成式AI于手游中,打造类似NVIDIA ACE技术那样,能与玩家自然沟通、且千人千面的NPC。pB2ednc

不过或许更多人关心的还是生成式AI的杀手级应用——圆桌环节,主持人问了个问题:生成式AI的杀手级应用未来多久会问世。现场至少6成观众认为1-2年内就会出现,3成观众认为需要3-5年,不到一成选择了5年以上。这表明开发者对生成式AI于端侧的发展整体还是相当乐观的。pB2ednc

章立是这么描绘对杀手级应用的预期的:“我们是将土壤、环境、阳光、水培养好,种子撒下去,就能确保这里能够长出大树。”对于端侧应用创新的沉寂,“生成式AI给了很多开发者新的机会”,“一个技术能够带来创新的用户体验,就不用担心是否会出现爆品”,“一定会有爆品涌现。”pB2ednc

与此同时,章立也提到“存量头部app”正在生成式AI化,比如抖音顺理成章应用AI视频风格,手机摄影的高倍率变焦用生成式AI补全细节,以及手游的潜在AI超分特性等——它们在生成式AI时代之前就已经是杀手级应用了。pB2ednc

这些都是潜在的杀手级应用或发展机会。不过在我们看来,联发科于主题演讲环节表达了属于生成式AI真正的杀手级应用潜力:交互方式的革新。pB2ednc

pB2ednc

17年前,人与手机交互主要依托于键盘;智能手机时代,触控替代键盘成为新的交互方式,且因此涌现了大量新的应用,生产力、娱乐、社交等等,创造了难以估量的市场价值;随后,在某些特定场景,例如行车过程、智能家居使用等,语音VUI贡献了新的交互形式…pB2ednc

当包括手机、车机、PC等在内的计算机系统变得异常复杂,人们已经记不住繁琐操作流程,更不清楚系统海量特性,而且个性化需求与日俱增;则上述交互方式都不再适用。以生成式AI为基础的所谓“智能体”(Agent AI),此时可提供最符合直觉的交互体验。pB2ednc

比如当车机智能体掌握数百页的汽车用户手册,则用户要执行有关汽车的某项操作只需要说句话——这句话涵盖的指令序列对计算机而言可能非常复杂,但对用户而言,就只是一句话的问题。实际上现在已经逐渐流行的AI通话摘要、会议记录、私人助理等都属于“智能体”交互。pB2ednc

现有的手机生成式AI应用中,这一雏形典型如通义千问AI智能体,通过与用户的对话、分析需求、形成任务,调用三方应用完成任务。现在我们还很难说这是个杀手级应用,但随生成式AI技术发展和能力强化,这种智能体交互成为日常交互的常态,则它自然就在潜移默化中成为了杀手级应用。pB2ednc

那下一步呢?

“现在我们主要还停留在语音或文字,将来多模态也会有影像、视频。”“另外还包括专家系统(MoE),具备各式各样不同的专家能力,随时根据需求做切换。”李彦辑在展望未来时候说,“在端侧实现这样的能力,也是在不久的将来了。”pB2ednc

胡志鹏(网易集团高级副总裁、网易雷火游戏事业群CEO)在圆桌讨论时说,AI发展很快,“今天说的话明天可能就不作数了。2017年Transformer发明,现在看来那已经是史前时代了;而AlexNet大概可以叫超史前时代。”pB2ednc

“几个月前20亿参数(模型)已经比半年前70亿参数(模型)还要聪明了。”陈一强(联发科无线通信事业部副总经理)谈到,“生成式AI的发展很快。”“它会改变交互方式,彻底颠覆应用模式,包括软件系统架构设计。”pB2ednc

pB2ednc

虽然本文没有提及,但包括光线追踪在内的图形生态建设也是本次MDDC的重要组成部分…pB2ednc

大会开场时,陈冠州谈到过去一年,全球AI系统建设支出打到了惊人的1540亿美元。生成式AI正在给半导体产业带来极大的潜在市场机会。pB2ednc

主流行业分析师此前原本预期2030年半导体市场价值会超万亿美元。但在生成式AI面前,万亿美元估值显得如此保守,所以才会有传言中Sam Altman的7万亿芯片计划。而在这其中,端侧生成式AI作为无可争议的产值大头,潜力无需赘言。pB2ednc

我们从首届MDDC看到的,不仅是联发科率先布局构建移动生成式AI生态,在生成式AI时代于端侧先发制人,天玑从过往更多人认知中单纯的芯片产品,转向了联合上下游的生态;还包括芯片企业正尝试主导AI生态,俨然成为价值链上的主角。这是在过去的移动时代,我们都不曾见过的。 那么大约2年以后,生成式AI快速发展下的移动体验大概都会和现在大不一样了。pB2ednc

责编:Lefeng
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了