广告

百度发布“文心一言”AI模型,对标“ChatGPT”有几层功力?

2023-03-16 15:51:54 综合报道 阅读:
据EDN电子技术设计报道,3月16日下午,百度创始人、董事长、CEO李彦宏宣布文心一言正式发布,对标ChatGPT。李彦宏也多次提及,这类大语言模型还远未到发展完善的阶段,进步空间很大,未来这段时间它一定会飞速发展,日新月异。

据EDN电子技术设计报道,3月16日下午,百度创始人、董事长、CEO李彦宏宣布文心一言正式发布。据介绍,百度将在所有业务中全面集成文心一言。E7Rednc

李彦宏介绍指出,文心一言具有文学创作、商业文案创作、多模态生成、数理逻辑推算、中文理解等能力。从现场展示来看,文心一言某种程度上具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性的表现优异。E7Rednc

李彦宏表示,作为国内大型企业中首家发布“类ChatGPT”产品的企业,百度之所以选择最先发布,是因为市场有需求,百度包括搜索、智能云以及小度音响等在内的产品,以及众多的合作伙伴,都等待着用这项技术,百度需要尽早的发布这项技术。但李彦宏也多次提及,这类大语言模型还远未到发展完善的阶段,进步空间很大,未来这段时间它一定会飞速发展,日新月异。E7Rednc

E7Rednc

据悉,该产品现在可以进行测试申请,申请入口是文心一言官网,首批用户在3月16日即可申请,后续会开放给其他用户。

演示五个使用场景的表现

发布会现场,百度创始人、董事长兼首席执行官李彦宏展示了文心一言在五个使用场景的表现,包括文学创作、商业文案创作、数理推算、中文理解和多模态生成E7Rednc

文学创作场景E7Rednc

文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度,体现出对话问答、总结分析、内容创作生成的综合能力。且文心一言准确回答了《三体》作者、电视剧角色扮演者等事实性问题。E7Rednc

此外,面对“于和伟和张鲁一有哪些共同点”、“于和伟和张鲁一谁更高”这类问题,文心一言也基于推理能力得出了答案。E7Rednc

E7Rednc

商业文案创作场景E7Rednc

文心一言顺利完成了给公司起名、写 Slogan、写新闻稿的创作任务。IT之家从百度获悉,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及 5500 亿事实的知识图谱等。E7Rednc

E7Rednc

数学推演及逻辑推理E7Rednc

面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题,文心一言能理解题意,并有正确的解题思路,进而像学生做题一样,按正确的步骤,一步步算出正确答案。E7Rednc

E7Rednc

中文理解E7Rednc

现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”四个字创作了一首藏头诗。E7Rednc

E7Rednc

 E7Rednc

多模态生成E7Rednc

李彦宏现场展示了文心一言生成文本、图片、音频和视频的能力。值得一提的是,文心一言甚至能够生成四川话等方言语音;文心一言的视频生成能力则因成本较高,现阶段还未对所有用户开放,未来会逐步接入E7Rednc

E7Rednc

E7Rednc

李彦宏指出:“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。”E7Rednc

李彦宏强调:“文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你‘士别三日,当刮目相看’的惊喜。”E7Rednc

发布会上,百度首席技术官王海峰还详解了文心一言背后的文心大模型及技术特性。E7Rednc

“文心一言”背后的四层技术栈

王海峰表示,文心一言,是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。E7Rednc

E7Rednc

E7Rednc

在知识增强方面,文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化,是从大规模知识和无标注数据中,基于语义单元学习,利用知识构造训练数据,将知识学习到模型参数中;知识外用,是引入外部多源异构知识,做知识推理、提示构建等等。E7Rednc

在检索增强方面,文心一言的检索增强,来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果,可以为大模型提供时效性强、准确率高的参考信息,更好地满足用户需求。E7Rednc

在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。E7Rednc

“百度特有的技术,现在已经应用在文心一言上”,王海峰也坦言,技术有了,但是大模型的训练的还不够充分。不过文心大模型建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。E7Rednc

王海峰称,百度自2010年起开始全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用,百度在技术栈的各层都有领先业界的关键自研技术,实现了层与层反馈,端到端优化。E7Rednc

王海峰强调,飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练,飞桨动静统一的开发范式,以及自适应分布式架构,可以实现大模型的灵活开发和高效训练。在推理部署方面,飞桨支持大模型高效推理,并提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等等。文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业。E7Rednc

责编:Demi
  • 干什么要硬上?
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 用水泥和炭黑制造储能超级电容器 一项新的研究表明,人类最普遍的两种历史材料,水泥和炭黑(类似于非常细的木炭),可能会成为新型低成本储能系统的基础。该技术可以在可再生能源供应出现波动的情况下使能源网络保持稳定,从而促进太阳能、风能和潮汐能等可再生能源的使用。
  • 一种用于电路板回收的新基材:遇水能溶 英国的Jiva Materials公司开发了一种新型的PCB基材Soluboard,这种基材是由天然纤维包裹在一种无卤的聚合物中制成的,与行业内经常使用的FR-4基材不同,这种材料只要在90摄氏度左右的热水中浸泡30分钟,就可以分层溶解···
  • 美国公司声称发现室温超导材料,被授予了高于室温的第二 位于美国佛罗伦萨州的Taj Quantum的公司在社交媒体宣布,被授予了高于室温的第二类超导体专利。据称,这种独特的 II 型超导体(专利号:17249094)可在较宽的温度范围内工作,包括远高于室温的温度,从约 -100° F (-73° C) 到约 302° F (150° C) - 这是一种特性这在超导体世界中并不常见。
  • 俄罗斯“贝加尔湖”基准测试对比英特尔和华为芯片,惨败 俄罗斯服务器处理器 Baikal-S 的开发人员将其性能与美国和中国的同类芯片进行了比较。涉及六个流行指标。
  • 麻省理工发现新型量子磁铁释放电子潜力 研究人员发现了如何控制异常霍尔效应和贝里曲率来制造用于计算机、机器人和传感器的柔性量子磁体。
  • 电池能用三十年?美国Ener Venue称推出革命性电池技术 三元锂离子电池的理论寿命约为800次循环,磷酸铁锂约为2000次,而钛酸锂据说可以达到1万次循环,也就是说常规普通人使用的锂离子电池每天完全充放电三次,最多也就能用上几年的时间。虽然相较于铅酸电池200-300次的循环寿命来说,这已经是很大幅度的提升了,但现在有一家公司宣称他们的电池可以充放电30000次,每天充放电三次,能用30年。
  • 测试中比友商温度低14度,一加天工散热系统怎么做到的? 7月27日,一加在2023年ChinaJoy上发布了全球首创的散热技术,即航天级三维立体散热系统“天工散热系统”,这是一加的又一次新的尝试,让我们一起来了解一下。
  • 万物电气化:探索绿色未来之路 在本文中,我们将重点介绍美国年度脱碳展望(ADP)2022报告中的一些重要发现。本报告着眼于实现净零经济的各种情景。我们在本文中重点关注的方法称为“中心情景”,它遵循到2050年实现净零排放的时间表。
  • 韩国造世界首个室温超导体,闹剧还是新的未来? 7月22日,韩国的一个科研团队在预印本网站arXiv平台上上传了两篇论文,声称发现了世界上首个常压室温超导体,这种材料是一种改性铅磷灰石名为LK-99,超导临界温度在127摄氏度,即400K以上,而且在常压下就具备超导性。
  • 下一个医疗前沿:网联可穿戴设备 医疗和消费级可穿戴设备将继续增强连接性和电池寿命,以实现对血压、体温和身体水分等多种生物标志物的实时和非侵入性监测。
  • 瑞能半导体全球首座模块工厂在上海湾区高新区正式投入 瑞能微恩半导体暨瑞能金山模块厂开业典礼在上海湾区高新区隆重举行,标志着瑞能全球首座模块工厂正式投入运营,将主要生产应用于消费、通讯、新能源以及汽车相关的各类型功率模块产品,串联客户和生态圈,积极推动行业高质量发展。
  • TI无线MCU创新方案,助力用户加速拥抱物联网 7月21日,由AspenCore主办的“2023全球MCU生态发展大会”在深圳罗湖君悦酒店隆重举行,特邀请到MCU领域的领军企业之一德州仪器(TI)参加了“无线MCU分论坛”,论坛上,TI无线产品工程师魏天华分享了主题为“创新型无线解决方案,助力不断发展的互联世界”的演讲,为现场观众带来了TI最新的无线MCU系列,以及对于这一市场的深刻思考。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了