广告

百度发布“文心一言”AI模型,对标“ChatGPT”有几层功力?

2023-03-16 15:51:54 综合报道 阅读:
据EDN电子技术设计报道,3月16日下午,百度创始人、董事长、CEO李彦宏宣布文心一言正式发布,对标ChatGPT。李彦宏也多次提及,这类大语言模型还远未到发展完善的阶段,进步空间很大,未来这段时间它一定会飞速发展,日新月异。

据EDN电子技术设计报道,3月16日下午,百度创始人、董事长、CEO李彦宏宣布文心一言正式发布。据介绍,百度将在所有业务中全面集成文心一言。iuPednc

李彦宏介绍指出,文心一言具有文学创作、商业文案创作、多模态生成、数理逻辑推算、中文理解等能力。从现场展示来看,文心一言某种程度上具有了对人类意图的理解能力,回答的准确性、逻辑性、流畅性的表现优异。iuPednc

李彦宏表示,作为国内大型企业中首家发布“类ChatGPT”产品的企业,百度之所以选择最先发布,是因为市场有需求,百度包括搜索、智能云以及小度音响等在内的产品,以及众多的合作伙伴,都等待着用这项技术,百度需要尽早的发布这项技术。但李彦宏也多次提及,这类大语言模型还远未到发展完善的阶段,进步空间很大,未来这段时间它一定会飞速发展,日新月异。iuPednc

iuPednc

据悉,该产品现在可以进行测试申请,申请入口是文心一言官网,首批用户在3月16日即可申请,后续会开放给其他用户。

演示五个使用场景的表现

发布会现场,百度创始人、董事长兼首席执行官李彦宏展示了文心一言在五个使用场景的表现,包括文学创作、商业文案创作、数理推算、中文理解和多模态生成iuPednc

文学创作场景iuPednc

文心一言根据对话问题将知名科幻小说《三体》的核心内容进行了总结,并提出了五个续写《三体》的建议角度,体现出对话问答、总结分析、内容创作生成的综合能力。且文心一言准确回答了《三体》作者、电视剧角色扮演者等事实性问题。iuPednc

此外,面对“于和伟和张鲁一有哪些共同点”、“于和伟和张鲁一谁更高”这类问题,文心一言也基于推理能力得出了答案。iuPednc

iuPednc

商业文案创作场景iuPednc

文心一言顺利完成了给公司起名、写 Slogan、写新闻稿的创作任务。IT之家从百度获悉,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及 5500 亿事实的知识图谱等。iuPednc

iuPednc

数学推演及逻辑推理iuPednc

面对“鸡兔同笼”这类锻炼人类逻辑思维的经典题,文心一言能理解题意,并有正确的解题思路,进而像学生做题一样,按正确的步骤,一步步算出正确答案。iuPednc

iuPednc

中文理解iuPednc

现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”四个字创作了一首藏头诗。iuPednc

iuPednc

 iuPednc

多模态生成iuPednc

李彦宏现场展示了文心一言生成文本、图片、音频和视频的能力。值得一提的是,文心一言甚至能够生成四川话等方言语音;文心一言的视频生成能力则因成本较高,现阶段还未对所有用户开放,未来会逐步接入iuPednc

iuPednc

iuPednc

李彦宏指出:“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。”iuPednc

李彦宏强调:“文心一言将建立起真实用户反馈、开发者调用和模型迭代之间的飞轮,效果会迅速提升,给你‘士别三日,当刮目相看’的惊喜。”iuPednc

发布会上,百度首席技术官王海峰还详解了文心一言背后的文心大模型及技术特性。iuPednc

“文心一言”背后的四层技术栈

王海峰表示,文心一言,是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的。它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。iuPednc

iuPednc

iuPednc

在知识增强方面,文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化,是从大规模知识和无标注数据中,基于语义单元学习,利用知识构造训练数据,将知识学习到模型参数中;知识外用,是引入外部多源异构知识,做知识推理、提示构建等等。iuPednc

在检索增强方面,文心一言的检索增强,来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果,可以为大模型提供时效性强、准确率高的参考信息,更好地满足用户需求。iuPednc

在对话增强方面,基于对话技术和应用积累,文心一言具备记忆机制、上下文理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。iuPednc

“百度特有的技术,现在已经应用在文心一言上”,王海峰也坦言,技术有了,但是大模型的训练的还不够充分。不过文心大模型建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力越来越强。iuPednc

王海峰称,百度自2010年起开始全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨深度学习平台、文心大模型到应用,百度在技术栈的各层都有领先业界的关键自研技术,实现了层与层反馈,端到端优化。iuPednc

王海峰强调,飞桨深度学习平台支撑文心一言效果更好、效率更高、性能更强。对于开发训练,飞桨动静统一的开发范式,以及自适应分布式架构,可以实现大模型的灵活开发和高效训练。在推理部署方面,飞桨支持大模型高效推理,并提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等等。文心大模型加上飞桨深度学习平台,夯实了产业智能化基座。随着文心一言与飞桨平台的进一步融合发展,人工智能技术和应用的研发将越来越标准化、自动化和模块化,加速人工智能的工业大生产,同时也反哺文心一言加速迭代进化,落地更多场景和行业。iuPednc

责编:Demi
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 具有双频控制的E类谐振升压DC/DC转换器 Power Electronics News分析了一个以E类双频信号驱动运行的DC/DC升压转换器。
  • 国产SSD主控芯片发布,让存算一体与可信计算兼得 忆芯科技高端企业级芯片及方案发布会在合肥举行。“集成电路是整个可信根的根。没有集成电路是不行的,尽管软件定义,但是一定要软硬结合,以硬件为根。”沈昌祥院士认为。
  • A17 Bionic最新基准测试曝光,多核性能比早期结果慢11%? 据称网上出现了A17 Bionic的新性能数据,显示它在多核工作负载中比之前曝光的数据慢了11%,所谓的Geekbench 6分数是由Revengus发现的,他在韩国网站DCInside上偶然发现了新的A17 Bionic数字。通过下面给出的图片,苹果的第一个3纳米SoC在单核和多核结果中获得了3,019分和7,860分,值得一提的是,此前曝光的基准测试数据单核和多核分数分别为3,986和8,841。
  • 一种高性能半导体材料可以帮助减少热量排放 研究团队创造了一种氧化物陶瓷材料,解决了长期困扰热电发电机的效率问题。这些设备可以从热能中发电,包括发电厂的热能排放,这导致了全球变暖。
  • 三星也玩“P”月亮,“空间变焦”技术被指造假 很多网友一定已经看过三星 Galaxy S23 Ultra 的视频广告了,一位女士拍摄了一张月球的详细照片——陨石坑等等,她对面的邻居握着望远镜问道:“Can you send me that?”。而这段视频,也被一位网友指认为三星“空间变焦”(Space Zoom)登月照片造假的证据。
  • AC/DC电源尺寸在继续缩小 无论AC/DC电源是开放式还是封闭式,甚至是台式适配器,用于医疗应用和工业应用的最新电源设备都有一些共同点:它们提供了更小的解决方案尺寸并实现了更高的功率密度,同时提供更高的效率。
  • 从“吸血鬼设备”中节省家庭用电 家用电器浪费了大约20%的电力。这些能源吸血鬼有可能通过减少不断增长的需求来节省资金和能源。
  • 激光显示的四大核心器件国产化进程:自研芯片技术亟待提 激光显示的四大核心器件国产化程度从高到低依次为抗光幕布、激光光源、镜头、光成像芯片。技术突破下,预计未来3-5年内激光产业链国产化程度从45-55%提高至75%-80%,实现从技术领先到产业领先的跨越。
  • 中国科学家刷新纪录,达成百兆比特率的实时量子密钥分发 近日,中国科学技术大学潘建伟、徐飞虎等与上海微系统所、济南量子技术研究院、哈尔滨工业大学等单位的科研人员合作,通过发展高保真度集成光子学量子态调控、高计数率超导单光子探测等关键技术,首次在国际上实现百兆比特率的实时量子密钥分发,实验结果将此前的成码率纪录提升一个数量级。
  • PUF技术进展:可省去ID注册阶段的新PUF IP问世 物理不可克隆功能(physically unclonable function, PUF)技术运用了简单、经济高效且灵活、无需存储密钥的方式,建立信任根(Root of Trust)。然而,当PUF应用于替芯片产生特定密钥,还要确保不同芯片间ID的低重复率仍具有挑战性... 
  • 磁子电子学新突破,可用于芯片和雷达的光诱导磁子态 日前,据上海科技大学官网消息,上海科技大学物质科学与技术学院陆卫教授课题组在光子-磁子相互作用及强耦合调控方向取得重要进展。研究团队首次在铁磁绝缘体单晶中发现了一种全新的磁共振,命名为光诱导磁子态(pump-induced magnon mode, PIM)。
  • 原子钟在数据中心的作用:原子从对数据造成不利影响到带 利用原子钟授时现已成为数据中心不可或缺的组成部分。目前,通过全球定位系统(GPS)和其他全球导航卫星系统(GNSS)网络传输的原子钟时间已使全球各地的服务器实现了同步,并且部署在各个数据中心的原子钟可在传输时间不可用时保持同步。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了