广告

华为宣布河图引擎开源,让企业像用“数据库”一样使用“大数据”

2019-11-19 14:20:45 EDN China 阅读:
11月19日,华为在深圳举办了2019全球数据基础设施论坛。华为Cloud&AI产品与服务总裁侯金龙宣布,面向鲲鹏计算产业,全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),旨在让伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。

11月19日,华为在深圳举办了2019全球数据基础设施论坛。华为Cloud&AI产品与服务总裁侯金龙宣布,面向鲲鹏计算产业,全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),旨在让伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。6MUednc

据介绍,华为将数据虚拟化引擎命名为河图,是为了屏蔽数据基础设施的复杂度,让开发者像使用数据库一样使用大数据,复用现有的生态、工具和技能,提升开发效率2到10倍。6MUednc

“’大禹得河图后始见清明’,传说中,大禹通过河图掌握河流山川复杂的地形地貌,顺利完成治水大业。河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。”6MUednc

从数据角度对计算战略的再度阐述

今年9月份,华为在全联接大会上发布了“一云两翼双引擎”的鲲鹏计算产业布局,基于“鲲鹏+昇腾”双引擎,全面启航计算战略,为世界提供最强算力。6MUednc

其中,“一云”是指华为云,是生态伙伴发展的黑土地。“两翼”是指智能计算和智能数据。数据作为鲲鹏产业中的关键一翼,华为将围绕数据构建端到端的能力,包括存、算、用的能力,通过5G+云+AI能力,打造“融合、智能、开放”的数据基础设施,释放数据价值,让智能无所不及!6MUednc

据侯金龙指出,河图引擎的开源是继今年9月基于“鲲鹏+昇腾”双引擎全面启航计算战略后,华为从数据角度对计算战略的再度阐述。6MUednc

现场演讲中,侯金龙表示,目前的智能世界,正从数据管理走向数据运营。他以大港油田为例说明,“在经历了50年持续开采后,面临资源枯竭、产量下降的挑战。2019年以来,大港油田采用华为大数据和AI技术,利用测井曲线,结合经验模型生成了每口井的孔隙度、渗透率,找到了更多的新的油气层。通过数据运营,为长期稳产500万吨提供了决策支撑。”6MUednc

然而,据预测,全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。6MUednc

打造“融合、智能、开放”数据基础设施

“海量数据的增长背后是需要海量存储和计算的资源,数据增长是无限的,而存储资源却是有限的。”侯金龙指出,为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。6MUednc

  1. 通过“打破数据处理与数据存储的边界”,实现数据高效共享和分析,降本增效。
  2. 通过“AI+存储+云”,实现数据全生命周期内智能管理和智能运营,让存储越用越快,价值越来越大。
  3. 通过“数据虚拟化引擎”,统一SQL语法,像使用数据库一样使用大数据。

数据应用的核心包括存储和分析。烟囱式IT业务系统带来两个问题:存的时候会产生多个冗余副本,且数据无法流动,存储成本高;分析的时候会导致大量数据搬迁,分析效率低。6MUednc

通过10余年技术积累和创新,华为在存储、数据库和大数据技术上实现了一系列突破,通过打破4堵墙,让数据的每比特发挥价值最大,数据的每比特成本最优。6MUednc

  1. 打破存储内部系统墙:通过一套架构实现生产、分析、备份、归档的统一管理,一份数据在各个系统中平滑流动,减少拷贝,TCO降低30%以上。
  2. 打破数据库与存储链路墙:通过算子下推实现近数据计算,减少存储层与计算层之间的数据交换,数据访问和处理性能提升2倍。
  3. 打破大数据与存储配置墙:通过存算分离实现资源灵活配置,计算不足扩计算,存储不足扩存储 。并通过弹性EC、数据缩减技术减少冗余,整体TCO降低30%以上。
  4. 打破数据库与大数据协同墙:通过协同分析实现数据零搬迁,数据库和大数据共享一份数据,分析效率提升100%。

HetuEngine,从“大数据”走向“大数据库”

据侯金龙介绍,河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。它具备4个核心能力:6MUednc

一个目录:通过元数据在线感知,构建1000+异地异构数据源全局虚拟数据视图,打破数据孤岛,数据全局可视,解决企业找数难问题。6MUednc

一个入口:通过开放的连接框架、5000节点SQL引擎,实现30种异地异构数据源统一SQL访问,秒级获取,数据全局可得,解决企业取数难问题。6MUednc

一份数据:通过CarbonData技术,实现一份数据多场景分析,多应用共享,数据零搬迁,数据全局可用,解决企业用数难问题。6MUednc

统一安全:通过细粒度动态授权、敏感数据自动感知技术,实现异地异构数据源集中式安全配置与管控,数据全局可控,数据授权时间从天到秒,解决企业数据安全与合规问题。6MUednc

将于2020年6月上线

据侯金龙表示openHetu将于2020年6月上线。6MUednc

华为将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。6MUednc

侯金龙最后表示,华为始终践行“平台+生态”策略,通过硬件开放,软件开源,使能伙伴,共建开放、繁荣的鲲鹏计算产业生态,共同迈入智能时代。6MUednc

EDN China
暂无简介...
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 商务部暂停天然砂对台湾地区出口,台积电难受了 据EDN电子技术设计了解,商务部网站8月3日早晨8点发布最新消息,表示将从即日起暂停天然砂对台湾地区出口。不少网友认为暂停天然砂对台湾地区的出口,此举将严重影响台湾的建筑业,实则影响不仅仅如此。台湾地区天然砂进口量的90%以上来自大陆,而台湾芯片占台湾2021年出口额的34.8%。网友称商务部暂停天然砂对台湾地区出口是捏到了台湾半导体制造业的七寸。
  • 华盛顿大学首创用人体热能为可穿戴电子设备供电 从健康和健身追踪器到虚拟现实设备,可穿戴电子产品已成为我们日常生活的一部分,但找到持续为这些设备供电的方法是一项挑战。华盛顿大学的研究人员开发了一种创新的解决方案:首创的柔性、可穿戴热电设备,可将体热转化为电能。
  • 深圳允许完全自动驾驶车辆上路,主驾无需坐人 据EDN电子技术设计引援央视财经报道,从8月1日开始,《深圳经济特区智能网联汽车管理条例》正式实施,智能网联汽车列入国家汽车产品目录或者深圳市智能网联汽车产品目录,这也让深圳成为了国内首个允许L3级别自动驾驶车辆合法上路的城市。
  • 理想ONE高速起火烧成光架,其1.2T三缸增程器曾被指隐藏 近期,网络平台上发布了一段理想ONE在行驶过程中,车辆出现起火的视频内容。现场拍摄的灭火后图片显示,该轿车过火后仅剩骨架,车辆前部增程器位置受损严重,车辆尾门已经在过火后从车身主体脱落。此前,曾有国内汽车媒体对一台行驶了10万公里的理想ONE的东安1.2T三缸增程发动机进行拆解,被指隐藏暗病。
  • 上海微系统所使用石墨烯纳米带研制出世界上最小尺寸的 非易失性相变随机存取存储器(PCRAM)被认为是大数据时代新兴海量存储的有希望的候选者之一。然而,相对较高的编程能量阻碍了 PCRAM 中功耗的进一步降低。利用石墨烯的窄边接触可以有效降低每个电池中相变材料的活性体积,从而实现低功耗运行。
  • 可解决工业自动化和IIoT挑战的MCU 工业自动化和工业物联网(IIoT)设计人员的性能要求不断变化。就MCU而言,他们希望获得更快的处理速度、更多的内存、更好的连接性和更多的安全功能。
  • 我国建成开通5G基站数达185.4万个 工信部近日透露,截至2022年6月底,中国5G基站数达到185.4万个,其中二季度新增基站近30万个,已建成全球规模最大、技术领先的网络基础设施,实现“县县通5G、村村通宽带”。。
  • 苹果发布2022财年第三财季业绩,营收829.59亿美元 Apple 今日公布了 2022 年第三财季的财务业绩。报告显示,苹果公司第三财季公布收入为 829.59亿美元,去年同期为 814 亿美元,同比增长2%;季度净利润为 194 .4亿美元,去年同期为217 亿美元,同比下降10.6%;其中,iPhone带来的营收406.7亿美元,同比增长3%。
  • 工程师开发出可以看到身体内部的贴纸 麻省理工学院的工程师设计了一种贴片,可以产生身体的超声图像。这种邮票大小的设备贴在皮肤上,可以提供 48 小时内脏器官的连续超声成像。
  • 美国参议院批准价值2460亿美元的芯片法案 美国参议院周三通过立法,以超过 750 亿美元支持国内半导体产业。GlobalFoundries、英特尔、三星代工厂、德州仪器、台积电和其他在美国建立半导体制造设施的公司或将受益。
  • 第三代半导体——碳化硅材料之制程与分析 SiC功率电子是加速电动车时代到来的主要动能。以SiC MOSFET取代目前的Si IGBT,不仅能使电力移转时的能源损耗降低80%以上,同时也可让芯片模块尺寸微缩至原本的1/10,达到延长电动车续航里程及缩短充电时间的功效。
  • 开源软件真的可靠吗? 乍看之下,采用开源软件似乎是个不错的办法,但归根究底,开源软件有几个特性可能会使其变得“邪恶”...
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了