广告

华为宣布河图引擎开源,让企业像用“数据库”一样使用“大数据”

2019-11-19 14:20:45 EDN China 阅读:
11月19日,华为在深圳举办了2019全球数据基础设施论坛。华为Cloud&AI产品与服务总裁侯金龙宣布,面向鲲鹏计算产业,全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),旨在让伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。

11月19日,华为在深圳举办了2019全球数据基础设施论坛。华为Cloud&AI产品与服务总裁侯金龙宣布,面向鲲鹏计算产业,全面启动数据基础设施战略,并开源数据虚拟化引擎HetuEngine(河图引擎),旨在让伙伴像使用“数据库”一样使用“大数据”,让数据治理、使用更简单。bFhednc

据介绍,华为将数据虚拟化引擎命名为河图,是为了屏蔽数据基础设施的复杂度,让开发者像使用数据库一样使用大数据,复用现有的生态、工具和技能,提升开发效率2到10倍。bFhednc

“’大禹得河图后始见清明’,传说中,大禹通过河图掌握河流山川复杂的地形地貌,顺利完成治水大业。河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。”bFhednc

从数据角度对计算战略的再度阐述

今年9月份,华为在全联接大会上发布了“一云两翼双引擎”的鲲鹏计算产业布局,基于“鲲鹏+昇腾”双引擎,全面启航计算战略,为世界提供最强算力。bFhednc

其中,“一云”是指华为云,是生态伙伴发展的黑土地。“两翼”是指智能计算和智能数据。数据作为鲲鹏产业中的关键一翼,华为将围绕数据构建端到端的能力,包括存、算、用的能力,通过5G+云+AI能力,打造“融合、智能、开放”的数据基础设施,释放数据价值,让智能无所不及!bFhednc

据侯金龙指出,河图引擎的开源是继今年9月基于“鲲鹏+昇腾”双引擎全面启航计算战略后,华为从数据角度对计算战略的再度阐述。bFhednc

现场演讲中,侯金龙表示,目前的智能世界,正从数据管理走向数据运营。他以大港油田为例说明,“在经历了50年持续开采后,面临资源枯竭、产量下降的挑战。2019年以来,大港油田采用华为大数据和AI技术,利用测井曲线,结合经验模型生成了每口井的孔隙度、渗透率,找到了更多的新的油气层。通过数据运营,为长期稳产500万吨提供了决策支撑。”bFhednc

然而,据预测,全球数据量将从2018年的33 ZB快速增长到2025年的180 ZB。但是,产生的数据中仅有不到2%被保存,而被保存的数据中仅有不到10%被应用。bFhednc

打造“融合、智能、开放”数据基础设施

“海量数据的增长背后是需要海量存储和计算的资源,数据增长是无限的,而存储资源却是有限的。”侯金龙指出,为实现这个追求,华为打造融合、智能、开放的数据基础设施,让数据系统从孤立走向融合,从复杂走向智能,从封闭走向开放。bFhednc

  1. 通过“打破数据处理与数据存储的边界”,实现数据高效共享和分析,降本增效。
  2. 通过“AI+存储+云”,实现数据全生命周期内智能管理和智能运营,让存储越用越快,价值越来越大。
  3. 通过“数据虚拟化引擎”,统一SQL语法,像使用数据库一样使用大数据。

数据应用的核心包括存储和分析。烟囱式IT业务系统带来两个问题:存的时候会产生多个冗余副本,且数据无法流动,存储成本高;分析的时候会导致大量数据搬迁,分析效率低。bFhednc

通过10余年技术积累和创新,华为在存储、数据库和大数据技术上实现了一系列突破,通过打破4堵墙,让数据的每比特发挥价值最大,数据的每比特成本最优。bFhednc

  1. 打破存储内部系统墙:通过一套架构实现生产、分析、备份、归档的统一管理,一份数据在各个系统中平滑流动,减少拷贝,TCO降低30%以上。
  2. 打破数据库与存储链路墙:通过算子下推实现近数据计算,减少存储层与计算层之间的数据交换,数据访问和处理性能提升2倍。
  3. 打破大数据与存储配置墙:通过存算分离实现资源灵活配置,计算不足扩计算,存储不足扩存储 。并通过弹性EC、数据缩减技术减少冗余,整体TCO降低30%以上。
  4. 打破数据库与大数据协同墙:通过协同分析实现数据零搬迁,数据库和大数据共享一份数据,分析效率提升100%。

HetuEngine,从“大数据”走向“大数据库”

据侯金龙介绍,河图引擎,就是要让数据治理简单,使用简单,更方便的挖掘数据价值。它具备4个核心能力:bFhednc

一个目录:通过元数据在线感知,构建1000+异地异构数据源全局虚拟数据视图,打破数据孤岛,数据全局可视,解决企业找数难问题。bFhednc

一个入口:通过开放的连接框架、5000节点SQL引擎,实现30种异地异构数据源统一SQL访问,秒级获取,数据全局可得,解决企业取数难问题。bFhednc

一份数据:通过CarbonData技术,实现一份数据多场景分析,多应用共享,数据零搬迁,数据全局可用,解决企业用数难问题。bFhednc

统一安全:通过细粒度动态授权、敏感数据自动感知技术,实现异地异构数据源集中式安全配置与管控,数据全局可控,数据授权时间从天到秒,解决企业数据安全与合规问题。bFhednc

将于2020年6月上线

据侯金龙表示openHetu将于2020年6月上线。bFhednc

华为将开源内核,开发者可以基于开源代码进行定制,包括数据源扩展、SQL执行策略等,实现应用快速对接,提升开发效率。bFhednc

侯金龙最后表示,华为始终践行“平台+生态”策略,通过硬件开放,软件开源,使能伙伴,共建开放、繁荣的鲲鹏计算产业生态,共同迈入智能时代。bFhednc

EDN China
暂无简介...
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 复旦大学研究人员发明晶圆级硅基二维互补叠层晶体管 复旦大学研究团队将新型二维原子晶体引入传统的硅基芯片制造流程,实现了晶圆级异质CFET技术。相比于硅材料,二维原子晶体的单原子层厚度使其在小尺寸器件中具有优越的短沟道控制能力。
  • 西工大打破吉尼斯世界纪录,扑翼式无人机单次充电飞行15 据西北工业大学官宣其扑翼式无人机单次充电飞行时间获得新的吉尼斯世界纪录,认定的纪录时间为 2 小时 34 分 38 秒 62(突破 154 分钟)。本次刷新世界纪录的“云鸮”扑翼式无人机采用了高升力大推力柔性扑动翼设计、高效仿生驱动系统设计和微型飞控导航一体化集成等关键技术,翼展 1.82m,空载起飞重量为 1kg,手抛起飞,滑翔降落,能够按设定航线自主飞行,飞行过程中能实时变更航线。
  • 麻省理工开发出纸一样薄的太阳能电池,每公斤功率是传统 麻省理工学院称其工程师开发出超轻织物太阳能电池,可以快速轻松地将任何表面变成电源。这些耐用、灵活的太阳能电池比人的头发丝细得多,粘在坚固、轻便的织物上,使其易于安装在固定表面上。它们的重量是传统太阳能电池板的百分之一,每公斤产生的功率是传统太阳能电池板的18倍。
  • 英特尔展示下一代半导体器件技术,计划2030年实现万亿级 日前,英特尔在IEDM上展示多项与半导体制造技术相关的研究成果:3D封装技术的新进展,可将密度再提升10倍;超越RibbonFET,用于2D晶体管微缩的新材料,包括仅三个原子厚的超薄材料;能效和存储的新可能,以实现更高性能的计算;量子计算的新进展。此外,英特尔表示,目标是在2030年实现在单个封装中集成一万亿个晶体管。
  • 湖南大学:基于2D的范德华异质结构,可用于晶体管及存储器 电子工程研究的一个关键目标是开发高性能和高能效的计算设备,这意味着它们可以快速计算信息,同时消耗很少的能量。一种可能的方法是将执行逻辑操作的单元和存储组件组合到一个设备中。
  • 上海特斯拉前员工:Model Y生产中降低某项重要工艺规格, 据EDN电子技术设计了解,12月8日上午,账号为Laniakea_1188的微博用户公开举报特斯拉,称上海特斯拉在Model Y车型生产过程中,降低某项重要工艺规格问题线索,并指出如果该项变化的风险评估、白车身验证、整车验证不充分,将不能排除影响承载式车身强度乃至整车安全性的可能。
  • 矽递科技为荷兰养猪场打造基于LoRa®和LoRaWAN®的环 通过物联网技术监测养殖环境,为生猪健康提供有效保障
  • 在美国企业抵制之下,美国将放宽联邦机构及承包商使用中 这议案被视为美国《国防授权法案》(NDAA)的一项修正案,遭到美国商会和其他贸易组织的抵制。这些组织在上个月的一封信中称,企业要确定大量电子产品中的芯片是否是中国企业制造的,成本将很高,难度也很大。
  • 兆易创新瞄准4大行业入局模拟芯片,电源管理全产品组合 随着可穿戴设备、汽车电子、物联网、云计算等新兴应用的蓬勃发展,以及用户对于智能化生活越来越高的追求,同时伴随着工业、储能、5G通信等数字行业的产业升级和持续扩容,作为连接真实世界和数字世界的模拟芯片产品愈发展现广阔的应用潜力,并且市场规模持续增长。
  • 宝马要做太阳能汽车,大众入局氢能源,车企分开走不同新能 在目前的汽车市场中,新能源汽车已成大势所趋,虽然目前以电动汽车和混动汽车为主流,但受电池技术的限制,消费者仍期待更长的续航,更环保的能源也成了厂商关注的焦点,因此氢能源汽车和太阳能汽车也开始走入风口。
  • 台积电1nm制程工艺已实现技术突破,正谋划建1nm工艺工厂 近日有报道称台积电正积极推进1nm制程工艺,并们已在谋划1nm制程工艺工厂的建设事宜,以便按计划量产。早前EDN美国版曾报道台积电1nm制程工艺已实现技术突破,且逐渐成形。
  • 三星黑科技,突破指纹识别区域限制 三星正在研发一项屏幕指纹解锁的新技术,这项新技术可将指纹识别覆盖整个屏幕,无论用户手指放在屏幕的哪个位置,均能实现解锁。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了