第三媒体软件中心软件网络资讯互联网资讯 → 华为云: 破解数据囤积,华为云智能数据湖技术解密 TTL

华为云: 破解数据囤积,华为云智能数据湖技术解密

上传:xiaojike     来源:信息存储服务     日期:2018-11-8

[摘要]  
   当数据水库中的数据不再有用时,就直接丢弃它。没有必要把某个特别的应用程序生成的所有数据都存储下来。以物联网为例,传感器会产生奇大无比的数据量,但大多数时候其实我们只是在意一些极端值而已,比如温度超出了某个阈值范围。下图为某物联网公司的业务示意图
 
[正文]    

   如果有人问数据湖是什么,我会告诉他们,是“桶装水”的集合。

   随着企业业务的发展,数据出现井喷,数据量呈几何增长,数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”,已经承载不了全部水体,因此需要一个可以满足存储需求的,新的架构作为大数据的支撑。

   这就是数据湖。它汇聚不同数据源的溪流,包括大量无序的非结构化数据(文本、图像、声音、网页等)。我们把它倒入数据湖,然后开始探索该数据。我们希望这是一个包含所有数据的,一个超快、易于访问的存储库,能解决集成难题的终极方法。

   但实际上,存储库反而变成了一个缓慢、僵化的数据沼泽。大数据需要特殊的专长来分析数据。使用原始数据得出分析结论,将持续在数据质量和治理方面发出危险信号。业内给这种问题起了个名字,叫数据囤积障碍。

爆炸式增长的数据及数据孤岛

   你应该明白了。只为了保存数据而存储数据,不是一个好主意。我们应该有一个明确的使用目的,然后只向数据供应链中导入相关的数据。当数据水库中的数据不再有用时,就直接丢弃它。没有必要把某个特别的应用程序生成的所有数据都存储下来。以物联网为例,传感器会产生奇大无比的数据量,但大多数时候其实我们只是在意一些极端值而已,比如温度超出了某个阈值范围。下图为某物联网公司的业务示意图。

首当其冲的挑战便是,数据存储、数据处理、AI组件众多。处理难度极大。

紧接着,数据孤岛问题接踵而至。

   多种数据源,每种数据单独在一个库中,业务人员需要在应用层做数据集成/数据搬移,技能要求高,工程耗时长。

   数据量日益增大,数据源日益增多,单个库扩容困难,性能下降,成本高,难以做跨市跨省等全量数据分析。

   缺乏高级分析工具,前沿技术,如机器学习、图计算、深度学习等,未能充分利用多种数据深入挖掘价值。

用智能解决非智能

   鉴于数据湖现状,我们如何利用它们为企业带来优势?这里是智能数据湖整体解决方案,包含四个关键的实践:融合,高效,易用,智能

融合——云化的hadoop

   统一数据存储,再无数据孤岛;开放格式,丰富的数据类型:JSON, CSV, AVRO,图片,视频等;开放接口,兼容原生社区应用:100%兼容OBS和HDFS接口,总而言之,我们在数据湖中处理数据,试图找到新的洞察力。我们不会,任由数据处于最原始的格式,我们将优化数据。确保数据得到治理,确保数据在语义上一致,并满足业务的要求。

高效

一个字:快。实时数据实时分析, Apache CarbonData加速,万亿数据秒级响应

易用

   做一个一站式、端到端开发工具,支持大数据+AI敏捷开发。可视化,代表丰富的可视化组件,图形化编辑界面,同时支持定制;而数据湖一站式开发工具,可管理多种大数据服务,实现跨服务作业编排调度;支持拖拉拽,预设10多种任务类型。

   最后,对于数据标准,数据质量,数据安全的治理不可或缺。

数据湖治理:一站式治理平台(数据标准,数据质量,数据安全)

智能

   重点绝不仅仅是数据,而是始终关于你要做什么工作。使用场合是什么,你可以运用什么应用程序来处理该数据以便从中受益——用智能实现高效。

智能元数据采集,统一数据视图

智能数据管理,无需人工拷贝

智能优化建议,免DBA


   对数据进行“联系”,而不是“收集”。相比将数据转移到越来越大的集群或数据仓库,让数据待在数据湖进行智能化处理,来得更省钱、更容易也更高效。

   如果想先试试效果,无论是企业用户,还是个人用户,华为云均提供了一组免费套餐,最高可免费试用60天,与此同时,华为云数据湖工厂(Data Lake Factory)2018年12月31日前提供免费试用,名额有限。

   更多详细内容,欢迎访问:华为云官网 EI企业智能 EI大数据 数据湖工厂DLF

   (新闻稿 2018-11-08)


频道首页 】【 评论 】 【 打印 】 【 字体:
   上一篇:人工智能牵手物联网 乌镇互联网大会AI+IoT成未来风口
   下一篇:科幻巨制来袭 3D科幻舞台剧《三体Ⅱ黑暗森林》发布
导航:报价 | 大全 | 排行榜 | 产品大全 | 参量 | 订阅 
 Advertisement
 十大最受关注的新闻
1  苏宁极物智能云锁开启预约,下单加赠苏宁小Biu音箱
2  Nox: 市场巨变,小游戏成海外成熟市场新红利?
3  荣耀手环4Running版再度售罄,第三轮销售火爆预约中
4  国庆献礼AG电游 首届PP电子游戏锦标赛精彩纷呈
5  卡萨帝空气洗产品,开创家电“体验服务”时代!
6  星联赛热潮迭起 ,电竞界的明日之星究竟是谁?
7  迭代出的卡萨帝空气洗:一个品类占据76.6%的市场份额
8  卡萨帝空调: 卡萨帝将奢侈品概念融入家用空调!
9  空气持久清新!苏宁极物小新智能新风机火热开售
10  K12教育市场迎来井喷 中美两国上市公司跨行业趋势明显
 十大热门驱动/软件下载
1  [手机驱动]手机usb万能
2  [热门常用软件]QQ2008正式版下载【腾讯QQ2008官方版Beta1】
3  [热门常用软件]E话通下载【E话通4.5 正式版】
4  [手机驱动]Samsung三星 手机USB驱动1.0版For Win98SE/ME/...
5  [手机驱动]Microsoft微软 ActiveSync同步软件4.5中文版Fo...
6  [摄像头驱动]万能摄像头 FOR Windows
7  [热门常用软件]皮皮播放器下载【PPFilm皮皮播放器 2.1.0....
8  [手机驱动]诺基亚 PC套件下载
9  [热门常用软件]面对面游戏下载【面对面视频游戏大厅】
10  [手机驱动]Microsoft微软 Windows Mobile Device Center ...
 十大最受关注的品牌
1  三星手机(SAMSUNG)
2  诺基亚手机(NOKIA)
3  华硕笔记本(ASUS)
4  摩托罗拉手机(MOTOROLA)
5  英特尔CPU(Intel)
6  华硕主板(ASUS)
7  LG手机(LG)
8  索爱手机(Sony Ericsson)
9  联想笔记本(lenovo)
10  宏碁笔记本(acer)
 十大热门常用软件下载
1  QQ2008正式版下载【腾讯QQ2008官方版Beta1】
2  E话通下载【E话通4.5 正式版】
3  皮皮播放器下载【PPFilm皮皮播放器 2.1.0.2版】
4  面对面游戏下载【面对面视频游戏大厅】
5  DVD解码器下载【NVIDIA DVD Decoder 1.02】
6  迅雷5下载【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下载【腾讯QQ2007官方版本】
8  QQ2006正式版下载【腾讯QQ2006官方版本】
9  联众世界游戏大厅下载【联众世界2.7.0.8官方版】
10  MTV下载器【MTV下载精灵 8.31版】
11  pplive最新版下载【PPLive网络电视V1.9.35版】
12  迅雷(Thunder)下载【迅雷v5.7.12.493官方版】
13  腾讯QQ2008下载【腾讯QQ官方版2008极速贺岁版KB1】
14  Total Video Converter下载【Total Video Converter v3.1...
15  QQ拼音输入法下载【腾讯QQQQ拼音输入法V1.4.1版】
16  皮皮高清影视播放器下载【PIPIPlayer 2.7.0.3版】
17  eMule下载【电驴eMule官方v0.49a正式版】
18  极点五笔输入法下载【极点五笔6.1标准版】
19  QQ2009正式版下载【腾讯QQ2009 SP4官方版】
20  Vagaa哇嘎画时代版下载【哇嘎 2.6.5.10】
   >> 查看评论   
 
   >> 查看更多评论   [共有0条评论]
发表评论
        
        
   点评:
   姓名:  
            字数: 0
     
新闻精选
·优音通信牵手中国人寿天津分公司 ,互利共赢
·下载王者归来 为什么我给迅雷X五星推荐!
·中国智能生态创新大会,手机迅雷获年度最佳生
·净利润同比增长 TCL集团盈利持续提升核心优势
·腾讯投资加强产业互联网布局 兴趣内容基金公
·彩云小译APP秘密武器而生 免费翻译中日英文档
  ·源自赛道 赛麟汽车展示先进技术力量
·开放AI能力,QQ浏览器识你所见助力行业“智”
·互联网金融,网贷出借与投资理财风险识别规避
·震惊!天猫精灵竟然用这种黑科技让传统家电瞬
·达飞云贷平台强化风控本领,助力行业向正规跃
·如果有一天,你爸妈比你先学会用AI技术