【云计算】大数据测试(开源优测)解析
小标 2018-12-13 来源 : 阅读 1027 评论 0

摘要:本文主要向大家介绍了【云计算】大数据测试(开源优测)解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】大数据测试(开源优测)解析,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。


什么是BI?


BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据(原始数据或商业数据或业务数据等)进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。


原始数据记录了企业日常事务,例如与客户交互的信息、财务信息,员工相关记录等等。


这些数据可以用于汇报、分析、挖掘、数据质量、交互、预测分析等等


什么是数据仓库


数据仓库是为查询和分析而不是事务处理而设计的数据库。


数据仓库是通过整合不同的异构数据源而构建起来的。


数据仓库的存在使得企业或组织能够将整合、分析数据工作与事务处理工作分离。


数据能够被转换、整合为更高质量的信息来满足企业级用户不同层次的需求。


什么是ETL


ETL是Extract-Transform-Load的缩写(提取-转换-载入),是一个完整的从源系统提取数据,进行转换处理,载入至数据仓库的过程。


下面我们看一下ETL过程完整的流程图:


ETLProcess.png


Extract

提取有效的数据


Transform


将提取的数据转换为数据仓库模式/格式


构建keys:一个key是一个或多个数据属性的惟一标识实例,key的类型可以是主键(primary key)、外键(foreign key)、替代键(alternate key)、复合键(composite key)以及代理键(surrogate key)。这些key只允许数据仓库进行维护管理,且不允许其他任何实体进行分配。


数据清理:在提取好数据后,则进入下一个节点:数据清理。对提取的数据中的错误进行标识和修复。解决不同数据集之间的不兼容的冲突问题,使数据一致性,以便数据集能用于目标数据仓库。通常,通过转换系统的处理,我们能创建一些元数据(meta data)来解决源数据的问题,并改进数据的质量。


Load


将转换后的数据载入数据仓库


构建聚集:创建聚集对数据进行汇总并存储数据至表中,以改进终端用户的查询体验。



          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved