-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
小标
2018-12-05
来源 ：
阅读 758
评论 0
摘要：本文主要向大家介绍了【云计算】Hadoop子模块的介绍，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】Hadoop子模块的介绍，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
Hadoop2.x成员模块介绍
Zookeeper担任三种角色，领导者，学习者，客户端，主要是一种协调hadoop的机制。
|---领导者负责投票的发起和决议，更新系统状态。
|---学习者--|--跟随者--用于接收客户端的请求并向客户端返回结点，在选过程中负责参与投票
|--观察者--可以接受客户端的连接，将写请求转发给领导者，但观察者不参与投票，只同步领导者状态。 目的是扩展系统，提高读取速度。
|---客户端--|--请求发起方
Hbase结构化分布式非关系数据库，BigTable的开源实现。
HiveHive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的HiveQL语言实现数据查询，所有Hive的数据都存储在Hadoop兼容的文件系统(例如，Amazon S3、HDFS)中。Hive在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS中Hive设定的目录下。
sqoop将关系型数据库中的数据与HDFS(HDFS文件，HBase中表，Hive表)上的数据进行相互的导入和导出。是数据库ETL工具>>提取----转换-----加载。。。。从数据库中获取数据，并经过一系列的数据清理和筛选。将合格的数据进行转换成为一定的格式数据进行存储。将格式化的数据存储到HDFS文件系统上，以供计算框架进行数据分析和挖掘。
格式化数据：|
|------TSV格式：每行数据的每列之间以制表符\t进行分割
|------CSV格式：每行数据的每列之间以制表符‘，逗号’进行分割。
Flume收集日志工具，收集各个应用系统和框架的日志，将其放到HDFS分布式文件系统的相应制定的目录下。
Mahout:可伸缩的机器学习和数据挖掘工具。
Pig:高级数据流语言，执行并行计算。
chukwa：用于管理分布式系统的数据收集系统。
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
