【云计算】大数据的入门级学习该如何进行
小标 2019-02-25 来源 : 阅读 642 评论 0

摘要:本文主要向大家介绍了【云计算】大数据的入门级学习该如何进行,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】大数据的入门级学习该如何进行,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

【云计算】大数据的入门级学习该如何进行

一般的学习方法如下:


1、Linux命令基础实战


大数据架构体系结构及开源组件介绍 (要掌握)


Linux基本操作 (常见的Linux命令需要会)


2:Hadoop基础


Hadoop基础,对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍,让你快速把握Hadoop的核心技术和工作原理,逐渐形成分布式思维;


Hadoop介绍


Hadoop运行模式


3:Hadoop集群搭建


Hadoop集群搭建——安装Linux虚拟机


Hadoop集群搭建——远程连接


Hadoop集群搭建(on Linux)——Hadoop(上)


Hadoop集群搭建(on Linux)——Hadoop(下)


Hadoop集群搭建(on Mac)——Hadoop


4:HDFS原理


番外篇-课程体系


HDFS架构原理


FS Shell命令介绍及实践


5:YARN工作原理


YARN的产生背景


YARN的设计思想


YARN的基本架构


YARN的工作流程(小结)


6:Sqoop


Sqoop,作为关系型数据库与Hadoop之间的桥梁,批量传输数据,让你自然的从关系型数据库过度到Hadoop平台,在关系型数据库与Hadoop之间游刃有余的进行数据导入导出;


Sqoop & Hive课程内容介绍


Sqoop介绍与安装


Sqoop的基本使用


Sqoop 导入参数详解


Sqoop导入实战


Sqoop增量导入(上)


Sqoop增量导入(下)


Sqoop导出实战(上)


Sqoop导出实战(下)


Sqoop Job


7:Hive


Hive,基于Hadoop大数据平台的数据仓库,可以让你实现传统数据仓库中的绝大部分数据处理、统计分析,让你在Hadoop大数据平台上感受到Hive QL带来的便利的交互式查询体验;Mars将以日志分析或其他示例带大家熟练掌握Hive的应用;


Hive架构介绍(一)


Hive架构介绍(二)


Hive环境搭建(一)


Hive环境搭建(二)


Hive CLI初探


Beeline介绍


Hive数据类型


Hive表一——标准建表语句解析&内、外表


Hive表二——文件及数据格式


Hive分区&桶&倾斜概念


Hive表——Alter


Hive视图&索引简介


Hive表——show & Desc命令


Hive数据导入--load


Hive数据导入--insert


Hive分区表实战


Hive复杂数据类型的嵌套实例


Hive源码阅读环境


Hive执行原理


Hive查询优化


UDF函数实例


Hive终极实例——日志分析


(1)网站日志分析的术语、架构介绍


(2)建表及数据准备


(3)数据处理及统计分析


(4)数据采集到统计分析结果的crontab定时调度


8:HBase


HBase,列式存储数据库,提供了快速的查询方式,是Apache Kylin的默认数据存储结果;


HBase介绍及架构


HBase安装


HBase操作实战


Hive与HBase集成实战


9:Kylin


Kylin,基于Hadoop的OLAP分析引擎,在Kylin中可以实现传统OLAP的各种操作,直接读取Hive的数据或流式数据作为数据源,把这些数据根据业务模型构建成Cube,Kylin提供了基于Hadoop(MapReduce)的Cube构建,Build完成的Cube数据直接存储于HBase中。Kylin提供了Web UI供查询,包括一些图表展现,是基于大数据的完美OLAP工具;


维度建模


Kylin背景及原理架构


Kylin环境搭建


维度建模知识


Kylin Cube Build步骤解析


Kylin Cube实战


Kylin 增量Cube


Kylin 优化


10:Spark


Spark,基于内存计算的大数据计算引擎,提供了Spark SQL、Spark MLlib(基于Spark的机器学习)、SparkR等框架适应不同的应用需求,Spark专题将和大家一起实践操作各种应用和算法;


Spark集群搭建


Spark Core


Spark WordCount(Spark-shell/pyspark..)


IDEA IntelliJ搭建Spark开发环境


Spark编程实例


Spark SQL及DataFrame


Spark SQL实例


Spark Streaming


Spark Streaming实例


Spark MLlib


Spark MLlib应用实例


Spark R介绍


可以基于每个模版去查一些相应的资料 及教程,然后按照操作即可。。。


          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程