-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
小标
2018-12-24
来源 ：
阅读 760
评论 0
摘要：本文主要向大家介绍了【云计算】sparkSql中的dataFram的使用通过json文件创建DataFrame实例教程，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】sparkSql中的dataFram的使用通过json文件创建DataFrame实例教程，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
如果是使用sparksql的话，我们需要创建SQLContext的上下问，可以传入conf对象，或者 sparkContext对象
读取json文件创建一个DataFram
sqlContext.read.json(“json文件名”).
使用json文件创建datafram时他会直接解析json中的格式，将json中每一条记录里面的key作为了scheme，我们可以直接使用sparkSQL来查看datafram中的数据
df.select(“name”).show
查看scheme：df.printSchema()
查看datafram中的数据： df.show() 默认显示20条记录，如果想多显示的话，需要往里面传入一个参数
想要使用SQL语句来操作datafram的话，需要将datafram注册成一张临时表，这个临时表中是没有数据的，相当于只是将注册的临时表指向了datafram了
df.registerTempTable(“table1”)
sql 语句的val sqlText=”select age ,count(0) from table1 group by age”;
执行SQL语句使用：SQLContext.sql(sqlText)
datafram转变成ＲＤＤ：val rdd1=df.rdd()
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
