-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
小标
2018-12-24
来源 ：
阅读 870
评论 0
摘要：本文主要向大家介绍了【云计算】Spark/Hive采样测试效果展示，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】Spark/Hive采样测试效果展示，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
Hive
数据块取样
hive数据块采样
SELECT * FROM T TABLESAMPLE (50 PERCENT);
SELECT * FROM T TABLESAMPLE (30M);
分桶表取样
SELECT *
FROM T TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand());
SELECT * FROM T TABLESAMPLE(BUCKET 1 OUT OF 10 ON id);
如果源表是已经分桶的表抽样，查询只会扫描相应桶中的数据，而基于未分桶表的抽样，查询时候需要扫描整表数据，先分桶，再抽样。
Spark
sample
sample(false, 0.5, System.currentTimeMillis());
对RDD进行抽样，其中参数withReplacement为true时表示抽样之后还放回，可以被多次抽样，false表示不放回；fraction表示抽样比例；seed为随机数种子，比如当前时间戳
第三个参数可以不填
takeSample
返回一个Array[T]；
该方法仅在预期结果数组很小的情况下使用，因为所有数据都被加载到driver的内存中。
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
