【云计算】累计报表详情
小标 2019-01-14 来源 : 阅读 1161 评论 0

摘要:本文主要向大家介绍了【云计算】累计报表详情,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】累计报表详情,通过具体的内容向大家展现,希望对大家学习云计算有所帮助。

具体需求:


用户 日期 流量

熊猫tv 2018-01-025T

快手 2018-01-023T

YY 2018-01-022T

抖音 2018-01-0215T

熊猫tv 2018-01-034T

快手 2018-01-033T

YY 2018-01-031T

抖音 2018-01-0316T



输出:USER_TRAFFIC_STAT

用户 月份月访问 总访问

熊猫tv 2018-01100T 100T

熊猫tv 2018-02200T 300T

熊猫tv 2018-03200T 500T

抖音 2018-01 500T500T

抖音 2018-02 600T1100T

......


源数据:


建个表导入数据:


create table domain_date_flow(domain string,date string,flow int)
row format delimited fields terminated by '\t'
load data local inpath '/home/hadoop/data/hive_user_date_flow.txt' overwrite into table domain_date_flow;


求每月的总访问量,存储到新表:



create table totalbyMonth as
select domain,date,sum(a.flow) mCountflow
from (select domain,(from_unixtime(unix_timestamp(date,'yyyy-mm-dd'),'yyyy-mm'))as date,flow from domain_date_flow)as a
group by a.domain,a.date
sort by a.domain,a.date;


通过自连接,求月累计流量,存储到新表:



create table finaltotal as
select t1.domain domain,t1.date date,max(t1.mCountflow) mCountflow,sum(t2.mCountflow) totalflow
from totalbyMonth as t1 inner join totalbyMonth as t2 on (t1.domain=t2.domain)
where t2.date <= t1.date
group by t1.domain,t1.date;


原理分析:

totalbyMonth数据:


自连接后的数据:


在经历where t2.date <= t1.date group by t1.domain,t1.date之后,数据成下列形式

然后经过聚合函数的计算,就得到了最后的结果


          

本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved