-
大数据云计算
站-
热门城市 全国站>
-
其他省市
-
-
400-636-0069
小标
2019-02-11
来源 ：
阅读 746
评论 0
摘要：本文主要向大家介绍了【云计算】SparkDataSource的随手笔记分享，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
本文主要向大家介绍了【云计算】SparkDataSource的随手笔记分享，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。
真的只是个随手笔记。记录下一些操作过程。
背景
最近需要实现一些Spark逻辑计划和物理计划的优化，遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。
获得数据
毕竟装Oracle是个大工程，没有必要为了做个测试单独安装一个Oracle，于是用Docker，这里推荐一下阿里的Docker Oracle镜像库：
https://dev.aliyun.com/detail.html?spm=5176.1972343.2.2.2f075aaaGOYe3m&repoId=1969
按照其方式启动Oracle镜像并sqlplus登录sysdba以后，为了确保scott/tiger没有被锁，还是做了一下解锁操作：
SQL> alter user scott account unlock;
然后退出sqlplus并用scott/tiger重新登录sysdba，并且查看scott的表：
SQL> select table_name from user_tables;
TABLE_NAME
------------------------------
DEPT
EMP
BONUS
SALGRADE
没有问题。
在此只做一些简单的测试，所以并没有使用jdbc方式在test类里获取数据，而是直接拿了一些数据hard code在test类里。
写Spark DataSource API
实现了简单的谓词下推功能。详细Datasource代码见GitHub，里面还包含了一个tpc-ds的DataSource：
本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！
喜欢 | 0
不喜欢 | 0
您输入的评论内容中包含违禁敏感词
我知道了
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了，明天再试试吧！
我们会在第一时间安排职业规划师联系您！
您也可以联系我们的职业规划师咨询：
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com，All Rights Reserved.
沪公网安备 31011502005948号
索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈
