【云计算】分布式大数据迁移解析-职坐标

【云计算】分布式大数据迁移解析

小标 2018-12-13 来源：阅读 648 评论 0

摘要：本文主要向大家介绍了【云计算】分布式大数据迁移解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

本文主要向大家介绍了【云计算】分布式大数据迁移解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

一、背景介绍：

P2P公司不断的发展，系统不断的迭代，业务越来越多，系统也越来越多，最终整个公司技术部分根据业务划分成：借款端、理财端、和移动端，目前公司的数据库也拆成了三大块，基于诸多历史原因，表结构不明确、各个端表设计冗余、数据冗余，为业务部门梳理公司业务和制作有效报表带来了极大的困难。

二、需求与设计：

基于之上的历史原因，公司要求创建一个数仓，专门用来进行数据分析和智能报表研发。为此需要作出一款工具，将线上数据根据一定的规则，分发到对应的数据库所对应的表中，并能进行数据更新同步。

需求用例：

user.user_info
id	主键
u_id	用户id
u_name	姓名
u_sex	性别
u_age	年龄
u_id_card	身份证

uinfo.user_detail
id	主键
u_id	用户id
u_role	自然人或企业
u_type	借款方或投资方
register_time	创建时间
status	状态

user_info 和 user_detail 一对多的关系，同一个用户可以同时是借款方和投资方，角色可以是自然人或企业。

此时需要将用户只具备一个类型（只能是借款人或者投资人）的数据集合到数据库 report下的user_manager表中,并去掉u_id

report.user_manager
id	主键
u_name	姓名
sex	性别
age	年龄
id_card	身份证
role	角色
type	类型
register_time	注册时间
status	状态

结合上图能看到几个需求点

源来自不同的库（user 、 uinfo ），不同的表（user_info、user_detail）

目标于不同的库、不同的表、不同的字段

字段名称可以不一致

字段可丢失（u_id）

对应一对一的数据，才能迁移，否则不参与同步

另外：还要能做到不定时地将源表中产生了更新的数据，同步更新到对应的目标表中

三、设计预期

能满足对数据迁移自定义规则、能处理大量数据、能高效处理

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！

云计算与大数据处理云计算与大数据应用云计算体系主机安全

本文由 @小标发布于职坐标。未经许可，禁止转载。

喜欢 | 0

不喜欢 | 0

看完这篇文章有何感觉？已经有0人表态，0%的人喜欢快给朋友分享吧~

后参与评论

加入IT交流圈

JAVA工程师交流群 +加入

大数据架构师交流群 +加入

人工智能Python交流群 +加入

WEB/H5前端交流群 +加入

大数据云计算 直通车

索取资料
答疑解惑
技术交流
职业测评
面试技巧
高薪秘笈

海同师资推荐更多>>

黄骈联系TA

认证System Analyst，System Architect

程光淼联系TA

精通C、C++等语言、智能芯片开发

热门就业培训班更多>>

【零基础】人工智能+Python全栈开发课程

大数据安全30天热搜词更多>>

sap云计算解决方案 openstack学习路线云计算关键技术超融合与云计算的区别 ibm云计算解决方案电子科技大学云计算技术与应用云计算概念云平台三层架构云计算中心建设方案云计算技术是什么云计算视频教程云计算主机安全云计算的核心技术云计算安全体系架构云计算架构图云计算安全解决方案云计算就业岗位有什么? 云计算技术与应用就业云计算技术与应用大专云计算的应用领域