本文主要向大家介绍了【云计算】不同hive集群中基于表的数据一致性比对解析，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对，下面采用md5方法的验证：

#!/bin/bash


db='hmdbi'
hive  -e  "use  $db;show  tables  '*';">  tables.txt


sleep  2

cat  tables.txt  |while  read  eachline

do

hive  -e  "use $db;select  *  from    $eachline;"  >>$eachline.txt
md5sum  $eachline.txt  >>  md5sum.txt



done

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！