本文主要向大家介绍了【云计算】SparkStreaming之粗粒度和细粒度总结，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

一、粗粒度

1.工作原理：

（1）Spark Streaming接收到实时数据流（data stream）

（2）Spark Streaming把数据按照指定的时间段切成一片片小的数据块（小批次）

（3）然后Spark Streaming把小的数据块传给Spark Engine处理

（4）Spark Engine处理后，输出处理后的数据（processed result）

二、细粒度

1.工作原理：

（1）driver：启动spark应用程序，构建StreamingContext

（2）executor：启动receiver接收器，接收数据

（3）executor：接收input Stream，然后拆分不同block（小块）

（4）executor：receiver将block存储信息发送给StreamingContext

（5）driver：启动job，然后将task提交到对应executor上执行

（未完待续~）

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！