本文主要向大家介绍了【云计算】Spark学习之DEA开发WordCount程序，通过具体的内容向大家展现，希望对大家学习云计算有所帮助。

package demo

import org.apache.spark.{SparkConf, SparkContext}

object SparkDemo {

  def main(args: Array[String]): Unit = {
    //配置
    val sparkConf = new SparkConf()
    sparkConf.setAppName("sparkdemo").setMaster("local")
    //创建sc 对象
    val sc = new SparkContext(sparkConf)
    /*val rdd1 = sc.textFile("hdfs://192.168.163.11:9000/data/data.txt")
    val rdd2= rdd1.flatMap(_.split(" "))
    val rdd3 = rdd2.map((_,1))
    println(rdd3.collect())
    val rdd4 = rdd3.reduceByKey(_+_)
    rdd4.saveAsTextFile("hdfs://192.168.163.11:9000/spark/data/1012/1")
 */
    //使用sc 对象执行任务
    sc.textFile(args(0))
      .flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_+_)
      .saveAsTextFile(args(1))
    //停止任务
    sc.stop()

  }
}
然后 idea 打成jar文件(如有问题请查看 IDEA 输出jar)

运行程序:

[root@BigData11 spark-2.1.0-bin-hadoop2.7]# bin/spark-submit --master spark://BigData11:7077 --class demo.SparkDemo /root/tools/mysparkdemo.jar hdfs://192.168.163.11:9000/data/data.txt hdfs://192.168.163.11:9000/spark/1013

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标大数据云计算大数据安全频道！