如何創(chuàng)建Spark連接和讀取數(shù)據(jù)集？【案例】

在類CategoryTopl0中定義main()方法，該方法是Java程序執(zhí)行的入口，在main()方法中實現(xiàn)Spark程序，具體代碼如文件1所示。

文件1 CategoryTop10.java

public class CategoryTop10{
   public static void main(String[] arg){
   //實現(xiàn)熱門品類Top10分析
   }
}

SparkConf conf =new SparkConf():
//設(shè)置Application 名稱為topl0_category
conf.setAppName("top10_category"):
JavaSparkContext sc =new JavaSparkContext (conf);

JavaRDD<String> textFileRDD =sc.textFile (arg [0]);

上述代碼中，通過變量arg[o]指定文件路徑，目的是執(zhí)行提交Spark程序到Y(jié)ARN集群運行的命令中，通過參數(shù)指定文件路徑。