Standalone是什么？Standalone集群的三類進程

Standalone是什么

Standalone模式是Spark自帶的一種集群模式，不同于前面本地模式啟動多個進程來模擬集群的環(huán)境，Standalone模式是真實地在多個機器之間搭建Spark集群的環(huán)境，完全可以利用該模式搭建多機器集群，用于實際的大數(shù)據(jù)處理。

StandAlone 是完整的Spark運行環(huán)境,其中: Master角色以Master進程存在, Worker角色以Worker進程存在 Driver和Executor運行于Worker進程內(nèi), 由Worker提供資源供給它們運行。

StandAlone集群在進程上主要有3類進程:

（1）主節(jié)點Master進程：

Master角色, 管理整個集群資源，并托管運行各個任務的Driver

（2）從節(jié)點Workers：

Worker角色, 管理每個機器的資源，分配對應的資源來運行Executor(Task); 每個從節(jié)點分配資源信息給Worker管理，資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。

（3）歷史服務器HistoryServer(可選)：

Spark Application運行完成以后，保存事件日志數(shù)據(jù)至HDFS，啟動HistoryServer可以查看應用運行相關(guān)信息。Spark的歷史服務器, 功能: 將Spark運行的程序的歷史日志記錄下來, 通過歷史服務器方便用戶查看程序運行的歷史信息。