MapReduce編程模型：Map階段和Reduce階段

MapReduce是一種編程模型，用于處理大規(guī)模數據集的并行運算。使用MapReduce執(zhí)行計算任務的時候，每個任務的執(zhí)行過程都會被分為兩個階段，分別是Map和Reduce，其中Map階段用于對原始數據進行處理，Reduce階段用于對Map階段的結果進行匯總，得到最終結果，這兩個階段的模型如下圖所示。

MapReduce編程模型借鑒了函數式程序設計語言的設計思想，其程序實現過程是通過map()和reduce()函數來完成的。從數據格式上來看，map()函數接收的數據格式是鍵值對，產生的輸出結果也是鍵值對形式，reduce()函數會將map()函數輸出的鍵值對作為輸人，把相同key值的value進行匯總，輸出新的鍵值對。接下來，通過一張圖來描述MapReduce的簡易數據流模型，具體如下圖所示。

對于上圖描述的MapReduce簡易數據流模型說明如下:

(1)將原始數據處理成鍵值對形式。

(2)將解析后的鍵值對傳給map()函數，map()函數會根據映射規(guī)則，將鍵值對映射為一系列中間結果形式的鍵值對。

(3)將中間形式的鍵值對形成形式傳給reduce()函數處理，把具有相同key的value合并在一起，產生新的鍵值對，此時的鍵值對就是最終輸出的結果。

這里需要說明的是，對于某些任務來說，可能不一定需要Reduce過程，也就是說，MapReduce的數據流模型可能只有Map過程，由Map產生的數據直接被寫人HDFS中。但是，對于大多數任務來說，都是需要Reduce過程的，并且可能由于任務繁重，需要設定多個Reduce。例如，下面是一個具有多個Map和Reduce的MapReduce模型，具體如下圖所示。

上圖中演示的是含有3個Map和2個Reduce的MapReduce程序，其中，由Map產生的相關key的輸出都會集中到Reduce中處理，而Reduce是最后的處理過程，其結果不會進行第二次匯總。

猜你喜歡：

MapReduce編程開發(fā)實例——詞頻統(tǒng)計過程

MapReduce的工作流程是怎樣的？

MapReduce中Maper組件用法介紹

黑馬程序員python+大數據培訓課程