首頁最新資訊

全部 新聞動態(tài) 技術(shù)文章 常見問題 技術(shù)問答

    • RDD轉(zhuǎn)換算子API過程演示【大數(shù)據(jù)文章】

      RDD處理過程中的“轉(zhuǎn)換”操作主要用于根據(jù)已有RDD創(chuàng)建新的RDD,每一次通過Transformation算子計算后都會返回一個新RDD,供給下一個轉(zhuǎn)換算子使用。面,我們通過結(jié)合具體的示例對這些轉(zhuǎn)換算子API進行詳細講解。查看全文>>

      技術(shù)文章2020-12-21 |黑馬程序員 |RDD,轉(zhuǎn)換算子,RDD數(shù)據(jù)處理
    • Spark Shell讀取HDFS文件的步驟有哪些?

      使用Scala語言開發(fā)單詞計數(shù)Spark程序,現(xiàn)有文本文件words.txt(讀者需要在本地創(chuàng)建文件并上傳至指定目錄)在HDFS中的/spark/test路徑下如果使用Spark Shell來讀取HDFS中的/spark/test/ words.txt文件,具體步驟如下:查看全文>>

      技術(shù)文章2020-12-21 |黑馬程序員 |Shell,Spark
    • Scala的控制結(jié)構(gòu)語句有哪幾種?各語法格式介紹

      在Scala中,控制結(jié)構(gòu)語句包括條件分支語句和循環(huán)語句。其中,條件分支語句有if語句、if...else語句、if...else if...else語句以及if...else嵌套語句;循環(huán)語句有for循環(huán),while循環(huán)和do...while循環(huán)。條件分支語句和循環(huán)語句的語法格式具體如下。查看全文>>

      技術(shù)文章2020-12-17 |黑馬程序員 |控制結(jié)構(gòu)語句的語法格式
    • 如何使用IDEA工具開發(fā)一個WordCount單詞計數(shù)程序?

      Spark作業(yè)與MapReduce作業(yè)同樣可以先在本地開發(fā)測試,本地執(zhí)行模式與集群提交模式,代碼的業(yè)務(wù)功能相同,因此本書大多數(shù)采用本地開發(fā)模式。下面講解使用IDEA工具開發(fā)WordCount單詞計數(shù)程序的相關(guān)步驟。查看全文>>

      技術(shù)文章2020-12-17 |黑馬程序員 |IDEA工具,WordCount單詞計數(shù)程序開發(fā)
    • Scala在使用聲明值和變量時的注意事項有哪些?

      Scala有兩種類型的變量,一種是使用關(guān)鍵字var聲明的變量,值是可變的;另一種是使用關(guān)鍵字val聲明的變量,也叫常量,值是不可變的。這里需要說明的是,雖然聲明值和變量的方式比較簡單,但是有以下幾個事項需要注意:查看全文>>

      技術(shù)文章2020-12-17 |黑馬程序員 | Scala聲明值和變量
    • 詳解MapReduce編程的Map模型和Reduce模型

      MapReduce是一種編程模型,用于處理大規(guī)模數(shù)據(jù)集的并行運算。使用MapReduce執(zhí)行計算任務(wù)的時候,每個任務(wù)的執(zhí)行過程都會被分為兩個階段,分別是Map和Reduce,其中Map階段用于對原始數(shù)據(jù)進行處理,Reduce階段用于對Map階段的結(jié)果進行匯總,得到最終結(jié)果,這兩個階段的模型如圖1所示。查看全文>>

      技術(shù)文章2020-12-17 |黑馬程序員 |MapReduce編程模型,大規(guī)模數(shù)據(jù)集的運算
和我們在線交談!