中文一区二区_九九精品在线播放_久久国产精品免费视频_国内精品在线观看视频

　    ◆時： 共5部份,30學時
        
        ☆注重質量 ☆邊講邊練32

+84322
        ☆合格學員免費推薦工作
        ★實驗設備請點擊這兒查看★

        1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
        2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。
        3、培訓合格學員可享受免費推薦就業機會。

MapReduce定義：

========================================================================

MapReduce是一種可用于數據處理的編程框架。MapReduce采用"分而治之"的思想，把對大規模數據集的操作，分發給一個主節點管理下的各個分節點共同完成，然后通過整合各個節點的中間結果，得到終結果。簡單地說，MapReduce就是"任務的分解與結果的匯總"。

在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調度、負載均衡、容錯均衡、容錯處理以及網絡通信等復雜問題，把處理過程高度抽象為兩個函數：map和reduce，map負責把任務分解成多個任務，reduce負責把分解后多任務處理的結果匯總起來。

MapReduce適用的問題：

========================================================================

用MapReduce來處理的數據集（或任務）必須具備這樣的特點：待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理。

MapReduce框架中的名詞解釋：

========================================================================

（*）split:
分片是指MapReduce框架將數據源根據一定的規則將源數據分成若干個小數據的過程；其中，一個小數據集，也被稱為一個分片。

（*）Map:
Map有兩層含義：
其一、是指MapReduce框架中的Map過程，即將一個分片根據用戶定義的Map邏輯處理后，經由MapReduce框架處理，形成輸出結果，供后續Reduce過程使用；
其二，是指用戶定義Java程序實現Mapper類的map接口的用戶自定義邏輯，此時通常被稱為mapper。

（*）Reduce:
Reduce也有兩層含義：
其一，是指MapReduce框架中的Reduce過程，即將Map的結果作為輸入，根據用戶定義的Reduce邏輯，將結果處理并匯總，輸出后的結果；
其二，是指用戶定義Java程序實現Reducer類的reduce接口的用戶自定義邏輯，此時通常被稱為reducer。

（*）Combine:
Combine是一個可由用戶自定的過程，類似于Map和Reduce，MapReduce框架會在Map和Reduce過程中間調用Combine邏輯（會在下面章節中仔細講解），通常Combine和reduce的用戶代碼是一樣的(也可被稱為本地的reduce過程)，但是請注意并不是所有用MapReduce框架實現的算法都適合增加Combine過程（比如求平均值）。

（*）Partition:
在MapReduce框架中一個split對應一個map，一個partiton對應一個reduce(無partition指定時，由用戶配置項指定，默認為1個）。 reduce的個數決定了輸出文件的個數。比如，在需求中，數據是從對每個省匯總而成，要求計算結果按照省來存放，則需要根據源數據中的表明省的字段分區，用戶自定義partition類，進行分區。

 

==========================================================================

1、Hadoop大數據迅速掌握高級應用系列套餐

2、Spark 2系列課程視頻套餐??

3、大數據消息（Kafka）與實時處理（Storm）系統系列套餐????

==========================================================================

一、課程概述
?????? 1、MapReduce課程概述

二、MapReduce編程基礎
????? 2、案例分析：WordCount數據處理的過程
????? 3、開發自己的WordCount程序
??? ? 4、案例分析：求每個部門的工資總額
??? ? 5、開發MapReduce程序實現求部門的工資總額

三、MapReduce的特性一：序列化
??? ? 6、Hadoop的序列化機制
??? ? 7、在MapReduce程序中使用序列化

四、MapReduce的特性二：排序
??? ? 8、數字的排序
??? ? 9、字符串的排序
??? ? 10、對象的排序

五、MapReduce的特性三：分區和合并
??? ? 11、什么是分區
??? ? 12、分區案例：根據部門號建立分區
??? ? 13、什么是Combiner

六、MapReduce的核心：Shuffle
????? 14、 什么是Shuffle（洗牌）？

七、MapReduce編程案例
??? ? 15、編程案例一：數據去重
??? ? 16、知識回顧：關系型數據庫中的多表查詢
??? ? 17、編程案例二：分析等值連接的數據處理流程
??? ? 18、編程案例二：實現等值連接的數據處理流程
??? ? 19、編程案例三：分析自連接的數據處理流程
???? 20、編程案例三：實現自連接的數據處理流程
??? ? 21、案例四：分析倒排索引的數據處理過程
??? ? 22、案例四：編程實現倒排索引
??? ? 23、案例五：使用MRUnit進行單元測試