模塊一、Hadoop?2.x入門?
001 為什么開設(shè)Hadoop 2.x課程以及企業(yè)中的應(yīng)用 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
002 課程大綱介紹、課程學(xué)習(xí)注意事項 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
003 安裝Linux虛擬機、基本設(shè)置（Ip地址配置、主機名、創(chuàng)建用戶等） ? ? ? ? ? ? ? ? ? ??
004 Linux遠(yuǎn)程四大工具使用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
005 主機名與IP映射配置、man命令以及如何創(chuàng)建查看文件內(nèi)容 ? ? ? ? ? ? ? ? ? ? ? ? ?
006 Linux系統(tǒng)中文件類型、權(quán)限、用戶講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
007 對文件cp、mv命令講解、設(shè)置用戶sudo和安裝JDK ? ? ? ? ? ? ? ? ? ? ? ? ??
008 Hadoop 2.x介紹與生態(tài)系統(tǒng)重要框架講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
009 hadoop 起源、三大版本和下載編譯說明 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
010 hadoop 2.5.0編譯準(zhǔn)備工作（安裝Maven、系統(tǒng)依賴包等） ? ? ? ? ? ? ? ? ? ?
011 對Haodop 2.5.0進行編譯、目錄結(jié)構(gòu)講解以及編譯注意事項 ? ? ? ? ? ? ? ? ? ? ?
012 將hadoop 2.x源碼導(dǎo)入Eclipse中，進行查看和編輯修改 ? ? ? ? ? ? ? ? ? ??
013 Hadoop 2.x模塊之HDFS架構(gòu)概要介紹講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
014 Hadoop 2.x模塊之YARN架構(gòu)和MapReduce on YARN概要介紹講解 ? ? ? ? ??
015 Hadoop 2.x安裝部署前的準(zhǔn)備 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
016 在單機模式下運行MapReduce案例和偽分布式安裝配置HDFS ? ? ? ? ? ? ? ? ? ? ?
017 運行MapReduce程序（輸入輸出數(shù)據(jù)來源于HDFS）和講解HDFS基本Shell命令操作 ? ? ? ?
018 偽分布式部署YARN（配置與啟動）和在YARN上運行MapReduce任務(wù) ? ? ? ? ? ? ? ??
019 HDFS權(quán)限檢查講解和運行詞頻統(tǒng)計WordCount程序 ? ? ? ? ? ? ? ? ? ? ? ? ?
020 MapReduce歷史服務(wù)JobHistoryServer講解和啟動Hadoop 2.x服務(wù)組件的三種方式?
021 分析三種啟動方式腳本和引出ssh協(xié)議作用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
022 講解SSH協(xié)議和SSH無密鑰登陸原理 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
023 配置SSH無密鑰、使用start-dfs.sh啟動HDFS所有服務(wù)組件和講解Hadoop與Java版本選擇?
024 Hadoop 2.x兩種配置文件講解說明 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
025 如何配置Hadoop 2.x中各個守護進程運行的主機 ? ? ? ? ? ? ? ? ? ? ? ? ? ?
026 如何配置HDFS相關(guān)數(shù)據(jù)存儲的本地目錄 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
027 運行在YARN上的MapReduce程序相關(guān)日志（應(yīng)用日志和Container日志） ? ? ? ? ? ?
028 啟用運行在YARN上應(yīng)用程序日志聚合功能和MapReduce Uber模式 ? ? ? ? ? ? ? ??
029 Hadoop 2.x分布式安裝部署環(huán)境準(zhǔn)備之克隆虛擬機和配置主機名與IP地址 ? ? ? ? ? ? ? ?
030 Hadoop 2.x分布式安裝部署環(huán)境準(zhǔn)備之集群hosts映射配置和時間同步配置 ? ? ? ? ? ? ?
031 Hadoop 2.x分布式集群安裝部署啟動（基于偽分布式進行） ? ? ? ? ? ? ? ? ? ? ??
032 Hadoop 2.x分布式安裝部署之集群部署的基本測試驗證和基準(zhǔn)測試（集群性能和Hadoop 2.x性能）?
033 Hadoop 2.x分布式安裝部署之配置HDFS與YARN的主節(jié)點到從節(jié)點的SSH無密鑰登陸、解決問題 ??
034 YARN中的Web Application Proxy講解 ? ? ? ? ? ? ? ? ? ? ? ??
035 閱讀講解Hadoop 2.x官方文檔集群如何安裝和CLI MiniCluster講解 ? ? ? ? ? ?
036 如何增加和卸載集群節(jié)點、卸載HDFS的DataNode節(jié)點 ? ? ? ? ? ? ? ? ? ? ? ??
037 卸載YARN的NodeManager節(jié)點和集群增加節(jié)點講解 ? ? ? ? ? ? ? ? ? ? ? ??
038 企業(yè)級Hadoop 2.x中HDFS、YRAN的架構(gòu)設(shè)計和MR運行流程圖預(yù)覽 ?
? ? ? ? ? ? ?
模塊二、分布式文件系統(tǒng)HDFS
039 分布式文件系統(tǒng)架構(gòu)之一設(shè)計目標(biāo)和架構(gòu)講解一 ? ? ? ? ? ? ? ? ? ? ? ?
040 分布式文件系統(tǒng)架構(gòu)之二架構(gòu)設(shè)計NameNode和DataNode詳解 ? ? ? ? ??
041 分布式文件系統(tǒng)架構(gòu)之三塊Block的存放策略和垃圾回收 ?
042 分布式文件系統(tǒng)架構(gòu)之四NameNode啟動過程詳解 ? ? ? ? ? ? ? ? ? ?
043 分布式文件系統(tǒng)架構(gòu)之五NameNode啟動過程中安全模式詳解 ? ? ? ? ? ? ??
044 分布式文件系統(tǒng)架構(gòu)之六使用oiv和oev查看NameNode的fsimage和edits文件內(nèi)容?
045 分布式文件系統(tǒng)架構(gòu)之七SecondaryNameNode功能詳解 ? ? ? ? ? ??
046 分布式文件系統(tǒng)架構(gòu)之八如何使用SNN恢復(fù)NN ? ? ? ? ? ? ? ? ? ? ??
047 HDFS Shell 命令使用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ?
048 HDFS 管理命令講解和使用Eclipse創(chuàng)建Maven工程 ? ? ? ? ? ? ??
049 ?使用HDFS URL API詳解和查看IOUtils源碼 ? ? ? ? ? ? ? ?
050 使用HDFS FS API詳解之一多種方式獲取FileSystem實例 ? ? ? ? ?
051 使用HDFS FS API詳解之二偽裝用戶方式操作HDFS和向HDFS上寫文件 ? ? ?
052 使用HDFS FS API詳解之三獲取文件的存儲信息和集群DataNodes信息以及其他操 ? ?
053 使用HDFS FS API詳解之四遠(yuǎn)程Debug調(diào)試跟蹤程序 ? ? ? ? ? ? ??
054 使用HDFS FS API詳解之五本地文件系統(tǒng)LocalFileSystem講解和百度網(wǎng)盤功能講?
055 深入講解HDFS客戶端配0置和配置信息分類 ? ? ? ? ? ? ? ? ? ? ? ? ?
056 HDFS應(yīng)用案例講解之需求說明分析 ? ? ? ? ? ? ? ? ? ? ? ? ? ??
057 HDFS應(yīng)用案例講解之編碼實現(xiàn)與測試說明該 ? ? ? ? ? ? ? ? ? ? ? ??
058 Hadoop 2.x底層通訊協(xié)議RPC講解和編程實現(xiàn)遠(yuǎn)程過程調(diào)用 ? ? ? ? ? ? ?
059 HDFS各守護進程之間通信的RPC協(xié)議和如何調(diào)式讀取文件內(nèi)容 ? ? ? ? ? ? ? ?
060 Hadoop 2.x源碼遠(yuǎn)程調(diào)試兩種方式講解和如何使用打印日志進行調(diào)試 ? ? ? ? ?
061 使用Eclipse進行對Hadoop 2.x源碼進行遠(yuǎn)程調(diào)試（查看NameNode啟動過程）
?
模塊三、分布式資源管理框架YARN
062 云計算與大數(shù)據(jù)Hadoop關(guān)系、Hadoop 1.x與Hadoop 2.x比較
063 分布式資源管理框架YARN功能詳解 ? ? ? ? ? ? ? ? ? ?
064 YARN架構(gòu)組件詳解、通信協(xié)議講解和以YARN為核心的生態(tài)系統(tǒng) ? ? ?
065 YARN監(jiān)控界面詳解（YARN如何管理監(jiān)控集群資源） ? ? ? ? ??
066 企業(yè)測試機配置說明、如何對節(jié)點資源進行配置管理 ? ? ? ? ? ? ?
067 YARN對集群資源（內(nèi)存和CPU）管理與隔離講解 ? ? ? ? ? ??
068 YARN命令使用講解、YARN的工作流程講解? ?
069 YARN中應(yīng)用歷史服務(wù)TimelineServer配置講解 ? ? ? ?
070 國內(nèi)外主要的Hadoop 2.x相關(guān)的幾大發(fā)行版本講解（CDH，HDP等）
?
模塊四、分布式計算框架MapReduce
071 企業(yè)大數(shù)據(jù)應(yīng)用和MapReduce編程模型講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
072 MapReduce思想原理和如何在YARN上運行 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
073 分析WordCount程序執(zhí)行流程以及編寫MapReduce八股文格式 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
074 以【八股文格式】編寫WordCount程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
075 優(yōu)化WordCount程序（實現(xiàn)Tool接口）以及總結(jié)如何編寫MapReduce程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
076 MapReduce程序中如何自定義計數(shù)器和WordCount程序中優(yōu)化注意事項 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
077 MapReduce程序默認(rèn)情況下如何對輸入文件進行讀取和輸出文件進行寫入 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
078 在Linux系統(tǒng)下使用Eclipse開發(fā)測試MapReduce程序 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
079 如何編譯Win7下Hadoop 2.x插件和配置運行使用 ? ? ? ? ? ? ? ? ?
080 不同模式下運行的Counters、如何從YARN監(jiān)控頁面查詢以運行MapReduce程序及MapReduce Shuffle講解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
081 MapReduce Shuffle畫圖講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
082 MapReduce Shuffle講解三 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
083 如何在MapReduce程序中設(shè)置Shuffle階段的五大要點以及MapReduce程序可以沒有Reduce類測試講解 ? ? ? ? ? ? ? ? ? ?
084 如何設(shè)置MapReduce Job中Reduce Task數(shù)量及總體把握MapReduce 框架運行過程 ? ? ? ? ? ? ? ? ? ? ? ? ??
085 通過跟蹤源碼分析MapReduce提交Job的過程
086 MapReduce Job運行時如何計算Map Task個數(shù)（計算InputSplit） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
087 MapReduce Job提交的兩種運行方式源碼分析及Mapper和Reducer類分析講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
088 依據(jù)基類Mapper和Reducer編寫MapReduce編程模板 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
089 小配置MapReduce Job、MapReduce的默認(rèn)配置（源碼分析）和修改優(yōu)化MapReduce編程模板 ? ? ? ? ? ? ? ? ? ? ??
090 如何依據(jù)MapReduce模板編寫Job程序并測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
091 MapReduce單元測試框架MRUnit基本使用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
092 使用MRUnit對Mapper、Reducer進行單元測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
093 通過MapReduce自定的數(shù)據(jù)類型源碼分析，如何自定義數(shù)據(jù)類型 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
094 在定義Key的數(shù)據(jù)類型時，如何定義優(yōu)化比較器Comaprator ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
095 編寫自定義數(shù)據(jù)類型Key，實現(xiàn)優(yōu)化比較器Comparator?
096 自定義數(shù)據(jù)類型時注意事項及企業(yè)大數(shù)據(jù)中常用的MapReduce應(yīng)用 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
097 三大運營商業(yè)務(wù)需求及手機流量統(tǒng)計需求分析（原數(shù)據(jù)和業(yè)務(wù)） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
098 依據(jù)業(yè)務(wù)分析實現(xiàn)手機流量統(tǒng)計MapReduce編碼 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
099 編寫MapReduce程序及測試 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
100 MapReduce初級應(yīng)用案例之TopKey講解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
101 MapReduce初級應(yīng)用案例之TopKey講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
102 源碼分析講解MapReduce輸入格式InputFormat ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
103 從源碼和應(yīng)用角度講解常用的InputFormat ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
104 SequenceFileInputFormat應(yīng)用講解和如何自定義InputFormat（解析XML文件） ? ? ? ? ? ? ? ? ? ? ? ??
105 通過源碼和對比講解MapReduce輸出格式OutputFormat及常用的OutputFormat解析 ? ? ? ? ? ? ? ? ? ? ? ? ?
106 MapReduce輸出多個指定的文件MultipleOutputs使用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
107 MapReduce Shuffle中分區(qū)Partitioner講解（結(jié)合實際案例） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
108 MapReduce Shuffle中合并Combiner講解（功能、實際應(yīng)用） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
109 MapReduce Shuffle中Key的比較器講解RawComparator以及通過實際應(yīng)用引出二次排序 ? ? ? ? ? ? ? ? ? ? ? ?
110 依據(jù)需求實現(xiàn)key相同時對value進行排序，使用二次排序?qū)崿F(xiàn)（自定義數(shù)據(jù)類型key，分組比較器等） ? ? ? ? ? ? ? ? ? ? ? ? ? ?
111 二次排序案例的優(yōu)化（自定義分區(qū)和整數(shù)字節(jié)比較時的注意事項） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
112 MapReduce編程優(yōu)化之一配置參數(shù)的幾種設(shè)置方式及優(yōu)先級 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
113 MapReduce編程優(yōu)化之二MapReduce中的Compression ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
114 MapReduce編程優(yōu)化之三分布式緩存DistributedCache使用講解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
115 MapReduce編程優(yōu)化之三分布式緩存DistributedCache使用講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
116 MapReduce編程優(yōu)化之四MapReduce 舊API的區(qū)別與使用講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
117 MapReduce編程優(yōu)化之五MapReduce多任務(wù)依賴（ControlledJob和JobControl） ? ? ? ? ? ? ? ? ? ? ??
118 MapReduce編程優(yōu)化之六鏈?zhǔn)組apper的使用ChainMapper和ChainReducer ? ? ? ? ? ? ? ? ? ? ? ? ? ?
119 MapReduce編程優(yōu)化之七MapReduce Join算法講解一 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
120 MapReduce編程優(yōu)化之七MapReduce Join算法講解二 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
121 MapReduce編程優(yōu)化之八小文件處理幾種方式講解 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
122 MapReduce編程優(yōu)化之九MapReduce Shuffle階段的配置調(diào)優(yōu)以及Hadoop1.x的MR程序運行在Hadoop 2.x上的注意事項 ? ? ?
? ? ? ? ? ? ? ? ? ? ??
.png)
合作伙伴與授權(quán)機構(gòu)
shuhaipeixun
1299983702
總部李老師
