中文一区二区_九九精品在线播放_久久国产精品免费视频_国内精品在线观看视频

       1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
       2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。
       3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，曙海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，曙海的證書受到廣泛認可。

• 通過培訓您將會：
  深刻理解Hadoop原理與調優
  深刻理解Hive原理掌握程序開發
  深刻理解Hbase 掌握程序開發
  深刻理解Hadoop 日常運維管理
  
  Hadoop和傳統數據庫技術優劣勢對比
  Hadoop/Hive 對比 Oracle 在構建數據倉庫上的優劣勢
  Hadoop 如何和傳統IT系統配合完成原來不可能的任務
  Hadoop版本講解及Hadoop新舊版本使用對比
  案例及實驗
  Apache社區版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
  Hadoop的來源和動機
  傳統大規模系統存在的問題
  Hadoop概述
  Hadoop分布式文件系統
  MapReduce工作原理
  Hadoop集群剖析
  Hadoop生態系統對一種新的解決方案的需求
  Hadoop的行業應用案例分析
  Hadoop在云計算和大數據的位置和關系
  非結構化數據與半結構化數據在大數據中的應用
  案例及實驗
  某銀行數據統一處理平臺，通過Hadoop進行系統優化
  某電信運營商用戶行為分析系統
  某電力行業數據采集大數據分析案例
  聯通使用Hadoop/Hbase解決3G詳單查詢問題。
  Hadoop生態系統介紹和演示
  Hadoop HDFS 和 MapReduce
  Hadoop數據庫之HBase
  HBase架構及如何應用與編程開發相結合
  Hadoop數據倉庫之Hive
  Hive架構及如何應用與編程開發相結合
  Hadoop數據處理腳本Pig
  Pig架構及如何應用與編程開發相結合
  Hadoop數據接口Sqoop和Flume
  Sqoop和Flume架構及如何應用與編程開發相結合
  Hadoop工作流引擎 Oozie
  Oozie架構及如何應用與編程開發相結合
  Hadoop生態系統各模塊應用與編程開發相結合
  案例及實驗
  某銀行如何使用Hadoop統一數據平臺
  手機上網日志分析
  移動GPRS上網日志查詢系統
  國家電網城區用電量分析
  聯通不良信息檢測系統
  電廠海量數據監控分析系統
  某銀行數據統一處理平臺
  海量指紋比對系統
• Hadoop集群調優
  選擇適合hadoop的硬件配置
  Hadoop配置項優化
  Hadoop配置優化 - core-site.xml
  Hadoop配置優化 - hdfs-site.xml
  Hadoop配置優化 - mapred-site.xml
  Hadoop配置優化 - 機架感知
  網絡帶寬參數調優
  系統參數調優
  配置文件管理
  嚴格控制root權限
  Java的GC模式
  選擇正確的JDK
  hadoop作業調優
  Map side tuning設置
  Map side設置
  Linux操作系統優化
  其他配置和參數調優
  案例及實驗
  Hadoop硬件優化
  不是所有的硬件都合適拿來直接使用
  安裝調優的第一步服務器硬件的選型的竅門
  如何選擇適合業務使用的CPU
  內存越大越好嗎？設置合理的的內存配置
  連接網絡的選擇和優化
  高速硬盤的選擇注意事項
  硬盤為什么不做raid？
  設置網絡的注意事項
  中間結果壓縮對磁盤和網絡的優化
  機架感知，網絡和磁盤IO優化作用，確定存儲的具體位置，
  內存參數，map/reduce槽位數的計算方法。
  對磁盤和網絡的優化
  Java工具使用，jstack使用
  Sun和open之間的區別，JIT編譯器的使用
  inux系統參數調優
  Linux監控系統的使用
  cacti,
  ganglia
  常用的linux排錯工具lsof,strace,iostat,vmstat,netstat...
  常見異常現象級處理方法
  網卡流量導致連接失敗
  權限錯誤
  主機名IP轉換錯誤
  NN與DN namespaceID不一致
  磁盤滿導致報錯
  Jave heap size OOM
  Hadoop 2.0
  Hadoop 1.0 存在的問題及現有的解決方案
  Hadoop 2.0 各廠商版本對比
  Apahce and CDH4
  Hadoop 2.0 項目結構解析
  Hadoop 2.0 環境搭建
  Yarn 與MapReduce的不同
  Yarn 原理與架構
  Apache YARN基本框架
  Apache YARN工作流程
  Apache YARN設計細節
  MapReduce與YARN結合
  如何與Yarn來結合
  yarn的優化、資源管理、優先級管理。
  Hadoop 生態系統解析
  Hadoop 小圖檔方案
  Hadoop 2.0 HDFS 運維管理
  丟失block的情況分析
  常見的故障排查
• HDFS高級程序實戰演練
  HDFS實戰-命令行等使用
  HDFS命令行工具
  啟動、停止HDFS服務
  如何查看HDFS日志
  如何查看HDFS Web控制臺
  HDFS參數配置
  案例及實驗
  HDFS實戰-Java API使用
  Eclipse 開發環境介紹
  HDFS 開發基本步驟
  HDFS Java API詳解
  Configuration
  Path
  FileSystem
  Stream、IOUtils
  Hadoop HDFS HA方案介紹
  Hadoop 1.0 系 HA的一些辦法
  Hadoop 2.0 介紹
• MapReduce高級程序實戰演練
  使用 Hadoop MapReduce Streaming 編程
  MapReduce流程
  剖析一個MapReduce程序
  基本MapReduceAPI 概念
  驅動代碼 Mapper、Reducer
  Hadoop流
  API 使用Eclipse進行快速開發
  新MapReduce API
  MapReduce的優化
  MapReduce的任務調度
  MapReduce編程實戰
  滿足解決實際數據分析問題的高級Hadoop API
  案例及實驗
  Hadoop Streaming 和 Java MapReduce Api 差異。
  MapReduce 實現數據庫功能
  利用Combiners來減少中間數據
  編寫Partitioner來優化負載平衡
  直接訪問Hadoop分布式文件系統（HDFS）
  Hadoop的join操作
  輔助排序在Reducer方的合并
  定制Writables和WritableComparables
  使用SequenceFiles和Avro文件保存二進制數據
  創建InputFormats OutputFormats
  Hadoop的二次排序
  Hadoop的海量日志分析
  在Map方的合并
• Hadoop SQL 接口Hive
  Hive基礎
  Hive的作用和原理說明
  Hadoop倉庫和傳統數據倉庫的協作關系；Hive與傳統數據庫的對接使用
  Hadoop/Hive倉庫數據數據流
  Hive Cli 的基本用法
  HQL基本語法
  自行編寫數據庫與Hadoop相互ETL工具的思路
  案例及實驗
  使用JDBC 連接Hive進行查詢和分析
  使用正則表達式加載數據
  HQL高級語法
  編寫UDF函數
  編寫UDAF自定義函數
  執行嵌套sql的優化
• Hadoop數據庫之HBase及HBase優化
  hbase概念與架構
  hbase核心知識點
  hbase安裝、部署
  HBase配置優化綜述
  表設計優化相關參數
  監控工具使用方法及注意事項
  常見異常現象級處理方法
  案例及實驗
  hot region造成讀請求瓶頸
  region預劃分
  Memstore合并設置的時機選擇
  合并storefile策略設置技巧
  Memstore flush設置時機選擇
  Hbase-env.sh、Single、multi-thread、CMS使用及參數調整
  GC回收垃圾時機、GC日志打印設置
  GC階段，region無法提供服務如何如何處理
  Split時機控制（增大、disable）方法
  CF數量多少對讀寫性能的影響
  自動關閉flush的目的