1、培訓(xùn)過(guò)程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽(tīng)；
       2、課程完成后,授課老師留給學(xué)員手機(jī)和Email,保障培訓(xùn)效果,免費(fèi)提供半年的技術(shù)支持。
       3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書(shū)，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓(xùn)15年，端海學(xué)員的能力得到大家的認(rèn)同，受到用人單位的廣泛贊譽(yù)，端海的證書(shū)受到廣泛認(rèn)可。

• 培訓(xùn)特色
  系統(tǒng)的講解Hadoop及主要周邊生態(tài)的基本原理，安裝，部署，維護(hù)及開(kāi)發(fā)。偏重于部署維護(hù)方向，中間會(huì)對(duì)Linux，網(wǎng)絡(luò)，服務(wù)器硬件Raid等進(jìn)行系統(tǒng)的學(xué)習(xí)和了解。力求讓學(xué)員全方位掌握Hadoop及相關(guān)的其他知識(shí)。了解Hadoop各生態(tài)的特點(diǎn)和應(yīng)用場(chǎng)景。
• 目標(biāo)收益
  可獨(dú)立完成Hadoop的部署，運(yùn)維，監(jiān)控及故障處理。獨(dú)立完成整體Hadoop從網(wǎng)絡(luò)到軟件層面的架構(gòu)設(shè)計(jì)，Hadoop及周邊生態(tài)的性能優(yōu)化。
• 培訓(xùn)對(duì)象
• 開(kāi)始對(duì)Hadoop感興趣或已使用Hadoop，希望進(jìn)行性能調(diào)優(yōu)或架構(gòu)優(yōu)化。
• 學(xué)員基礎(chǔ)
• 需具備基本Linux操作系統(tǒng)安裝及常規(guī)命令行操作知識(shí)。
• 課程大綱
  
• 主題 內(nèi)容
  Hadoop在云計(jì)算技術(shù)的作用和地位
• 傳統(tǒng)大規(guī)模數(shù)據(jù)分析存在的問(wèn)題
  Hadoop概述
  Hadoop與分布式文件系統(tǒng)
  MapReduce的工作原理與機(jī)制
  Hadoop集群剖析
  Hadoop生態(tài)系統(tǒng)
  Hadoop的行業(yè)應(yīng)用案例分析
  Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
  案例演示：阿里集團(tuán)技術(shù)平臺(tái)，Hadoop在淘寶、支付寶的作用
  電商眼中的Hadoop和推薦系統(tǒng)。
  暴風(fēng)數(shù)據(jù)平臺(tái)：Hadoop對(duì)于產(chǎn)品優(yōu)化的價(jià)值。
  Hadoop對(duì)于趣游、熱酷等游戲公司的作用
  移動(dòng)大云項(xiàng)目(big cloud)中的Hadoop
  聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問(wèn)題。
• Hadoop參數(shù)調(diào)優(yōu)
• 選擇適合hadoop的硬件配置
  Hadoop配置項(xiàng)優(yōu)化
  Hadoop配置優(yōu)化 - core-site.xml
  Hadoop配置優(yōu)化 - HDFS
  Hadoop配置優(yōu)化 - hdfs-site.xml
  Hadoop配置優(yōu)化 - mapred-site.xml
  Hadoop配置優(yōu)化 - 機(jī)架感知
  網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
  系統(tǒng)參數(shù)調(diào)優(yōu)
  配置文件管理
  嚴(yán)格控制root權(quán)限
  Java的GC模式
  選擇正確的JDK
  hadoop作業(yè)調(diào)優(yōu)
  Map side tuning設(shè)置
  Map side設(shè)置
  Linux操作系統(tǒng)優(yōu)化
  其他配置和參數(shù)調(diào)優(yōu)
  core-default.xml，
  hdfs-default.xml，
  mapred-default.xml。
  mapred-site.xml
  mapred.tasktracker.map.tasks.maximum
  mapred.reduce.slowstart.completed.maps
  mapred.fairscheduler.preemption
  mapred.jobtracker.completeuserjobs.maximum
  mapred.jobtracker.update.faulty.tracker.interval
  mapred.jobtracker.max.blacklist.percent
  案例演示：Hadoop硬件優(yōu)化
  不是所有的硬件都合適拿來(lái)直接使用
  安裝調(diào)優(yōu)的第一步服務(wù)器硬件的選型的竅門
  如何選擇適合業(yè)務(wù)使用的CPU
  內(nèi)存越大越好嗎？設(shè)置合理的的內(nèi)存配置
  連接網(wǎng)絡(luò)的選擇和優(yōu)化
  高速硬盤(pán)的選擇注意事項(xiàng)
  硬盤(pán)為什么不做raid？
  設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)
  中間結(jié)果壓縮對(duì)磁盤(pán)和網(wǎng)絡(luò)的優(yōu)化
  機(jī)架感知，網(wǎng)絡(luò)和磁盤(pán)IO優(yōu)化作用，確定存儲(chǔ)的具體位置，
  內(nèi)存參數(shù)，map/reduce槽位數(shù)的計(jì)算方法。
  對(duì)磁盤(pán)和網(wǎng)絡(luò)的優(yōu)化
  Java工具使用，jstack使用
  Sun和open之間的區(qū)別，JIT編譯器的使用
  inux系統(tǒng)參數(shù)調(diào)優(yōu)
  Linux監(jiān)控系統(tǒng)的使用
  cacti,
  ganglia
  常用的linux排錯(cuò)工具lsof,strace,iostat,vmstat,netstat...
  常見(jiàn)異常現(xiàn)象級(jí)處理方法
  網(wǎng)卡流量導(dǎo)致連接失敗
  權(quán)限錯(cuò)誤
  主機(jī)名IP轉(zhuǎn)換錯(cuò)誤
  NN與DN namespaceID不一致
  磁盤(pán)滿導(dǎo)致報(bào)錯(cuò)
  Jave heap size OOM
• 精彩案例及故障解決方法解析
• 案例一：namenode被重新格式化，datanode無(wú)法連接
  現(xiàn)象：namenode 中的namespaceID與datanode中的namespaceID不一致
  案例二：硬盤(pán)損壞
  現(xiàn)象：磁盤(pán)損壞導(dǎo)致datanode宕機(jī)
  案例三：錯(cuò)誤用戶啟動(dòng)hadoop
  現(xiàn)象：datanode啟動(dòng)一段時(shí)間后宕機(jī)
  案例四：tasktracker重啟后假死
  現(xiàn)象：無(wú)報(bào)錯(cuò)，但tasktracker不工作。
  案例五：jobtracker無(wú)故宕機(jī)
  現(xiàn)象：運(yùn)行過(guò)程中jobtracker宕機(jī)
  案例六：datanode無(wú)法注冊(cè)到namenode
  現(xiàn)象：datanode啟動(dòng)后到MBean這步掛起不再繼續(xù)。
  案例七：tasktracker無(wú)法啟動(dòng)，報(bào)權(quán)限錯(cuò)誤
  現(xiàn)象：tasktracker報(bào)文件夾創(chuàng)建的權(quán)限錯(cuò)誤后直接退出。
  案例八：主機(jī)名設(shè)置錯(cuò)誤
  現(xiàn)象：datanode 和tasktracker無(wú)法正常工作
• Hadoop組件詳解
• Hadoop HDFS 基本結(jié)構(gòu)
  Hadoop HDFS 副本存放策略
  Hadoop NameNode 詳解
  Hadoop SecondaryNameNode 詳解
  Hadoop DataNode 詳解
  Hadoop JobTracker 詳解
  Hadoop TaskTracker 詳解
  案例演示：Hadoop Mapper類核心代碼
  Hadoop Reduce類核心代碼
  Hadoop 核心代碼
• Hadoop安裝和部署
• Hadoop系統(tǒng)模塊組件概述
  Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
  Hadoop 安裝依賴關(guān)系
  Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)
  Hadoop集群部署
  Hadoop 高可用配置方法
  Hadoop 集群簡(jiǎn)單測(cè)試方法
  Hadoop 集群異常Debug方法
  案例演示：Hadoop安裝部署實(shí)驗(yàn)
  Red hat Linux基礎(chǔ)環(huán)境搭建
  Hadoop 單機(jī)系統(tǒng)版本安裝配置
  Hadoop 集群系統(tǒng)版本安裝和啟動(dòng)配置
  使用 Hadoop MapReduce Streaming 快速測(cè)試系統(tǒng)
  Hadoopcore-site，hdfs-site，mapred-site 配置詳解
• Hadoop和傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)優(yōu)劣勢(shì)對(duì)比
• Hadoop/Hive 對(duì)比 Oracle 在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)上的優(yōu)劣勢(shì)
  Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來(lái)不可能的任務(wù)
  案例演示：Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
• 編寫(xiě)MapReduce高級(jí)程序
• 使用 Hadoop MapReduce Streaming 編程
  MapReduce流程
  剖析一個(gè)MapReduce程序
  基本MapReduceAPI 概念
  驅(qū)動(dòng)代碼 Mapper、Reducer
  Hadoop流
  API 使用Eclipse進(jìn)行快速開(kāi)發(fā)
  新MapReduce API
  MapReduce的優(yōu)化
  MapReduce的任務(wù)調(diào)度
  MapReduce編程實(shí)戰(zhàn)
  如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apache Pig，Sqoop和Oozie等
  滿足解決實(shí)際數(shù)據(jù)分析問(wèn)題的高級(jí)Hadoop API
  案例演示：Hadoop Streaming 和 Java MapReduce Api 差異。
  MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能
  利用Combiners來(lái)減少中間數(shù)據(jù)
  編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
  直接訪問(wèn)Hadoop分布式文件系統(tǒng)（HDFS）
  Hadoop的join操作
  輔助排序在Reducer方的合并
  定制Writables和WritableComparables
  使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù)
  創(chuàng)建InputFormats OutputFormats
  Hadoop的二次排序
  Hadoop的海量日志分析
  在Map方的合并
• 精彩案例及故障解決方法解析
• 案例一：控制map & reduce個(gè)數(shù)
  現(xiàn)象：map個(gè)數(shù)取決于split個(gè)數(shù)，如果源文件使用壓縮存儲(chǔ)，則不可分割，一個(gè)文件一個(gè)map。非壓縮文件使用默認(rèn)block.size進(jìn)行切分。對(duì)reduce因?yàn)槭侵虚g數(shù)據(jù)，可以控制reduce數(shù)量。
  案例二：壓縮中間數(shù)據(jù)
  現(xiàn)象：job中間臨時(shí)數(shù)據(jù)量級(jí)大、網(wǎng)絡(luò)IO吞吐量大。
  案例三：編程細(xì)節(jié)，內(nèi)存溢出
  現(xiàn)象：編程過(guò)程中，經(jīng)常遇到list、map、倒排表等大對(duì)象，如果作為局部變量，每次調(diào)用map或者reduce方法都初始化這些變量，很容易消耗掉JVM堆內(nèi)存，出現(xiàn)內(nèi)存溢出異常。
  案例四：編程細(xì)節(jié)，計(jì)數(shù)&日志打印
  現(xiàn)象： System.out.println, System.err.println等日志打印過(guò)多會(huì)嚴(yán)重影響job性能，counter計(jì)數(shù)也會(huì)存在同樣的問(wèn)題，同時(shí)也會(huì)造成本地磁盤(pán)使用量的急劇增長(zhǎng)。
  案例五： 作業(yè)調(diào)度
  現(xiàn)象：集群上的job非常多時(shí)，會(huì)出現(xiàn)一些job一直等待，很長(zhǎng)一段時(shí)間內(nèi)沒(méi)有開(kāi)始運(yùn)行。默認(rèn)的任務(wù)調(diào)度器FIFO并不能滿足實(shí)際工作應(yīng)用。
  案例六：Combiner優(yōu)化
  現(xiàn)象： map輸出數(shù)據(jù)量非常大，reduce input group遠(yuǎn)小于reduce input group時(shí)，存在大量的網(wǎng)絡(luò)IO，這些IO中的一部分?jǐn)?shù)據(jù)可以在本地做完合并，然后再進(jìn)行reduce操作。
• 使用Hive和Pig開(kāi)發(fā)及技巧
• Hive和Pig基礎(chǔ)
  Hive的作用和原理說(shuō)明
  Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系
  Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
  Hive 部署和安裝
  Hive Cli 的基本用法
  HQL基本語(yǔ)法
  使用Oozie的動(dòng)機(jī)
  Oozie工作流定義格式
  案例演示：使用JDBC 連接Hive進(jìn)行查詢和分析
  使用正則表達(dá)式加載數(shù)據(jù)
  HQL高級(jí)語(yǔ)法
  編寫(xiě)UDF函數(shù)
  編寫(xiě)UDAF自定義函數(shù)
  使用Sqoop進(jìn)行數(shù)據(jù)分析
  使用oozie配置工作流
  phpHiveAdmin 安裝和使用