大數(shù)據(jù)處理技術(shù)—基于Hadoop的實(shí)戰(zhàn)課程培訓(xùn)
培訓(xùn)內(nèi)容：
本課程從大數(shù)據(jù)技術(shù)以及Hadoop實(shí)戰(zhàn)的角度，結(jié)合理論和實(shí)踐，全方位地介紹Hadoop這一高性能處理大數(shù)據(jù)工具的開發(fā)技巧。本課程涉及的主題包括：Hadoop分布式文件系統(tǒng)及Hadoop的I/O；MapReduce的的工作機(jī)制、類型和格式；如何構(gòu)建和管理Hadoop集群；Pig?Latin語言的使用技巧；Hive數(shù)據(jù)倉庫工具介紹；HBase和Zookeeper工具的使用和管理
；開源數(shù)據(jù)采集工具sqoop。????
? 教學(xué)過程中提供案例分析幫助學(xué)員了解如何用Hadoop系列工具來解決具體的問題，并介紹從大數(shù)據(jù)中挖掘出有價(jià)值的信息的關(guān)鍵技術(shù)。本課程是一個(gè)針對(duì)問題討論解決方案的深入課程。教師對(duì)于上述領(lǐng)域有深入的理論研究與實(shí)踐經(jīng)驗(yàn)，在課程中將會(huì)針對(duì)這些問題與學(xué)員一起進(jìn)行研究，在關(guān)鍵點(diǎn)上還會(huì)搭建實(shí)驗(yàn)環(huán)境進(jìn)行實(shí)踐研究，以加深對(duì)于這些解決方案的理解。?
培訓(xùn)目標(biāo)?
1,?全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識(shí)。?
2，學(xué)習(xí)Hadoop的核心技術(shù)方法以及應(yīng)用特征。?
3，深入使用Hadoop相關(guān)工具在大數(shù)據(jù)中的使用。??
4，掌握傳統(tǒng)數(shù)據(jù)中心向云計(jì)算中心轉(zhuǎn)換的關(guān)鍵技術(shù)。?
課程大綱
???? 第一講?云計(jì)算及大數(shù)據(jù)處理技術(shù)介紹
1）云計(jì)算的概念
2）云計(jì)算發(fā)展現(xiàn)狀
3）大數(shù)據(jù)的概念
4）大數(shù)據(jù)的應(yīng)用
5）大數(shù)據(jù)關(guān)鍵技術(shù)第二講?Google中的關(guān)鍵技術(shù)
1）GFS文件系統(tǒng)?
2）Chubby中的Paxos算法
3）MapReduce技術(shù)機(jī)制?
4）Bigtable表管理技術(shù)?第三講?Hadoop文件系統(tǒng)HDFS及其文件結(jié)構(gòu)
1）?Hadoop項(xiàng)目簡(jiǎn)介
2）?HDFS體系結(jié)構(gòu)
3）?HDFS關(guān)鍵運(yùn)行機(jī)制
4）?Hadoop?vs?Google
5）?Hadoop?API????第四講?MapReduce編程模型及其應(yīng)用開發(fā)
1)MapReduce產(chǎn)生背景?
2)MapReduce編程模型?
3)MapReduce實(shí)現(xiàn)機(jī)制?
4)MapReduce案例分析?第五講?Pig?Latin及其使用
1）Pig?設(shè)計(jì)的目標(biāo)
2）Pig?Latine介紹?
3）Pig關(guān)鍵性技術(shù)
4）Pig的實(shí)用案例第六講?數(shù)據(jù)倉庫Hive使用
1)Hive設(shè)計(jì)目標(biāo)
2)Hive數(shù)據(jù)模型?
3)Hive關(guān)鍵性技術(shù)?
4)Hive的使用案例第七講?HBase和ZooKeeper使用
1）?Hbase運(yùn)行機(jī)制簡(jiǎn)介
2）?HBase與?HDFS
3）?HBase的對(duì)外接口
4）?ZooKeeper的數(shù)據(jù)模型
5）?ZooKeeper的讀寫機(jī)制
6）?ZooKeeper的使用方法第八講?數(shù)據(jù)抽取工具Sqoop使用
1）數(shù)據(jù)抽取技術(shù)介紹
2）Sqoop中的關(guān)鍵技術(shù)
3）Sqoop數(shù)據(jù)抽取策略
4）數(shù)據(jù)挖掘及分析第九講?當(dāng)前數(shù)據(jù)中心的改造和轉(zhuǎn)換分析
1）主流商業(yè)大數(shù)據(jù)解決方案比較?
2）主流開源云計(jì)算系統(tǒng)比較??
3）國(guó)內(nèi)代表性大數(shù)據(jù)平臺(tái)比較??第十講?各廠商最新的大數(shù)據(jù)產(chǎn)品介紹
1）IBM的大數(shù)據(jù)技術(shù)
2）HP的大數(shù)據(jù)技術(shù)
3）Teradata的大數(shù)據(jù)技術(shù)
4）其它廠商的大數(shù)據(jù)處理
課程對(duì)象
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開發(fā)人員。?
2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。?
3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。?
4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。?學(xué)員基礎(chǔ)?
5，對(duì)IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。?
6，有一定的數(shù)據(jù)倉庫與大數(shù)據(jù)處理的基礎(chǔ)知識(shí)