1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
        2、課程完成后,授課老師留給學(xué)員手機(jī)和Email,保障培訓(xùn)效果,免費(fèi)提供半年的技術(shù)支持。
        3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。

大數(shù)據(jù)技術(shù)基礎(chǔ)

1. 大數(shù)據(jù)的產(chǎn)生背景與發(fā)展歷程

2. 大數(shù)據(jù)的4V特征，以及與云計(jì)算的關(guān)系

3. 大數(shù)據(jù)應(yīng)用需求以及潛在價(jià)值分析

4. 業(yè)界蕞新的大數(shù)據(jù)技術(shù)發(fā)展態(tài)勢(shì)與應(yīng)用趨勢(shì)

5. 大數(shù)據(jù)思維的轉(zhuǎn)變

6. 大數(shù)據(jù)項(xiàng)目的系統(tǒng)與技術(shù)選型，及落地實(shí)施的挑戰(zhàn)

7. “互聯(lián)網(wǎng)+”時(shí)代下的電子商務(wù)、制造業(yè)、交通行業(yè)、電信運(yùn)營商、銀行金融業(yè)、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)應(yīng)用實(shí)踐與應(yīng)用案例介紹

業(yè)界主流的大數(shù)據(jù)技術(shù)方案

1. 大數(shù)據(jù)軟硬件系統(tǒng)全棧與關(guān)鍵技術(shù)介紹

2. 大數(shù)據(jù)生態(tài)系統(tǒng)全景圖

3. 主流的大數(shù)據(jù)解決方案介紹

4. Apache大數(shù)據(jù)平臺(tái)方案剖析

5. CDH大數(shù)據(jù)平臺(tái)方案剖析

6. HDP大數(shù)據(jù)平臺(tái)方案剖析

7. 基于云的大數(shù)據(jù)平臺(tái)方案剖析

8. 大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案比較

9. 國內(nèi)外大數(shù)據(jù)平臺(tái)方案與廠商對(duì)比

大數(shù)據(jù)計(jì)算模型（一）——批處理MapReduce

1. MapReduce產(chǎn)生背景與適用場景

2. MapReduce計(jì)算模型的基本原理

3. MapReduce作業(yè)執(zhí)行流程

4. MapReduce編程模型: Map處理和Reduce處理

5. MapReduce處理流程：數(shù)據(jù)讀取collect、中間數(shù)據(jù)sort、中間數(shù)據(jù)spill、中間數(shù)據(jù)shuffle、聚合分析reduce

6. MapReduce開發(fā)高級(jí)應(yīng)用：Combiner技術(shù)與應(yīng)用場景、Partitioner技術(shù)與應(yīng)用場景、多Reducers應(yīng)用

7. MapReduce開發(fā)與應(yīng)用實(shí)戰(zhàn)：Hadoop平臺(tái)搭建與運(yùn)行；MapReduce安裝與部署；

8. 應(yīng)用案例：基于HDFS+MapReduce集成的服務(wù)器日志分析采集、存儲(chǔ)與分析MapReduce程序?qū)嵗_發(fā)與運(yùn)行

9. MapReduce參數(shù)調(diào)優(yōu)與性能優(yōu)化技巧

大數(shù)據(jù)存儲(chǔ)系統(tǒng)與應(yīng)用實(shí)踐

1. 分布式文件系統(tǒng)HDFS產(chǎn)生背景與適用場景

2. HDFS master-slave系統(tǒng)架構(gòu)與讀寫工作原理

3. HDFS核心組件技術(shù)講解，NameNode與fsimage、editslog，DataNode與數(shù)據(jù)塊

4. HDFS Federation機(jī)制，viewfs機(jī)制，使用場景講解

5. HDFS高可用保證機(jī)制，SecondaryNameNode，NFS冷備份，基于zookeeper的HA方案

6. HDFS參數(shù)調(diào)優(yōu)與性能優(yōu)化

大數(shù)據(jù)實(shí)戰(zhàn)練習(xí)一

1. Hadoop平臺(tái)搭建、部署與應(yīng)用實(shí)踐，包含HDFS分布式文件系統(tǒng)，YARN資源管理軟件，MapReduce計(jì)算框架軟件

2. HDFS 文件、目錄創(chuàng)建、上傳、下載等命令操作，HDFS合并、歸檔操作，HDFS監(jiān)控平臺(tái)使用

3. MapReduce程序在YARN上運(yùn)行，YARN監(jiān)控平臺(tái)使用

Hadoop框架與生態(tài)發(fā)展，以及應(yīng)用實(shí)踐操作

1. Hadoop的發(fā)展歷程

2. Hadoop 1.0的核心組件JobTracker，TaskTracker，以及適用范圍

3. Hadoop 2.0的核心組件YARN工作原理，以及與Hadoop 1.0的聯(lián)系與區(qū)別

4. Hadoop關(guān)鍵機(jī)制：任務(wù)推測執(zhí)行，任務(wù)容錯(cuò)，任務(wù)選擇執(zhí)行，心跳機(jī)制

5. Hadoop YARN的資源管理與作業(yè)調(diào)度機(jī)制：FIFO調(diào)度，Capacity調(diào)度器，F(xiàn)air調(diào)度器

6. Hadoop 常用參數(shù)調(diào)優(yōu)與性能優(yōu)化技術(shù)

大數(shù)據(jù)計(jì)算模型（二）——實(shí)時(shí)處理/內(nèi)存計(jì)算 Spark

1. MapReduce計(jì)算模型的瓶頸

2. Spark產(chǎn)生動(dòng)機(jī)、基本概念與適用場景

3. Spark編程模型與RDD彈性分布式數(shù)據(jù)集的工作原理與機(jī)制

4. Spark實(shí)時(shí)處理平臺(tái)運(yùn)行架構(gòu)與核心組件

5. Spark RDD主要Transformation：map, flatMap, filter, union, sample, join, reduceByKey, groupByKey

6. Spark RDD主要action：count，collect，reduce，saveAsTextFile

7. Spark寬、窄依賴關(guān)系與DAG圖分析

8. Spark容錯(cuò)機(jī)制

9. Spark作業(yè)調(diào)度機(jī)制

10. Spark緩存機(jī)制：Cache操作，Persist操作與存儲(chǔ)級(jí)別

11. Spark作業(yè)執(zhí)行機(jī)制：執(zhí)行DAG圖、任務(wù)集、executor執(zhí)行模型、 BlockManager管理

12. Spark standardalone，Spark on YARN運(yùn)行模式

13. Scala開發(fā)介紹與Spark常用Transformation函數(shù)介紹

14. Spark調(diào)優(yōu)：序列化機(jī)制、RDD復(fù)用、Broadcast機(jī)制、高性能算子、資源參數(shù)調(diào)優(yōu)

大數(shù)據(jù)倉庫查詢技術(shù)Hive、SparkSQL、Impala，以及應(yīng)用實(shí)踐

1. 基于MapReduce的大型分布式數(shù)據(jù)倉庫Hive基礎(chǔ)知識(shí)與應(yīng)用場景

2. Hive數(shù)據(jù)倉庫的平臺(tái)架構(gòu)與核心技術(shù)剖析

3. Hive metastore的工作機(jī)制與應(yīng)用

4. Hive內(nèi)部表和外部表

5. Hive 分區(qū)、分桶機(jī)制

6. Hive行、列存儲(chǔ)格式

7. 基于Spark的大型分布式數(shù)據(jù)倉庫SparkSQL基礎(chǔ)知識(shí)與應(yīng)用場景

8. Spark SQL實(shí)時(shí)數(shù)據(jù)倉庫的實(shí)現(xiàn)原理與工作機(jī)制

9. SparkSQL數(shù)據(jù)模型DataFrame

10. SparkSQL程序開發(fā)與

11. SparkSQL數(shù)據(jù)讀取與結(jié)果保存：json，Hive table，Parquet file，RDD

12. SparkSQL和Hive的區(qū)別與聯(lián)系

13. SparkSQL操作實(shí)戰(zhàn)

14. 基于MPP的大型分布式數(shù)據(jù)倉庫Impala基礎(chǔ)知識(shí)與應(yīng)用場景

15. Impala實(shí)時(shí)查詢系統(tǒng)平臺(tái)架構(gòu)、關(guān)鍵技術(shù)介紹，以及與Hive，SparkSQL的對(duì)比

Hadoop集群運(yùn)維監(jiān)控工具

1. Hadoop運(yùn)維管理監(jiān)控系統(tǒng)Ambari工具介紹

2. 第三方運(yùn)維系統(tǒng)與工具Ganglia, Nagios

大數(shù)據(jù)實(shí)戰(zhàn)練習(xí)二

1. 基于 Hadoop平臺(tái)搭建、部署與配置Spark集群，Spark shell環(huán)境實(shí)踐操作，Spark案例程序分析

2. 基于sbt的Spark程序編譯、開發(fā)與提交運(yùn)行

3. 應(yīng)用案例一：基于Spark的服務(wù)器運(yùn)行日志TopN分析、程序?qū)嵗_發(fā)

4. 應(yīng)用案例二： 基于Spark的搜索引擎日志熱詞與用戶分析、程序?qū)嵗_發(fā)

5. 基于MapReduce的Hive數(shù)據(jù)倉庫實(shí)踐，Hive集群安裝部署，基于文件的Hive數(shù)據(jù)倉庫表導(dǎo)入導(dǎo)出與分區(qū)操作，Hive SQL操作，Hive客戶端操作

6. SparkSQL shell實(shí)踐操作：數(shù)據(jù)表讀取、查詢與結(jié)果保存

大數(shù)據(jù)計(jì)算模型（三）——流處理Storm, SparkStreaming

1. 流數(shù)據(jù)處理應(yīng)用場景與流數(shù)據(jù)處理的特點(diǎn)

2. 流數(shù)據(jù)處理工具Storm的平臺(tái)架構(gòu)與集群工作原理

3. Storm關(guān)鍵技術(shù)與并發(fā)機(jī)制

4. Storm編程模型與基本開發(fā)模式

5. Storm數(shù)據(jù)流分組

6. Storm可靠性保證與Acker機(jī)制

7. Storm應(yīng)用案例分析

8. 流數(shù)據(jù)處理工具Spark Streaming基本概念與數(shù)據(jù)模型

9. SparkStreaming工作機(jī)制

10. SparkStreaming程序開發(fā)介紹

11. SparkStreaming的全局統(tǒng)計(jì)和窗口函數(shù)

12. Storm與SparkStreaming的對(duì)比

13. SparkStreaming開發(fā)案例：基于文件流的SparkStreaming程序開發(fā)；基于socket消息的SparkStreaming程序開發(fā)

大數(shù)據(jù)與機(jī)器學(xué)習(xí)技術(shù)

1. 機(jī)器學(xué)習(xí)發(fā)展歷程

2. 機(jī)器學(xué)習(xí)與大數(shù)據(jù)關(guān)聯(lián)與區(qū)別

3. 數(shù)據(jù)挖掘經(jīng)典算法

4. 預(yù)測算法：線性回歸與應(yīng)用場景，非線性回歸與應(yīng)用場景

5. 分類算法：邏輯回歸與應(yīng)用場景，決策樹與應(yīng)用場景，樸素貝葉斯算法與應(yīng)用場景，支持向量機(jī)算法與應(yīng)用場景

6. 聚類算法； k-means與應(yīng)用場景

7. 基于Hadoop的大數(shù)據(jù)機(jī)器學(xué)習(xí)技術(shù)

8. 基于MapReduce的機(jī)器學(xué)習(xí)庫Mahout

9. Mahout支持的數(shù)據(jù)挖掘算法

10. Mahout編程模型與發(fā)

11. 基于Spark的機(jī)器學(xué)習(xí)庫Spark MLlib

12. Spark MLlib支持的數(shù)據(jù)挖掘算法

13. Spark MLlib編程模型與開發(fā)：基于Spark MLlib的文本分類，基于Spark MLlib的聚類

大數(shù)據(jù)ETL操作工具，與大數(shù)據(jù)分布式采集系統(tǒng)

1. Hadoop與DBMS之間數(shù)據(jù)交互工具的應(yīng)用

2. Sqoop導(dǎo)入導(dǎo)出數(shù)據(jù)的工作原理

3. Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型與系統(tǒng)架構(gòu)

4. Kafka分布式消息訂閱系統(tǒng)的應(yīng)用介紹與平臺(tái)架構(gòu)，及其使用模式

面向OLTP型應(yīng)用的NoSQL數(shù)據(jù)庫及應(yīng)用實(shí)踐

1. 關(guān)系型數(shù)據(jù)庫瓶頸，以及NoSQL數(shù)據(jù)庫的發(fā)展，概念，分類，及其在半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場景下的適用范圍

2. 列存儲(chǔ)NoSQL數(shù)據(jù)庫HBase簡介與數(shù)據(jù)模型剖析

3. HBase分布式集群系統(tǒng)架構(gòu)與讀寫機(jī)制，ZooKeeper分布式協(xié)調(diào)服務(wù)系統(tǒng)的工作原理與應(yīng)用

4. HBase表設(shè)計(jì)模式與primary key設(shè)計(jì)規(guī)范

5. 文檔NoSQL數(shù)據(jù)庫MongoDB簡介與數(shù)據(jù)模型剖析

6. MongoDB集群模式、讀寫機(jī)制與常用API操作

8.鍵值型NoSQL數(shù)據(jù)庫Redis簡介與數(shù)據(jù)模型剖析

9.Redis多實(shí)例集群架構(gòu)與關(guān)鍵技術(shù)

10.NewSQL數(shù)據(jù)庫技術(shù)簡介及其適用場景

大數(shù)據(jù)實(shí)戰(zhàn)練習(xí)三

1.Sqoop安裝、部署與配置，基于Sqoop、MySQL與Hive操作MySQL數(shù)據(jù)庫與Hive數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入導(dǎo)出

2.Kafka安裝、部署與配置，基于Kafka創(chuàng)建和消費(fèi)topic實(shí)踐操作

3.Flume+HDFS+MapReduce/Spark大數(shù)據(jù)采集、存儲(chǔ)與分析實(shí)踐操作