課程目標：本套教程為真實的大數據實戰案例，適合有大數據基礎的學員學習，熟練掌握本套大數據案例，完全可以勝任企業級的大數據開發。祝愿各位轉型的大數據學子拿到自己理想的收入。

適合人群：適合有經驗的大數據開發人員，學習完大數據的基礎課程，想整合實戰案例的學員。

課程說明

本課程將通過一個真實的企業級云產品項目進行講解，該項目是國內專業的移動應用統計分析平臺，每天觸達14億活躍設備，每月覆蓋80%以上新增手機消費者，幾乎覆蓋全部iOS消費者，通過該項目系統幫助移動應用開發商統計和分析流量來源、內容使用、用戶屬性和行為數據，以便開發商利用數據進行產品、運營、推廣策略的決策。提供基本統計、活躍用戶、使用頻率、使用時長、頁面訪問、地域分析、版本分析、渠道分析、設備分析、操作系統、分辨率、運營商、聯網方式、自定義事件分析、終端異常分析,流失用戶分析等多種統計分析手段。

?

數據統計分析系統架構圖

?

課程所用到的開發環境和用到的技術：

系統：window7，

開發工具是:eclipse，IDEA，

本課程項目是一個綜合項目，技術涵蓋java web，大數據，虛擬化，linux服務器等

具體包含： spring，spark，spark streaming，spark mlib，hive，flume,kafka,hadoop，hbase，mongodb，dubbo,分布式緩存，redis，docker，nginx,easyui，highcharts等等。

此課程是按照真實企業級開發項目流程進行講解，通過學習此課程可以體會到真實的大型大數據項目開發流程，學完此課程可以熟練掌握大數據技術，java web技術，docker虛擬化技術，分布式技術，緩存技術，linux等。

?

（一）項目總體需求分析
1.項目背景

在這個互聯網爆發的時代，移動網絡，移動設備逐漸成為人們的必備品，移動設備的用戶已經達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那么這個運營怎么做呢？要借助大數據的技術，準確分析用戶的行為，這必將會有很大的需求。

2.項目需求

在這個互聯網爆發的時代，移動網絡，移動設備逐漸成為人們的必備品，移動設備的用戶已經達到幾億，可想而知，app必將流行起來，但是每一款app都要運營，達到盈利的目的，那么這個運營怎么做呢，要借助大數據的技術，準確分析用戶的行為，這必將會有很大的需求。急需一個系統幫助各大中小企業快速的分析app用戶的行為，只需要接入提供的sdk，就可以輕松的了解用戶的行為，享受大數據技術帶來的時代變革。通過該產品可以了解到：app的應用趨勢，app的渠道推廣情況，用戶留存情況，用戶的行為分析，用戶屬性分析，應用錯誤分析，用戶數據挖掘，并且需要實時去展示這些分析結果。

3.系統功能

可以查看該app的用戶活躍度，每個時段的新增用戶，app的終端使用分類情況，沉默用戶，和忠誠用戶的統計和查看等。

（二）項目架構設計及技術選型

1.項目整體架構設計

2.軟件選型

（三）項目整體環境搭建

1.機器選型、節點規劃等。

2.集群環境搭建

（四）相關項目內容

1.物理架構，邏輯架構

2.上報數據服務的設計與開發

3.實時處理數據的環境搭建和程序開發

4.日志收集系統設計

5.離線任務的設計和開發

6.高并發，緩存，虛擬化等

?

課程大綱

第1節0、大數據項目說明

第2節1、大數據案例業務術語和使用

第3節2、大數據案例andriod的sdk使用和項目邏輯架構講解

第4節3、大數據案例項目管理工具maven講解

第5節4、大數據案例上報服務代碼編寫1

第6節5、大數據案例上報服務代碼編寫2

第7節6、大數據案例上報服務代碼編寫3

第8節7、大數據案例消息傳輸講解

第9節8、大數據案例消息傳輸講解以及整合代碼編寫

第10節9、大數據案例消息整合上報服務代碼編寫

第11節10、大數據案例流式計算框架選型之storm講解

第12節11、大數據案例流式計算框架選型之storm基礎環境搭建

第13節12、大數據案例流式計算框架選型之storm集群環境搭建

第14節13、大數據案例流式計算框架選型之storm開發講解1

第15節14、大數據案例流式計算框架選型之storm開發講解2

第16節15、大數據案例流式計算框架之spark講解

第17節16、大數據案例流式計算框架之spark代碼講解1

第18節17、大數據案例流式計算框架之spark代碼講解2

第19節18、大數據案例流式計算框架選型說明以及友盟spark代碼整合講解

第20節19、大數據案例spark業務代碼講解

第21節20、大數據案例之kafka集群搭建

第22節21、大數據案例之上報服務和spark streming實時計算服務聯調測試

第23節22、大數據案例存儲引擎之Mongo環境搭建以及增刪改查講解

第24節23、大數據案例存儲引擎之mongo復雜的增刪改查講解

第25節24、大數據案例存儲引擎之mongo聚合以及索引和查詢計劃講解

第26節25、大數據案例存儲引擎之mongo主從復制講解

第27節26、大數據案例存儲引擎之mongo副本集和分片講解

第28節27、大數據案例存儲引擎之mongo代碼講解1

第29節28、大數據案例存儲引擎之mongo代碼講解2

第30節29、大數據案例sparkstreaming整合mongo代碼編寫講解1

第31節30、大數據案例sparkstreaming整合mongo代碼編寫講解2

第32節31、大數據案例sparkstreaming整合mongo代碼編寫講解3

第33節32、大數據案例sparkstreaming整合mongo代碼編寫講解4

第34節33、大數據案例sparkingstreaming整合mongo之mongo的linux集群搭建

第35節34、大數據案例sparkingstreaming整合mongo之代碼優化

第36節35、大數據案例sparkingstreaming和mongo聯調測試

第37節36、大數據案例之flume講解

第38節37、大數據案例之flume補充講解

第39節38、大數據案例之hadoop ha集群搭建

第40節39、大數據案例之flume以及hdfs進行業務整合

第41節40、大數據案例之crontab定時任務講解

第42節41、大數據案例之hive環境搭建

第43節42、大數據案例之hive進行業務整合

第44節43、大數據案例之hive，crontab業務整合

第45節44、大數據案例之hive，crontab業務整合補充

第46節45、大數據案例之hive自定義函數解決復雜業務

第47節46、大數據案例之hive自定義函數解決復雜業務補充

第48節47、大數據案例之hbase集群環境搭建

第49節48、大數據案例之app錯誤分析

第50節49、大數據案例錯誤熱點詞定制分析

第51節50、大數據案例hbase選型講解以及hbase使用講解

第52節51、大數據案例之hbase、hive業務整合?

第53節52、大數據案例之hbase、hive業務整合補充

第54節53、大數據案例之hbase、hive定時任務講解

第55節54、大數據案例hbase，hive動態參數實現自動分析當天的數據1

第56節55、大數據案例hbase，hive動態參數實現自動分析當天的數據2

?

未經作者允許進行翻錄和倒賣的，將進行相關的法律維權。