目錄 第01章　數據倉庫基礎　1 1.1　數據處理平臺　1 1.2　數據庫　2 1.3　關系型數據庫　2 1.3.1　數據庫三范式　3 1.3.2　數據庫事務　6 1.3.3　數據庫設計理念　7 1.4　數據倉庫　7 1.4.1　無數據倉庫的時代　7 1.4.2　數據倉庫的發(fā)展　8 1.5　數據倉庫設計理念　9 1.6　數據庫與數據倉庫的不同　10 1.7　本章總結　11 1.8　本章習題　11 第02章　Hive安裝部署　12 2.1　Hive基本概念　12 2.1.1　Hive簡介　12 2.1.2　Hive設計特性　13 2.1.3　Hive與傳統(tǒng)數據庫的對比　14 2.2　Hive安裝部署　14 2.3　安裝配置MySQL　16 2.4　配置啟動Hive　22 2.5　Hive常用內部命令　26 2.6　Hive數據類型　27 2.6.1　Hive基本數據類型　28 2.6.2　Hive集合數據類型　30 2.7　本章總結　36 2.8　本章習題　36 第03章　Hive數據定義與操作　37 3.1　HiveQL數據定義語言　37 3.1.1　創(chuàng)建數據庫　38 3.1.2　刪除數據庫　40 3.1.3　創(chuàng)建表　40 3.1.4　修改表　45 3.1.5　刪除表　46 3.1.6　分區(qū)表　47 3.2　HiveQL數據操作　53 3.2.1　向管理表中裝載數據　54 3.2.2　經查詢語句向表中插入數據　54 3.2.3　單個查詢語句中創(chuàng)建表并加載數據　55 3.2.4　導入數據　55 3.2.5　導出數據　56 3.3　本章總結　56 3.4　本章習題　57 第04章　HiveQL數據查詢基礎　58 4.1　HiveQL數據查詢語句　58 4.1.1　SELECT語句　58 4.1.2　WHERE語句　59 4.1.3　GROUP BY語句　60 4.1.4　HAVING分組篩選　61 4.1.5　ORDER BY 語句和 SORT　BY語句　62 4.2　HiveQL連接查詢語句　64 4.3　本章總結　70 4.4　本章習題　70 第05章　HiveQL數據查詢進階　71 5.1　Hive內置函數　71 5.1.1　數學函數　72 5.1.2　字符函數　74 5.1.3　轉換函數　76 5.1.4　日期函數　76 5.1.5　條件函數　77 5.1.6　聚合函數　77 5.2　Hive構建搜索引擎日志數據分析系統(tǒng)　79 5.2.1　數據預處理（Linux環(huán)境）　79 5.2.2　基于Hive構建日志數據的數據倉庫　81 5.2.3　數據分析需求（1）：條數統(tǒng)計　84 5.2.4　數據分析需求（2）：關鍵詞分析　84 5.2.5　數據分析需求（3）：UID分析　85 5.2.6　數據分析需求（4）：用戶行為 分析　86 5.3　Sqoop應用與開發(fā)　88 5.3.1　Sqoop簡介　89 5.3.2　Sqoop安裝部署　89 5.3.3　Sqoop將Hive表中的數據導入MySQL　91 5.4　本章總結　96 5.5　本章習題　96 第06章　Hive數據庫對象與 用戶自定義函數　97 6.1　Hive視圖　97 6.1.1　創(chuàng)建視圖　98 6.1.2　查看視圖　98 6.1.3　視圖應用實戰(zhàn)　99 6.1.4　刪除視圖　100 6.2　Hive分桶表　100 6.2.1　創(chuàng)建表　101 6.2.2　插入數據　101 6.3　Hive用戶自定義函數　102 6.3.1　用戶自定義函數簡介　102 6.3.2　UDF應用開發(fā)　103 6.4　Hive用戶自定義聚合函數　105 6.4.1　用戶自定義聚合函數簡介　105 6.4.2　UDAF應用開發(fā)　105 6.5　本章總結　108 6.6　本章習題　108 第07章　Azkaban任務調度器　109 7.1　Azkaban簡介　109 7.1.1　Azkaban基本原理　110 7.1.2　Azkaban核心組件　111 7.2　Azkaban安裝部署　112 7.2.1　準備工作　112 7.2.2　安裝MySQL　112 7.2.3　配置MySQL　113 7.2.4　配置AzkabanWebServer　114 7.2.5　啟動AzkabanWebServer 服務器　116 7.2.6　配置AzkabanExecutorServer　116 7.2.7　啟動AzkabanExecutorServer 執(zhí)行服務器　117 7.2.8　登錄訪問WebServer并創(chuàng)建 工作流調度項目　117 7.3　Hadoop作業(yè)的設置與書寫　119 7.4　Hive作業(yè)的設置與書寫　128 7.5　本章總結　130 7.6　本章習題　131 第08章　電商推薦系統(tǒng)開發(fā)實戰(zhàn)　132 8.1　構建數據倉庫　132 8.1.1　創(chuàng)建數據倉庫　133 8.1.2　創(chuàng)建原始數據表　134 8.1.3　加載數據到數據倉庫　136 8.1.4　驗證數據結果　136 8.2　數據清洗　139 8.2.1　創(chuàng)建臨時表　139 8.2.2　數據清洗詳細步驟　140 8.2.3　驗證清洗　143 8.3　推薦算法實現　144 8.3.1　Mahout安裝部署　144 8.3.2　itembase協同過濾推薦算法　147 8.3.3　路徑準備　148 8.3.4　運行推薦算法　150 8.3.5　查看推薦結果　151 8.4　數據ETL　152 8.4.1　獲取數據　152 8.4.2　創(chuàng)建數據庫和表　152 8.4.3　加載數據　153 8.4.4　驗證ETL過程　153 8.5　本章總結　155 8.6　本章習題　156 第09章　汽車銷售數據分析 系統(tǒng)實戰(zhàn)開發(fā)　157 9.1　數據概況　157 9.2　項目實戰(zhàn)　158 9.2.1　構建數據倉庫　158 9.2.2　創(chuàng)建原始數據表　159 9.2.3　加載數據到數據倉庫　161 9.2.4　驗證數據結果　161 9.2.5　統(tǒng)計乘用車輛和商用車輛的 銷售數量和銷售數量占比　162 9.2.6　統(tǒng)計山西省2013年每個月的 汽車銷售數量的比例　162 9.2.7　統(tǒng)計買車的男女比例及男女對車的 品牌的選擇　163 9.2.8　統(tǒng)計車的所有權、車輛型號和 車輛類型　165 9.2.9　統(tǒng)計不同類型車在一個月（對應一段 時間，如每月或每年）的總銷量　167 9.2.10　通過不同類型（品牌）車銷售情況， 來統(tǒng)計發(fā)動機型號和燃料種類　168 9.2.11　統(tǒng)計五菱某一年每月的銷售量　168 9.3　本章總結　169 9.4　本章習題　169 第　10章 新浪微博數據分析系統(tǒng) 實戰(zhàn)開發(fā)　170 10.1　數據概況　170 10.1.1　數據參數　170 10.1.2　數據類型　171 10.2　項目實戰(zhàn)　172 10.2.1　組織數據　172 10.2.2　統(tǒng)計需求　174 10.2.3　特殊需求　179 10.2.4　數據ETL　182 10.3　本章總結　184 10.4　本章習題　184