目 錄


項(xiàng)目一　Hadoop 介紹 1
【思維導(dǎo)圖】 1
【項(xiàng)目導(dǎo)入】 1
任務(wù) 1.1　大數(shù)據(jù)概述 1
1.1.1　了解大數(shù)據(jù) 1
1.1.2　大數(shù)據(jù)的特征 2
1.1.3　大數(shù)據(jù)的應(yīng)用領(lǐng)域 3
1.1.4　拓展提升 4
任務(wù) 1.2　Hadoop 生態(tài)圈 5
1.2.1　Hadoop 發(fā)展歷史 5
1.2.2　Hadoop 的優(yōu)勢(shì) 5
1.2.3　Hadoop 1.x 和 Hadoop 2.x 的區(qū)別 6
1.2.4　Hadoop 生態(tài)組件 7
1.2.5　拓展提升 8
【動(dòng)手練習(xí)】 9
【課后習(xí)題】 9
項(xiàng)目二　Hadoop 集群環(huán)境配置 10
【思維導(dǎo)圖】 10
【項(xiàng)目導(dǎo)入】 10
任務(wù) 2.1　安裝和配置虛擬機(jī) 11
2.1.1　安裝 VMware虛擬機(jī)軟件 11
2.1.2　部署 CentOS 7 16
2.1.3　Linux 操作系統(tǒng)網(wǎng)絡(luò)配置 29
2.1.4　虛擬機(jī)克隆 36
2.1.5　主機(jī)名與 IP 地址映射配置 40
2.1.6　虛擬機(jī)遠(yuǎn)程連接 42
2.1.7　關(guān)閉防火墻 45
2.1.8　拓展提升 45
任務(wù) 2.2　完全分布式集群搭建 48
2.2.1　JDK 安裝與測(cè)試 48
2.2.2　SSH 免密登錄配置 50
2.2.3　時(shí)間同步服務(wù)配置 53
2.2.4　Hadoop 安裝 55
2.2.5　Hadoop 集群配置 57
2.2.6　集群?jiǎn)��?dòng)與關(guān)閉 61
2.2.7　拓展提升 63
【動(dòng)手練習(xí)】 66
【課后習(xí)題】 66
項(xiàng)目三　HDFS 分布式文件系統(tǒng) 68
【思維導(dǎo)圖】 68
【項(xiàng)目導(dǎo)入】 68
任務(wù) 3.1　HDFS 簡(jiǎn)介 69
3.1.1　HDFS 定義 69
3.1.2　HDFS 體系結(jié)構(gòu) 69
3.1.3　HDFS Shell 命令 70
3.1.4　拓展提升 79
任務(wù) 3.2　HDFS 的 Java API 操作 81
3.2.1　HDFS 常見類與接口 81
3.2.2　FileSystem 的常用方法 82
3.2.3　HDFS 創(chuàng)建目錄 82
3.2.4　HDFS 創(chuàng)建文件 88
3.2.5　HDFS 文件上傳 89
3.2.6　HDFS 文件下載 90
3.2.7　HDFS 文件刪除 90
3.2.8　HDFS 文件名更改 91
3.2.9　HDFS 文件詳情查看 92
3.2.10　HDFS 文件和目錄判斷 93
3.2.11　拓展提升 94
【動(dòng)手練習(xí)】 95
【課后習(xí)題】 96
項(xiàng)目四　MapReduce 分布式計(jì)算框架 97
【思維導(dǎo)圖】 97
【項(xiàng)目導(dǎo)入】 97
任務(wù) 4.1　MapReduce 簡(jiǎn)介 97
4.1.1　設(shè)計(jì)思路 98
4.1.2　任務(wù)流程 99
4.1.3　工作原理 100
4.1.4　拓展提升 102
任務(wù) 4.2　MapReduce 程序編寫 103
4.2.1　MapReduce 編程組件 103
4.2.2　MapReduce 程序編寫 104
4.2.3　拓展提升 108
【動(dòng)手練習(xí)】 108
【課后習(xí)題】 109
項(xiàng)目五　MapReduce 離線數(shù)據(jù)處理 110
【思維導(dǎo)圖】 110
【項(xiàng)目導(dǎo)入】 111
任務(wù) 5.1　酒店數(shù)據(jù)清洗 111
5.1.1　任務(wù)需求 111
5.1.2　設(shè)計(jì)思路 111
5.1.3　基礎(chǔ)準(zhǔn)備 111
5.1.4　程序編寫 114
5.1.5　程序運(yùn)行 116
5.1.6　程序打包 117
5.1.7　集群運(yùn)行 118
5.1.8　拓展提升 119
任務(wù) 5.2　MapReduce 計(jì)算平均成績(jī) 121
5.2.1　任務(wù)需求 121
5.2.2　設(shè)計(jì)思路 121
5.2.3　程序編寫 122
5.2.4　程序運(yùn)行 124
5.2.5　拓展提升 125
任務(wù) 5.3　高考成績(jī)統(tǒng)計(jì)分析 125
5.3.1　任務(wù)需求 125
5.3.2　設(shè)計(jì)思路 126
5.3.3　程序編寫 126
5.3.4　程序運(yùn)行 131
5.3.5　拓展提升 132
任務(wù) 5.4　MapReduce 在商品推薦中的應(yīng)用 133
5.4.1　任務(wù)需求 133
5.4.2　設(shè)計(jì)思路 133
5.4.3　程序編寫 135
5.4.4　程序運(yùn)行 147
5.4.5　拓展提升 148
【動(dòng)手練習(xí)】 148
【課后習(xí)題】 148
項(xiàng)目六　基于 Hive 的離線數(shù)據(jù)分析 150
【思維導(dǎo)圖】 150
【項(xiàng)目導(dǎo)入】 151
任務(wù) 6.1　認(rèn)識(shí) Hive 數(shù)據(jù)倉庫 151
6.1.1　Hive 體系架構(gòu) 151
6.1.2　Hive 的三種運(yùn)行模式 153
6.1.3　Hive 數(shù)據(jù)類型 154
6.1.4　拓展提升 155
任務(wù) 6.2　Hive 部署 156
6.2.1　Hive 部署之內(nèi)嵌模式 156
6.2.2　Hive 部署之本地模式 160
6.2.3　Hive 部署之遠(yuǎn)程模式 168
6.2.4　拓展提升 171
任務(wù) 6.3　Hive 數(shù)據(jù)庫操作 171
6.3.1　創(chuàng)建數(shù)據(jù)庫 171
6.3.2　顯示數(shù)據(jù)庫 172
6.3.3　查看數(shù)據(jù)庫信息 173
6.3.4　修改數(shù)據(jù)庫信息 173
6.3.5　選擇數(shù)據(jù)庫 174
6.3.6　刪除數(shù)據(jù)庫 174
6.3.7　拓展提升 174
6.4　Hive 表操作 174
6.4.1　創(chuàng)建 Hive 表的語法 174
6.4.2　內(nèi)部表操作 175
6.4.3　外部表操作 176
6.4.4　分區(qū)表的操作 177
6.4.5　分桶表的操作 181
6.4.6　拓展提升 183
任務(wù) 6.5　Hive 表的查詢 184
6.5.1　select查詢 184
6.5.2　join 連接查詢 192
6.5.3　拓展提升 194
【動(dòng)手練習(xí)】 196
【課后習(xí)題】 197
項(xiàng)目七　綜合項(xiàng)目實(shí)踐 199
【思維導(dǎo)圖】 199
【項(xiàng)目導(dǎo)入】 199
任務(wù) 7.1　項(xiàng)目基礎(chǔ)知識(shí) 200
7.1.1　數(shù)據(jù)清洗簡(jiǎn)介 200
7.1.2　數(shù)據(jù)分析簡(jiǎn)介 202
7.1.3　數(shù)據(jù)可視化簡(jiǎn)介 202
7.1.4　ECharts 可視化簡(jiǎn)介 203
7.1.5　拓展提升 206
任務(wù) 7.2　電商數(shù)據(jù)分析與可視化 206
7.2.1　任務(wù)需求 206
7.2.2　設(shè)計(jì)思路 206
7.2.3　程序編寫 207
7.2.4　程序運(yùn)行 221
7.2.5　拓展提升 222
【動(dòng)手練習(xí)】 222
【課后習(xí)題】 222