第 1章　初識(shí)Hadoop
1.1　大數(shù)據(jù)概述　1
1.1.1　什么是大數(shù)據(jù)　1
1.1.2　大數(shù)據(jù)的特征　2
1.1.3　大數(shù)據(jù)的發(fā)展趨勢(shì)　3
1.2　大數(shù)據(jù)的應(yīng)用　4
1.3　大數(shù)據(jù)技術(shù)簡介　6
1.4　Hadoop概述　7
1.4.1　Hadoop簡介　8
1.4.2　Hadoop的優(yōu)缺點(diǎn)　8
1.4.3　Hadoop的產(chǎn)生和發(fā)展歷程　9
1.4.4　Hadoop的版本介紹　9
1.4.5　Hadoop 3.0的新特性　10
1.4.6　Hadoop生態(tài)圈的相關(guān)組件　12
1.4.7　國內(nèi)Hadoop的就業(yè)情況分析　12
1.4.8　國內(nèi)外Hadoop應(yīng)用案例介紹　13
1.5　實(shí)戰(zhàn)演練：Web日志數(shù)據(jù)挖掘系統(tǒng)　14
本章小結(jié)　16
習(xí)題　17
第 2章　Hadoop集群的搭建
2.1　安裝準(zhǔn)備　18
2.1.1　虛擬機(jī)安裝　18
2.1.2　虛擬機(jī)克隆　26
2.1.3　Linux系統(tǒng)網(wǎng)絡(luò)配置　27
2.1.4　SSH服務(wù)配置　30
2.2　Linux常用命令　32
2.2.1　查看系統(tǒng)、進(jìn)程和網(wǎng)絡(luò)信息的命令　32
2.2.2　磁盤操作命令　33
2.2.3　目錄與文件操作命令　34
2.2.4　權(quán)限操作命令　35
2.3　Hadoop集群的搭建　36
2.3.1　Hadoop集群的部署模式　36
2.3.2　安裝JDK　36
2.3.3　安裝Hadoop　37
2.3.4　Hadoop集群的配置　37
2.4　Hadoop集群的測(cè)試　40
2.4.1　格式化文件系統(tǒng)　41
2.4.2　啟動(dòng)和關(guān)閉Hadoop進(jìn)程命令　41
2.4.3　啟動(dòng)和查看Hadoop進(jìn)程　42
2.4.4　監(jiān)控HDFS集群和YARN集群　42
2.5　Hadoop集群的使用　43
本章小結(jié)　44
習(xí)題　44
第3章　分布式協(xié)調(diào)框架ZooKeeper
3.1　初識(shí)ZooKeeper　45
3.1.1　ZooKeeper簡介　45
3.1.2　ZooKeeper的設(shè)計(jì)目標(biāo)　46
3.1.3　ZooKeeper工作原理　46
3.2　ZooKeeper的安裝和常用命令　47
3.2.1　單機(jī)模式下安裝與配置ZooKeeper　48
3.2.2　全分布式模式下安裝與配置ZooKeeper　49
3.2.3　ZooKeeper客戶端的節(jié)點(diǎn)和命令　51
3.3　ZooKeeper客戶端實(shí)戰(zhàn)　53
3.4　ZooKeeper典型應(yīng)用場景　55
3.4.1　數(shù)據(jù)發(fā)布與訂閱　55
3.4.2　命名服務(wù)　56
3.4.3　分布式鎖　56
本章小結(jié)　56
習(xí)題　57
第4章　分布式文件系統(tǒng)HDFS
4.1　HDFS概述　58
4.2　HDFS的架構(gòu)　59
4.3　HDFS讀/寫數(shù)據(jù)的流程　61
4.4　HDFSShell命令　63
4.5　使用Java程序操作HDFS　65
4.5.1　HDFS Java API概述　65
4.5.2　使用Java API操作HDFS　66
4.6　Hadoop序列化　72
4.6.1　Hadoop序列化簡介　72
4.6.2　實(shí)現(xiàn)Hadoop序列化的常用類　74
4.6.3　自定義實(shí)現(xiàn)Writable接口的類　76
4.7　Hadoop小文件處理　78
4.7.1　壓縮小文件　78
4.7.2　創(chuàng)建序列化文件　79
4.8　HDFS的RPC機(jī)制　82
4.8.1　RPC機(jī)制簡介　82
4.8.2　RPC的架構(gòu)　82
4.9　實(shí)戰(zhàn)演練：文件詞頻統(tǒng)計(jì)　83
本章小結(jié)　85
習(xí)題　85
第5章　分布式計(jì)算框架MapReduce
5.1　初識(shí)MapReduce　87
5.1.1　MapReduce核心思想　87
5.1.2　MapReduce的編程模型　88
5.1.3　實(shí)戰(zhàn)演練：詞頻統(tǒng)計(jì)　89
5.2　MapReduce作業(yè)　94
5.2.1　MapReduce作業(yè)概述　94
5.2.2　MapReduce作業(yè)運(yùn)行時(shí)的資源調(diào)度　94
5.2.3　MapReduce作業(yè)的運(yùn)行流程　95
5.3　MapReduce工作原理　96
5.3.1　Map任務(wù)的工作原理　96
5.3.2　Reduce任務(wù)的工作原理　96
5.4　MapReduce的Shuffle階段　97
5.4.1　Shuffle的概念　97
5.4.2　Map端的Shuffle　97
5.4.3　Reduce端的Shuffle　98
5.5　MapReduce編程組件　98
5.5.1　InputFormat組件　98
5.5.2　OutputFormat組件　100
5.5.3　RecordReader組件和RecordWriter組件　103
5.5.4　Partitioner組件　104
5.5.5　Combiner組件　106
5.6　數(shù)據(jù)傾斜　111
5.7　排序　111
5.7.1　排序概述　111
5.7.2　部分排序　112
5.7.3　全排序　113
5.8　實(shí)戰(zhàn)演練：倒排索引　117
5.9　實(shí)戰(zhàn)演練：連接　121
5.10　實(shí)戰(zhàn)演練：平均分和百分比　124
5.11　實(shí)戰(zhàn)演練：過濾敏感詞匯　128
本章小結(jié)　130
習(xí)題　130
第6章　YARN框架與HA模式
6.1　YARN框架　132
6.1.1　YARN簡介　132
6.1.2　YARN的工作流程　133
6.1.3　YARN的優(yōu)勢(shì)　134
6.2　Hadoop的HA模式　134
6.2.1　HA模式簡介　134
6.2.2　HDFS的HA模式　135
6.2.3　YARN的HA模式　141
6.2.4　啟動(dòng)和關(guān)閉Hadoop的HA模式　145
本章小結(jié)　146
習(xí)題　146
第7章　數(shù)據(jù)倉庫Hive
7.1　數(shù)據(jù)倉庫簡介　147
7.1.1　數(shù)據(jù)倉庫概述　147
7.1.2　數(shù)據(jù)倉庫應(yīng)用　148
7.1.3　數(shù)據(jù)倉庫特點(diǎn)　149
7.1.4　數(shù)據(jù)倉庫數(shù)據(jù)模型　149
7.1.5　數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別　150
7.2　初識(shí)Hive　151
7.2.1　Hive簡介　151
7.2.2　Hive架構(gòu)　152
7.2.3　Hive特點(diǎn)　153
7.2.4　Hive和關(guān)系型數(shù)據(jù)庫的比較　154
7.3　Hive的安裝　154
7.4　Hive的數(shù)據(jù)類型　158
7.4.1　基本數(shù)據(jù)類型　159
7.4.2　復(fù)雜數(shù)據(jù)類型　159
7.5　Hive的數(shù)據(jù)庫操作　161
7.6　Hive中的表　162
7.6.1　內(nèi)部表和外部表　162
7.6.2　對(duì)表進(jìn)行分區(qū)　168
7.6.3　對(duì)表或分區(qū)進(jìn)行桶操作　173
7.7　Hive表的查詢　176
7.7.1　select查詢語句　177
7.7.2　視圖　182
7.7.3　連接　183
7.8　Hive函數(shù)　187
7.8.1　Hive內(nèi)置函數(shù)　187
7.8.2　通過JDBC驅(qū)動(dòng)程序使用HiveSever2服務(wù)　189
7.8.3　Hive用戶自定義函數(shù)　191
7.9　Hive性能優(yōu)化　193
7.10　實(shí)戰(zhàn)演練：機(jī)頂盒數(shù)據(jù)分析　195
本章小結(jié)　196
習(xí)題　196
第8章　分布式存儲(chǔ)系統(tǒng)HBase
8.1　初識(shí)HBase　197
8.1.1　HBase簡介　197
8.1.2　HBase的數(shù)據(jù)模型　198
8.1.3　HBase架構(gòu)　199
8.1.4　HBase文件存儲(chǔ)格式　200
8.1.5　HBase存儲(chǔ)過程　201
8.1.6　HBase和HDFS　202
8.2　HBase表設(shè)計(jì)　203
8.2.1　行鍵設(shè)計(jì)　203
8.2.2　列簇設(shè)計(jì)　204
8.3　HBase安裝和部署　204
8.3.1　完全分布式模式　204
8.3.2　HA模式　207
8.4　HBase Shell的常用操作命令　209
8.4.1　常規(guī)命令　209
8.4.2　常用的命名空間相關(guān)命令　210
8.4.3　常用的DDL命令　211
8.4.4　常用的DML命令　213
8.5　HBase編程　215
8.5.1　配置開發(fā)環(huán)境　216
8.5.2　使用Java API操作HBase　216
8.5.3　使用HBase實(shí)現(xiàn)WordCount　220
8.6　HBase的過濾器和比較器　223
8.6.1　過濾器　223
8.6.2　比較器　224
8.6.3　編程實(shí)操　224
8.7　HBase和Hive的結(jié)合使用　230
8.7.1　HBase與Hive結(jié)合使用的原因　230
8.7.2　Hive關(guān)聯(lián)HBase　230
8.8　HBase的性能優(yōu)化　232
本章小結(jié)　233
習(xí)題　234
第9章　數(shù)據(jù)同步工具Sqoop
9.1　初識(shí)Sqoop　235
9.1.1　Sqoop簡介　235
9.1.2　Sqoop架構(gòu)　236
9.1.3　Sqoop的工作原理　236
9.2　Sqoop安裝　238
9.3　Sqoop的命令與參數(shù)　240
9.3.1　Sqoop的常用命令　240
9.3.2　常用命令的參數(shù)　240
9.3.3　Sqoop命令的基本操作　241
9.4　Sqoop數(shù)據(jù)導(dǎo)入　243
9.4.1　將MySQL中的數(shù)據(jù)導(dǎo)入HDFS　243
9.4.2　將MySQL中的數(shù)據(jù)導(dǎo)入Hive　244
9.4.3　將MySQL中的數(shù)據(jù)導(dǎo)入HBase　247
9.4.4　增量導(dǎo)入　248
9.4.5　按需導(dǎo)入　250
9.5　Sqoop數(shù)據(jù)導(dǎo)出　251
9.5.1　將HDFS中的數(shù)據(jù)導(dǎo)出到MySQL　251
9.5.2　將Hive中的數(shù)據(jù)導(dǎo)出到MySQL　252
9.5.3　將HBase中的數(shù)據(jù)導(dǎo)出到MySQL　253
9.6　Sqoop Job　254
本章小結(jié)　255
習(xí)題　255
第 10章　Flume
10.1　初識(shí)Flume　257
10.1.1　Flume簡介　257
10.1.2　Flume的特點(diǎn)　258
10.2　Flume的核心概念　258
10.2.1　Event　258
10.2.2　Agent　259
10.3　Flume安裝　260
10.4　Flume數(shù)據(jù)流模型　261
10.5　Flume的可靠性保證　263
10.5.1　負(fù)載均衡　263
10.5.2　故障轉(zhuǎn)移　265
10.6　Flume攔截器　266
10.7　采集案例　268
10.7.1　將目錄采集到HDFS中　269
10.7.2　將文件采集到HDFS中　270
本章小結(jié)　271
習(xí)題　271
第 11章　綜合項(xiàng)目基于Hadoop的云盤設(shè)計(jì)與實(shí)現(xiàn)
　11.1 項(xiàng)目概述　272
11.1.1　項(xiàng)目簡介　272
11.1.2　開發(fā)環(huán)境　273
11.1.3　項(xiàng)目架構(gòu)設(shè)計(jì)　273
11.2　云盤頁面效果展示　274
11.2.1　云盤主頁　274
11.2.2　新增目錄對(duì)話框　275
11.2.3　上傳文件對(duì)話框　275
11.2.4　操作文件的下拉菜單　276
11.2.5　重命名對(duì)話框　277
11.2.6　文件管理的下拉菜單　277
11.3　創(chuàng)建云盤項(xiàng)目并配置環(huán)境　278
11.4　實(shí)現(xiàn)云盤頁面效果　280
11.5　前后端交互　281
11.6　實(shí)現(xiàn)云盤頁面功能　286
11.6.1　獲取文件和子目錄列表　286
11.6.2　新增目錄　287
11.6.3　上傳文件　288
11.6.4　下載文件　289
11.6.5　重命名文件　289
11.6.6　刪除文件　290
11.6.7　檢索文件　291
本章小結(jié)　292