目錄



第　1章

Hadoop概述　1

1.1　Hadoop簡介　1

1.2　Hadoop體系架構(gòu)　3

1.2.1　Hadoop基礎架構(gòu)　3

1.2.2　Hadoop生態(tài)系統(tǒng)　3

1.3　Hadoop與分布式開發(fā)　5

1.4　Hadoop行業(yè)應用案例分析　6

1.4.1　Hadoop在門戶網(wǎng)站中的應用　6

1.4.2　Hadoop在搜索引擎中的應用　7

1.4.3　Hadoop在電商平臺中的應用　7

習題　8



第　2章

Hadoop的安裝、配置與

管理　9

2.1　實驗準備　9

2.2　配置一個單節(jié)點環(huán)境　10

2.2.1　運行一個虛擬環(huán)境CentOS　10

2.2.2　配置網(wǎng)絡　11

2.2.3　創(chuàng)建新的用戶組和用戶　15

2.2.4　上傳文件到CentOS并配置

Java和Hadoop環(huán)境　16

2.2.5　修改Hadoop 3.2配置文件　19

2.2.6　修改CentOS主機名　22

2.2.7　綁定hostname與IP地址　22

2.2.8　關閉防火墻　23

2.3　節(jié)點之間的免密碼登錄　23

2.3.1　什么是SSH　23

2.3.2　復制虛擬機節(jié)點　24

2.3.3　配置SSH免密碼登錄　25

2.4　Hadoop的啟動和測試　27

2.4.1　格式化文件系統(tǒng)　27

2.4.2　啟動HDFS　28

2.4.3　啟動YARN　29

2.4.4　啟動JobHistory Server　29

2.4.5　集群驗證　30

2.4.6　需要了解的默認配置　31

2.5　動態(tài)管理節(jié)點　32

2.5.1　動態(tài)增加和刪除DataNode　32

2.5.2　動態(tài)修改TaskTracker　33

習題　34



第3章

HDFS技術　36

3.1　HDFS的特點　36

3.2　HDFS架構(gòu)　37

3.2.1　數(shù)據(jù)塊　38

3.2.2　NameNode與DataNode　39

3.2.3　輔助NameNode　40

3.2.4　安全模式與負載均衡　42

3.2.5　垃圾回收　43

3.3　HDFS Shell命令　44

3.3.1　文件處理命令　44

3.3.2　交互式命令　49

3.4　HDFS中Java API的使用　53

3.4.1　上傳文件　54

3.4.2　新建文件　55

3.4.3　查看文件詳細信息　56

3.4.4　下載文件　57

3.5　RPC通信　58

3.5.1　反射機制　59

3.5.2　代理模式與動態(tài)代理　62

3.5.3　Hadoop RPC機制與源碼

分析　64

習題　68



第4章

YARN技術　69

4.1　YARN概述　69

4.1.1　YARN產(chǎn)生背景MRv1的

局限性　69

4.1.2　YARN的通信協(xié)議　70

4.2　YARN基本框架　71

4.3　YARN資源調(diào)度器　73

4.4　YARN的工作流程　74

4.5　YARN的實戰(zhàn)案例　76

習題　79



第5章

MapReduce技術　80

5.1　什么是MapReduce　80

5.2　MapReduce編程模型　81

5.2.1　MapReduce模型簡介　81

5.2.2　MapReduce模型分類　82

5.2.3　MapReduce編程實例

WordCount　83

5.3　MapReduce數(shù)據(jù)流　84

5.3.1　分片并格式化原始數(shù)據(jù)

（InputFormat）　84

5.3.2　Map過程　86

5.3.3　Shuffle過程　86

5.3.4　Reduce過程　91

5.3.5　按指定格式寫入文件

（OutputFormat）　92

5.4　MapReduce任務流程　92

5.5　MapReduce的Streaming和

Pipe　93

5.5.1　Hadoop Streaming　93

5.5.2　Hadoop Pipe　95

5.6　MapReduce性能調(diào)優(yōu)　96

5.7　MapReduce實戰(zhàn)　98

5.7.1　快速入門　98

5.7.2　簡單使用Eclipse插件　110

習題　118



第6章

Hadoop　I/O操作　119

6.1　HDFS數(shù)據(jù)完整性　119

6.1.1　校驗和　119

6.1.2　運行后臺進程來檢測數(shù)據(jù)塊　120

6.2　基于文件的數(shù)據(jù)結(jié)構(gòu)　121

6.2.1　SequenceFile的存儲　121

6.2.2　MapFile的存儲　125

6.2.3　SequenceFile轉(zhuǎn)換為

MapFile　128

6.3　壓縮　129

6.3.1　認識壓縮　129

6.3.2　Codec　130

6.3.3　本地庫　132

6.3.4　如何選擇壓縮格式　133

6.4　序列化　134

6.4.1　認識序列化　134

6.4.2　Writable接口　135

6.4.3　WritableComparable接口　136

6.4.4　Hadoop Writable基本類型　137

6.4.5　自定義Writable類型　142

習題　144



第7章

海量數(shù)據(jù)庫技術HBase　145

7.1　初識HBase　145

7.2　HBase表視圖　146

7.2.1　概念視圖　146

7.2.2　物理視圖　147

7.3　HBase物理存儲模型　148

7.4　安裝HBase　154

7.4.1　HBase單節(jié)點安裝　154

7.4.2　HBase偽分布式安裝　157

7.4.3　HBase完全分布式安裝　158

7.5　HBase Shell　160

7.5.1　HBase Shell的命令　160

7.5.2　general操作　162

7.5.3　DDL操作　163

7.5.4　DML操作　165

7.6　HBase操作實踐　167

習題　170



第8章

ZooKeeper技術　171

8.1　分布式協(xié)調(diào)技術及其實現(xiàn)者　171

8.2　ZooKeeper基本架構(gòu)　172

8.3　ZooKeeper數(shù)據(jù)模型　173

8.3.1　Znode　173

8.3.2　ZooKeeper中的時間　174

8.3.3　Znode屬性　175

8.3.4　watch觸發(fā)器　176

8.4　ZooKeeper集群安裝　177

8.5　ZooKeeper的主要Shell

操作　179

8.6　典型應用場景　180

8.6.1　數(shù)據(jù)發(fā)布與訂閱　180

8.6.2　統(tǒng)一命名服務　182

8.6.3　分布式通知/協(xié)調(diào)　182

習題　183



第9章

分布式數(shù)據(jù)倉庫技術Hive　184

9.1　Hive出現(xiàn)的原因　184

9.2　Hive服務的組成　185

9.3　Hive的安裝　186

9.3.1　Hive基本安裝　186

9.3.2　MySQL的安裝　187

9.3.3　Hive的配置　188

9.4　Hive Shell　191

9.5　HQL的概念和使用　192

9.5.1　認識HQL　192

9.5.2　Hive管理數(shù)據(jù)方式　192

9.5.3　Hive表的DDL操作　194

9.5.4　Hive表的DML操作　203

9.6　使用Hive實現(xiàn)聊天數(shù)據(jù)分析

案例　207

習題　210



第　10章

Hadoop與RDBMS數(shù)據(jù)遷移

工具Sqoop　211

10.1　Sqoop簡介及基本安裝　211

10.2　Sqoop的配置　212

10.3　Sqoop的相關功能　213

10.3.1　Sqoop的工具命令　213

10.3.2　Sqoop與MySQL　214

10.3.3　sqoop-import操作　215

10.3.4　sqoop-import-all-tables

操作　220

10.3.5　sqoop-export操作　222

10.3.6　sqoop-list-databases和

sqoop-list-tables操作　224

10.4　Hive、Pig和Sqoop三者之間

的關系　224

10.5　基于Sqoop的MySQL和Hive

之間的數(shù)據(jù)遷移實操案例　225

習題　228



第　11章

大數(shù)據(jù)實時處理技術　229

11.1　Flink　229

11.1.1　Flink架構(gòu)　230

11.1.2　Flink部署　231

11.1.3　Flink的運行架構(gòu)　235

11.1.4　Flink流處理API　238

11.2　Spark　239

11.2.1　Apache Spark架構(gòu)　239

11.2.2　Apache Spark的擴展

功能　241

11.3　Flink與Spark異同　243

習題　244