本書涵蓋大數(shù)據(jù)專業(yè)經(jīng)典的40個實(shí)驗，每一個實(shí)驗給出具體的目的、要求、原理，并給出詳細(xì)的實(shí)驗步驟和試驗程序。具體包括HDFS實(shí)驗、YARN實(shí)驗、MapReduce實(shí)驗、Hive實(shí)驗、Spark實(shí)驗、ZooKeeper實(shí)驗、HBase實(shí)驗、Storm實(shí)驗等等。
目 錄
實(shí)驗一 大數(shù)據(jù)實(shí)驗一體機(jī)基礎(chǔ)操作 1
1．1 實(shí)驗?zāi)康?1
1．2 實(shí)驗要求 1
1．3 實(shí)驗原理 1
1．4 實(shí)驗步驟 9
實(shí)驗二 HDFS實(shí)驗：部署HDFS 17
2．1 實(shí)驗?zāi)康?17
2．2 實(shí)驗要求 17
2．3 實(shí)驗原理 17
2．4 實(shí)驗步驟 19
實(shí)驗三 HDFS實(shí)驗：讀寫HDFS文件 21
3．1 實(shí)驗?zāi)康?21
3．2 實(shí)驗要求 21
3．3 實(shí)驗原理 21
3．4 實(shí)驗步驟 23
實(shí)驗四 YARN實(shí)驗：部署YARN集群 31
4．1 實(shí)驗?zāi)康?31
4．2 實(shí)驗要求 31
4．3 實(shí)驗原理 31
4．4 實(shí)驗步驟 33
4．5 實(shí)驗結(jié)果 35
實(shí)驗五 MapReduce實(shí)驗：單詞計數(shù) 37
5．1 實(shí)驗?zāi)康?37
5．2 實(shí)驗要求 37
5．3 實(shí)驗原理 37
5．4 實(shí)驗步驟 39
5．5 實(shí)驗結(jié)果 41
實(shí)驗六 MapReduce實(shí)驗：二次排序 43
6．1 實(shí)驗?zāi)康?43
6．2 實(shí)驗要求 43
6．3 實(shí)驗原理 43
6．4 實(shí)驗步驟 43
6．5 實(shí)驗結(jié)果 48
實(shí)驗七 MapReduce實(shí)驗：計數(shù)器 49
7．1 實(shí)驗?zāi)康?49
7．2 實(shí)驗要求 49
7．3 實(shí)驗背景 49
7．4 實(shí)驗步驟 51
7．5 實(shí)驗結(jié)果 53
實(shí)驗八 MapReduce實(shí)驗：Join操作 55
8．1 實(shí)驗?zāi)康?55
8．2 實(shí)驗要求 55
8．3 實(shí)驗背景 55
8．4 實(shí)驗步驟 56
8．5 實(shí)驗結(jié)果 61
實(shí)驗九 MapReduce實(shí)驗：分布式緩存 63
9．1 實(shí)驗?zāi)康?63
9．2 實(shí)驗要求 63
9．3 實(shí)驗步驟 63
9．4 實(shí)驗結(jié)果 68
實(shí)驗十 Hive實(shí)驗：部署Hive 69
10．1 實(shí)驗?zāi)康?69
10．2 實(shí)驗要求 69
10．3 實(shí)驗原理 69
10．4 實(shí)驗步驟 70
10．5 實(shí)驗結(jié)果 71
實(shí)驗十一 Hive實(shí)驗：新建Hive表 73
11．1 實(shí)驗?zāi)康?73
11．2 實(shí)驗要求 73
11．3 實(shí)驗原理 73
11．4 實(shí)驗步驟 73
11．5 實(shí)驗結(jié)果 75
實(shí)驗十二 Hive實(shí)驗：Hive分區(qū) 77
12．1 實(shí)驗?zāi)康?77
12．2 實(shí)驗要求 77
12．3 實(shí)驗原理 77
12．4 實(shí)驗步驟 77
12．5 實(shí)驗結(jié)果 79
實(shí)驗十三 Spark實(shí)驗：部署Spark集群 80
13．1 實(shí)驗?zāi)康?80
13．2 實(shí)驗要求 80
13．3 實(shí)驗原理 80
13．4 實(shí)驗內(nèi)容和步驟 81
13．5 實(shí)驗結(jié)果 83
實(shí)驗十四 Spark實(shí)驗：SparkWordCount 85
14．1 實(shí)驗?zāi)康?85
14．2 實(shí)驗要求 85
14．3 實(shí)驗原理 85
14．4 實(shí)驗步驟 89
14．5 實(shí)驗結(jié)果 89
實(shí)驗十五 Spark實(shí)驗：RDD綜合實(shí)驗 90
15．1 實(shí)驗?zāi)康?90
15．2 實(shí)驗要求 90
15．3 實(shí)驗原理 90
15．4 實(shí)驗步驟 91
15．5 實(shí)驗結(jié)果 93
實(shí)驗十六 Spark實(shí)驗：Spark綜例 94
16．1 實(shí)驗?zāi)康?94
16．2 實(shí)驗要求 94
16．3 實(shí)驗原理 94
16．4 實(shí)驗步驟 96
實(shí)驗十七 Spark實(shí)驗：Spark SQL 99
17．1 實(shí)驗?zāi)康?99
17．2 實(shí)驗要求 99
17．3 實(shí)驗原理 99
17．4 實(shí)驗步驟 100
17．5 實(shí)驗結(jié)果 101
實(shí)驗十八 Spark實(shí)驗：Spark Streaming 103
18．1 實(shí)驗?zāi)康?103
18．2 實(shí)驗要求 103
18．3 實(shí)驗原理 103
18．4 實(shí)驗步驟 107
18．5 實(shí)驗結(jié)果 110
實(shí)驗十九 Spark實(shí)驗：GraphX 111
19．1 實(shí)驗?zāi)康?111
19．2 實(shí)驗要求 111
19．3 實(shí)驗原理 111
19．4 實(shí)驗步驟 111
19．5 實(shí)驗結(jié)果 116
實(shí)驗二十 部署ZooKeeper 117
20．1 實(shí)驗?zāi)康?117
20．2 實(shí)驗要求 117
20．3 實(shí)驗原理 117
20．4 實(shí)驗步驟 117
20．5 實(shí)驗結(jié)果 119
實(shí)驗二十一 ZooKeeper進(jìn)程協(xié)作 121
21．1 實(shí)驗?zāi)康?121
21．2 實(shí)驗要求 121
21．3 實(shí)驗原理 121
21．4 實(shí)驗步驟 121
21．5 實(shí)驗結(jié)果 123
實(shí)驗二十二 部署HBase 124
22．1 實(shí)驗?zāi)康?124
22．2 實(shí)驗要求 124
22．3 實(shí)驗原理 124
22．4 實(shí)驗步驟 125
22．5 實(shí)驗結(jié)果 127
實(shí)驗二十三 新建HBase表 128
23．1 實(shí)驗?zāi)康?128
23．2 實(shí)驗要求 128
23．3 實(shí)驗原理 128
23．4 實(shí)驗步驟 128
23．5 實(shí)驗結(jié)果 133
實(shí)驗二十四 部署Storm 135
24．1 實(shí)驗?zāi)康?135
24．2 實(shí)驗要求 135
24．3 實(shí)驗原理 135
24．4 實(shí)驗步驟 136
24．5 實(shí)驗結(jié)果 138
實(shí)驗二十五 實(shí)時WordCountTopology 139
25．1 實(shí)驗?zāi)康?139
25．2 實(shí)驗要求 139
25．3 實(shí)驗原理 139
25．4 實(shí)驗步驟 141
25．5 實(shí)驗結(jié)果 144
實(shí)驗二十六 文件數(shù)據(jù)Flume至HDFS 145
26．1 實(shí)驗?zāi)康?145
26．2 實(shí)驗要求 145
26．3 實(shí)驗原理 145
26．4 實(shí)驗步驟 147
26．5 實(shí)驗結(jié)果 149
實(shí)驗二十七 Kafka訂閱推送示例 150
27．1 實(shí)驗?zāi)康?150
27．2 實(shí)驗要求 150
27．3 實(shí)驗原理 150
27．4 實(shí)驗步驟 152
27．5 實(shí)驗結(jié)果 154
實(shí)驗二十八 Pig版WordCount 155
28．1 實(shí)驗?zāi)康?155
28．2 實(shí)驗要求 155
28．3 實(shí)驗原理 155
28．4 實(shí)驗步驟 156
28．5 實(shí)驗結(jié)果 158
實(shí)驗二十九 Redis部署與簡單使用 160
29．1 實(shí)驗?zāi)康?160
29．2 實(shí)驗要求 160
29．3 實(shí)驗原理 160
29．4 實(shí)驗步驟 162
29．5 實(shí)驗結(jié)果 163
實(shí)驗三十 MapReduce與Spark讀寫Redis 164
30．1 實(shí)驗?zāi)康?164
30．2 實(shí)驗要求 164
30．3 實(shí)驗原理 164
30．4 實(shí)驗步驟 165
30．5 實(shí)驗結(jié)果 170
實(shí)驗三十一 MongoDB實(shí)驗：讀寫MongoDB 172
31．1 實(shí)驗?zāi)康?172
31．2 實(shí)驗要求 172
31．3 實(shí)驗原理 172
31．4 實(shí)驗步驟 173
31．5 實(shí)驗結(jié)果 177
實(shí)驗三十二 LevelDB實(shí)驗：讀寫LevelDB 178
32．1 實(shí)驗?zāi)康?178
32．2 實(shí)驗要求 178
32．3 實(shí)驗原理 178
32．4 實(shí)驗步驟 181
32．5 實(shí)驗結(jié)果 183
實(shí)驗三十三 Mahout實(shí)驗：K-Means 184
33．1 實(shí)驗?zāi)康?184
33．2 實(shí)驗要求 184
33．3 實(shí)驗原理 184
33．4 實(shí)驗步驟 187
33．5 實(shí)驗結(jié)果 188
實(shí)驗三十四 使用Spark實(shí)現(xiàn)K-Means 189
34．1 實(shí)驗?zāi)康?189
34．2 實(shí)驗要求 189
34．3 實(shí)驗原理 189
34．4 實(shí)驗步驟 189
34．5 實(shí)驗結(jié)果 191
實(shí)驗三十五 使用Spark實(shí)現(xiàn)SVM 192
35．1 實(shí)驗?zāi)康?192
35．2 實(shí)驗要求 192
35．3 實(shí)驗原理 192
35．4 實(shí)驗步驟 194
35．5 實(shí)驗結(jié)果 195
實(shí)驗三十六 使用Spark實(shí)現(xiàn)FP-Growth 197
36．1 實(shí)驗?zāi)康?197
36．2 實(shí)驗要求 197
36．3 實(shí)驗原理 197
36．4 實(shí)驗步驟 199
36．5 實(shí)驗結(jié)果 200
實(shí)驗三十七 綜合實(shí)戰(zhàn)：車牌識別 202
37．1 實(shí)驗?zāi)康?202
37．2 實(shí)驗要求 202
37．3 實(shí)驗步驟 202
37．4 實(shí)驗結(jié)果 209
實(shí)驗三十八 綜合實(shí)戰(zhàn)：搜索引擎 211
38．1 實(shí)驗?zāi)康?211
38．2 實(shí)驗要求 211
38．3 實(shí)驗步驟 211
38．4 實(shí)驗結(jié)果 236
實(shí)驗三十九 綜合實(shí)戰(zhàn)：推薦系統(tǒng) 239
39．1 實(shí)驗?zāi)康?239
39．2 實(shí)驗要求 239
39．3 實(shí)驗步驟 239
39．4 實(shí)驗結(jié)果 245
實(shí)驗四十 綜合實(shí)戰(zhàn)：環(huán)境大數(shù)據(jù) 247
40．1 實(shí)驗?zāi)康?247
40．2 實(shí)驗要求 247
40．3 實(shí)驗原理 247
40．4 實(shí)驗步驟 247
實(shí)驗四十一 綜合實(shí)戰(zhàn)：智能硬件大數(shù)據(jù)托管 259
41．1 實(shí)驗?zāi)康?259
41．2 實(shí)驗要求 259
41．3 實(shí)驗原理 259
41．4 實(shí)驗步驟 261
41．5 實(shí)驗結(jié)果 266
實(shí)驗四十二 綜合實(shí)戰(zhàn)：貸款風(fēng)險評估 268
42．1 實(shí)驗?zāi)康?268
42．2 實(shí)驗要求 268
42．3 實(shí)驗原理 268
42．4 實(shí)驗相關(guān) 269
42．5 實(shí)驗結(jié)果 275
書單推薦
