第1章Scala語言基礎1
1.1Scala概述1
1.1.1初識Scala1
1.1.2Scala的安裝2
1.1.3在IntelliJ IDEA中安裝Scala插件6
1.1.4Scala初體驗8
1.2Scala的基礎語法12
1.2.1變量12
1.2.2常量12
1.2.3數(shù)據(jù)類型13
1.2.4運算符15
1.2.5控制結構語句16
1.2.6方法和函數(shù)26
1.3Scala數(shù)據(jù)結構29
1.3.1數(shù)組29
1.3.2元組35
1.3.3集合36
1.4Scala面向對象43
1.4.1類和對象43
1.4.2單例對象46
1.4.3繼承47
1.4.4特質49
1.5本章小結51
1.6課后習題51
第2章Spark基礎53
2.1初識Spark53
2.1.1Spark概述53
2.1.2Spark的特點54
2.1.3Spark應用場景55
2.1.4Spark與MapReduce的區(qū)別55
2.2Spark基本架構及運行流程56
2.2.1基本概念56
2.2.2Spark基本架構57
2.2.3Spark運行流程58
2.3Spark的部署模式59
2.4部署Spark59
2.4.1基于Local模式部署Spark59
2.4.2基于Standalone模式部署Spark61
2.4.3基于High Availability模式部署Spark66
2.4.4基于Spark on YARN模式部署Spark70
2.5Spark初體驗71
2.6Spark Shell73
2.6.1Spark Shell命令74
2.6.2讀取HDFS文件實現(xiàn)詞頻統(tǒng)計74
2.7案例開發(fā)Spark程序76
2.7.1環(huán)境準備76
2.7.2基于本地模式開發(fā)Spark程序80
2.7.3基于集群模式開發(fā)Spark程序81
2.8本章小結84
2.9課后習題84
目錄Spark大數(shù)據(jù)分析與實戰(zhàn)（第2版）第3章Spark RDD彈性分布式數(shù)據(jù)集86
3.1RDD簡介86
3.2RDD的創(chuàng)建87
3.2.1基于文件創(chuàng)建RDD87
3.2.2基于數(shù)據(jù)集合創(chuàng)建RDD89
3.3RDD的處理過程89
3.3.1轉換算子90
3.3.2行動算子97
3.4RDD的分區(qū)102
3.5RDD的依賴關系103
3.6RDD機制105
3.6.1持久化機制105
3.6.2容錯機制106
3.7Spark的任務調(diào)度107
3.7.1DAG的概念107
3.7.2RDD在Spark中的運行流程108
3.8本章小結109
3.9課后習題110
第4章Spark SQL結構化數(shù)據(jù)處理模塊111
4.1Spark SQL的基礎知識111
4.1.1Spark SQL的簡介111
4.1.2Spark SQL架構112
4.2DataFrame的基礎知識113
4.2.1DataFrame簡介113
4.2.2DataFrame的創(chuàng)建114
4.2.3DataFrame的常用操作117
4.2.4DataFrame的函數(shù)操作120
4.3RDD轉換為DataFrame130
4.3.1反射機制推斷Schema130
4.3.2編程方式定義Schema132
4.4Dataset的基礎知識133
4.4.1Dataset簡介133
4.4.2Dataset的創(chuàng)建134
4.5Spark SQL操作數(shù)據(jù)源135
4.5.1Spark SQL操作MySQL136
4.5.2Spark SQL操作Hive139
4.6本章小結141
4.7課后習題141
第5章HBase分布式數(shù)據(jù)庫143
5.1HBase的基礎知識143
5.1.1HBase的簡介143
5.1.2HBase的數(shù)據(jù)模型144
5.2深入學習HBase原理145
5.2.1HBase架構145
5.2.2物理存儲146
5.2.3HBase讀寫數(shù)據(jù)流程147
5.3搭建HBase高可用集群149
5.4HBase的基本操作154
5.4.1HBase的Shell操作154
5.4.2HBase的Java API操作160
5.5HBase集成Hive167
5.6本章小結172
5.7課后習題172
第6章Kafka分布式發(fā)布訂閱消息系統(tǒng)173
6.1消息隊列簡介173
6.2Kafka簡介176
6.3Kafka工作原理176
6.3.1Kafka的基本架構176
6.3.2Kafka工作流程179
6.4搭建Kafka集群180
6.5Kafka的基本操作182
6.5.1Kafka的Shell操作183
6.5.2Kafka的Scala API操作186
6.6Kafka Streams190
6.6.1Kafka Streams概述191
6.6.2Kafka Streams實現(xiàn)單詞計數(shù)功能191
6.7本章小結194
6.8課后習題195
第7章Spark Streaming實時計算框架197
7.1實時計算概述197
7.2Spark Streaming的概述198
7.2.1Spark Streaming簡介198
7.2.2Spark Streaming的工作原理200
7.3Spark Streaming的DStream200
7.4Spark Streaming的編程模型201
7.5Spark Streaming的API操作202
7.5.1輸入操作202
7.5.2轉換操作205
7.5.3輸出操作214
7.5.4窗口操作218
7.5.5案例電商網(wǎng)站實時熱門品類統(tǒng)計223
7.6Spark Streaming整合Kafka226
7.7本章小結229
7.8課后習題229
第8章Structured Streaming流計算引擎231
8.1Spark Streaming的不足231
8.2Structured Streaming概述232
8.2.1Structured Streaming簡介232
8.2.2Structured Streaming編程模型233
8.3Structured Streaming的API操作234
8.3.1輸入操作234
8.3.2轉換操作239
8.3.3輸出操作242
8.4時間和窗口操作247
8.4.1時間的分類247
8.4.2窗口操作248
8.5案例物聯(lián)網(wǎng)設備數(shù)據(jù)分析252
8.5.1準備數(shù)據(jù)252
8.5.2分析數(shù)據(jù)255
8.6本章小結259
8.7課后習題259
第9章Spark MLlib機器學習庫261
9.1初識機器學習261
9.1.1什么是機器學習261
9.1.2機器學習的應用262
9.2Spark MLlib概述263
9.2.1Spark MLlib簡介263
9.2.2Spark MLlib工作流程264
9.3數(shù)據(jù)類型265
9.4Spark MLlib基本統(tǒng)計269
9.4.1摘要統(tǒng)計270
9.4.2相關統(tǒng)計271
9.4.3分層抽樣272
9.5分類273
9.5.1線性支持向量機274
9.5.2邏輯回歸276
9.6案例構建電影推薦系統(tǒng)278
9.6.1案例分析278
9.6.2案例實現(xiàn)279
9.7本章小結282
9.8課后習題282
第10章綜合案例在線教育學生學習情況分析系統(tǒng)284
10.1系統(tǒng)概述284
10.1.1系統(tǒng)背景介紹284
10.1.2系統(tǒng)流程分析285
10.2Redis的安裝和啟動286
10.3模塊開發(fā)構建項目結構287
10.4模塊開發(fā)在線教育數(shù)據(jù)的生成288
10.5模塊開發(fā)實時分析學生答題情況288
10.6模塊開發(fā)實時推薦題目288
10.7模塊開發(fā)學生答題情況離線分析289
10.8模塊開發(fā)數(shù)據(jù)可視化289
10.9本章小結289