第1章大數據基礎1

1.1什么是大數據4

1.1.1天文學——信息爆炸的起源5

1.1.2信息爆炸的社會5

1.1.3大數據的發(fā)展7

1.1.4大數據作為BI的進化形式8

1.2大數據的定義9

1.2.1定義大數據9

1.2.2大數據的3V特征10

1.2.3廣義的大數據12

1.3大數據的結構類型12

1.4大數據應用改變生活13

1.4.1在線娛樂14

1.4.2在線廣告14

1.4.3銷售和營銷14

1.4.4數據可視化15

1.4.5運營智能15

1.5大數據準備度自我評分表16

作業(yè)19第2章大數據分析基礎22

2.1大數據的影響25

2.2數據具有內在預測性27

2.3大數據分析的定義27

2.44種數據分析方法28

2.4.1描述性分析29

2.4.2診斷性分析30

2.4.3預測性分析30

2.4.4規(guī)范性分析32

2.4.5關鍵績效指標33

2.5定性分析與定量分析33

2.6大數據分析的行業(yè)作用33

2.6.1大數據分析的作用33

2.6.2大數據分析的關鍵應用35

2.6.3大數據分析的能力分析36

2.6.4大數據分析面臨的問題36

作業(yè)38第3章大數據分析生命周期40

3.1大數據分析生命周期概述43

3.2商業(yè)案例評估44

3.3數據標識44

3.4數據獲取與過濾44

3.5數據提取45

3.6數據驗證與清理46

3.7數據聚合與表示47

3.8數據分析48

3.9數據可視化48

3.10分析結果的使用49

作業(yè)50第4章大數據分析基本原則52

4.1大數據的現代分析原則54

4.2原則1： 實現商業(yè)價值和影響56

4.3原則2： 專注于最后一千米56

4.4原則3： 持續(xù)改善57

4.5原則4： 加速學習能力和執(zhí)行力58

4.6原則5： 差異化分析58

4.7原則6： 嵌入分析59

4.8原則7： 建立現代分析架構59

4.9原則8： 構建人力因素60

4.10原則9： 利用消費化趨勢60

作業(yè)61第5章構建分析路線63

5.1什么是分析路線66

5.1.1商業(yè)競爭3.0時代66

5.1.2創(chuàng)建獨特的分析路線67

5.2第1步： 確定關鍵業(yè)務目標69

5.3第2步： 定義價值鏈69

5.4第3步： 頭腦風暴分析解決方案機會71

5.4.1應用描述71

5.4.2分析手段71

5.5第4步： 描述分析解決方案機會74

5.6第5步： 創(chuàng)建決策模型74

5.7第6步： 評估分析解決方案機會75

5.8第7步： 建立分析路線圖77

5.9第8步： 不斷演進分析路線圖77

作業(yè)77第6章大數據分析的運用79

6.1企業(yè)分析的分類81

6.2戰(zhàn)略分析82

6.2.1專案分析83

6.2.2戰(zhàn)略市場細分84

6.2.3經濟預測84

6.2.4業(yè)務模擬84

6.3管理分析85

6.4運營分析86

6.5科學分析88

6.6面向客戶的分析89

6.6.1預測服務89

6.6.2分析應用89

6.6.3消費分析90

6.6.4案例： 大數據促進商業(yè)決策91

作業(yè)94第7章大數據分析的用例96

7.1什么是用例100

7.2預測用例101

7.3解釋用例104

7.4預報用例104

7.5發(fā)現用例106

7.6模擬用例106

7.7優(yōu)化用例107

作業(yè)107第8章預測分析方法109

8.1預測分析方法論111

8.2定義業(yè)務需求113

8.2.1理解業(yè)務問題113

8.2.2定義應對措施113

8.2.3了解誤差成本115

8.2.4確定預測窗口116

8.2.5評估部署環(huán)境116

8.3建立分析數據集117

8.3.1配置數據117

8.3.2評估數據117

8.3.3調查異常值118

8.3.4轉換數據119

8.3.5執(zhí)行基本表操作119

8.3.6處理丟失數據120

8.4降維與特征工程120

8.4.1降維120

8.4.2特征工程120

8.4.3特征變換123

8.5建立預測模型123

8.5.1制訂建模計劃123

8.5.2細分數據集124

8.5.3執(zhí)行模型訓練計劃125

8.5.4測量模型效果125

8.5.5驗證模型126

8.6部署預測模型126

8.6.1審查和批準預測模型127

8.6.2執(zhí)行模型評分127

8.6.3評價模型效果128

8.6.4管理模型資產128

8.7預測分析軟件系統(tǒng)129

作業(yè)129第9章預測分析技術132

9.1關于預測分析技術136

9.2統(tǒng)計分析136

9.3生存分析137

9.4有監(jiān)督和無監(jiān)督學習138

9.4.1有監(jiān)督學習138

9.4.2無監(jiān)督學習140

9.4.3有監(jiān)督和無監(jiān)督學習的區(qū)別141

9.5機器學習141

9.5.1機器學習的思路141

9.5.2異常檢測142

9.5.3過濾144

9.5.4貝葉斯網絡145

9.5.5文本挖掘146

9.6神經網絡147

9.7深度學習149

9.8語義分析151

9.8.1自然語言處理152

9.8.2文本分析152

9.8.3文本處理153

9.8.4語義檢索154

9.8.5A/B測試154

9.9視覺分析155

9.9.1熱點圖156

9.9.2空間數據圖156

作業(yè)157第10章大數據分析模型161

10.1什么是分析模型169

10.2關聯(lián)分析模型169

10.2.1回歸分析170

10.2.2關聯(lián)規(guī)則分析171

10.2.3相關分析172

10.2.4相關分析與回歸分析173

10.3分類分析模型173

10.3.1判別分析的原理和方法174

10.3.2基于機器學習的分類模型174

10.3.3支持向量機175

10.3.4邏輯回歸176

10.3.5決策樹176

10.3.6k近鄰177

10.3.7隨機森林178

10.3.8樸素貝葉斯180

10.4聚類分析模型180

10.4.1聚類問題分析181

10.4.2聚類分析的分類182

10.4.3聚類有效性的評價183

10.4.4聚類分析方法183

10.4.5聚類分析的應用184

10.5結構分析模型184

10.5.1典型的結構分析方法184

10.5.2社團發(fā)現185

10.6文本分析模型185

作業(yè)186第11章用戶角色與分析工具189

11.1用戶角色193

11.1.1超級分析師193

11.1.2數據科學家194

11.1.3業(yè)務分析師195

11.1.4分析使用者195

11.2分析的成功因素196

11.3分析編程語言197

11.3.1R語言197

11.3.2SAS編程語言199

11.3.3SQL200

11.4業(yè)務用戶工具201

11.4.1BI的常用技術201

11.4.2BI工具和方法的發(fā)展歷程202

11.4.3新的分析工具與方法204

11.4.4業(yè)務工具實例206

作業(yè)208第12章大數據分析平臺210

12.1分布式分析217

12.1.1關于并行計算217

12.1.2并行計算的三種形式218

12.1.3數據并行與“正交”218

12.1.4分布式的軟件環(huán)境219

12.2預測分析架構220

12.2.1獨立分析220

12.2.2部分集成分析221

12.2.3基于數據庫的分析223

12.2.4基于Hadoop的分析224

12.3Apache Spark分布式分析軟件225

12.4云計算中的分析227

12.4.1公有云和私有云228

12.4.2安全和數據移動229

12.5現代SQL平臺229

12.5.1什么是現代SQL平臺230

12.5.2現代SQL平臺區(qū)別于傳統(tǒng)SQL平臺231

12.5.3MPP數據庫232

12.5.4SQL�瞣n�睭adoop232

12.5.5NewSQL數據庫233

12.5.6現代SQL平臺的發(fā)展233

作業(yè)234第13章社交網絡與推薦系統(tǒng)236

13.1社交網絡的定義239

13.1.1社交網絡的特點240

13.1.2社交網絡度量241

13.1.3社交網絡學習242

13.2社交網絡的結構243

13.2.1社交網絡的統(tǒng)計學構成244

13.2.2社交網絡的群體形成245

13.2.3圖與網絡分析246

13.3社交網絡的關聯(lián)分析248

13.4推薦系統(tǒng)248

13.4.1推薦系統(tǒng)的概念248

13.4.2推薦方法的組合251

13.4.3推薦系統(tǒng)的評價252

13.5協(xié)同過濾252

13.6推薦方法254

13.6.1基于用戶評價的推薦254

13.6.2基于人的推薦255

13.6.3基于標簽的推薦255

作業(yè)256第14章組織分析團隊258

14.1企業(yè)的分析文化262

14.1.1管理分析團隊的有效因素262

14.1.2繁榮分析的文化共性263

14.2數據科學家（數據工作者）264

14.2.1數據科學家角色264

14.2.2分析人才的四種角色264

14.2.3數據準備專業(yè)人員266

14.2.4分析程序員266

14.2.5分析經理267

14.2.6分析通才268

14.2.7吸引數據科學家269

14.3集中式與分散式分析團隊270

14.4組織分析團隊272

14.4.1卓越中心272

14.4.2首席數據官與首席分析官272

14.4.3實驗室團隊273

14.4.4數據科學技能自我評估273

14.5走起，大數據分析275

作業(yè)276附錄278

附錄A部分作業(yè)參考答案278

附錄B大數據分析課程實踐280

B.1大數據幫零售企業(yè)制定促銷策略280

B.2電信公司通過大數據分析挽回核心客戶280

B.3大數據幫能源企業(yè)設置發(fā)電機地點281

B.4電商企業(yè)通過大數據制定銷售戰(zhàn)略281

B.5案例分析與課程實踐要求281

參考文獻284