目錄
第1章　大數(shù)據(jù)概述1
1.1 大數(shù)據(jù)的時代背景1
1.1.1 信息化浪潮1
1.1.2 大數(shù)據(jù)及相關(guān)技術(shù)的發(fā)展歷程2
1.1.3 我國的大數(shù)據(jù)戰(zhàn)略5
1.2 大數(shù)據(jù)的概念及特征6
1.2.1 大數(shù)據(jù)的概念6
1.2.2 大數(shù)據(jù)的核心特征8
1.2.3 大數(shù)據(jù)的作用10
1.3 大數(shù)據(jù)體系13
1.3.1 大數(shù)據(jù)采集層14
1.3.2 大數(shù)據(jù)存儲層16
1.3.3 大數(shù)據(jù)處理與分析層19
1.3.4 大數(shù)據(jù)應(yīng)用層21
1.4 大數(shù)據(jù)面臨的挑戰(zhàn)23
1.4.1 個人隱私泄露問題23
1.4.2 數(shù)據(jù)安全問題24
1.4.3 信息繭房24
1.4.4 大數(shù)據(jù)“殺熟”25
參考文獻(xiàn)26
第2章　大數(shù)據(jù)架構(gòu)28
2.1 大數(shù)據(jù)處理架構(gòu)Hadoop28
2.1.1 分布式系統(tǒng)28
2.1.2 Hadoop概述30
2.1.3 Hadoop生態(tài)系統(tǒng)32
2.2 分布式文件系統(tǒng)HDFS34
2.2.1 HDFS35
2.2.2 HDFS的體系結(jié)構(gòu)38
2.2.3 HDFS的數(shù)據(jù)存儲與數(shù)據(jù)讀寫39
2.3 分布式計算框架MapReduce42
2.3.1 MapReduce43
2.3.2 MapReduce的體系結(jié)構(gòu)44
2.3.3 MapReduce的工作流程45
2.3.4 MapReduce運算實例49
2.4 對Hadoop架構(gòu)的進(jìn)一步探討50
2.4.1 Hadoop的局限與優(yōu)化50
2.4.2 HDFS2.0的新特性51
2.4.3 新一代資源管理調(diào)度框架YARN53
2.4.4 Hadoop生態(tài)系統(tǒng)中的其他功能組件56
參考文獻(xiàn)59
第3章　大數(shù)據(jù)預(yù)處理60
3.1 大數(shù)據(jù)預(yù)處理概述60
3.2 數(shù)據(jù)清洗60
3.2.1 數(shù)據(jù)的完整性61
3.2.2 數(shù)據(jù)的一致性62
3.2.3 噪聲數(shù)據(jù)處理62
3.2.4 缺失數(shù)據(jù)處理63
3.2.5 冗余數(shù)據(jù)清理64
3.3 數(shù)據(jù)集成65
3.3.1 數(shù)據(jù)集成的概念65
3.3.2 數(shù)據(jù)集成的分類66
3.3.3 數(shù)據(jù)集成的模式68
3.3.4 數(shù)據(jù)集成系統(tǒng)69
3.4 數(shù)據(jù)約簡70
3.4.1 維度歸約70
3.4.2 數(shù)據(jù)壓縮72
3.4.3 數(shù)值歸約72
3.4.4 概念分層73
3.5 數(shù)據(jù)變換73
3.5.1 數(shù)據(jù)平滑73
3.5.2 數(shù)據(jù)聚集75
3.5.3 數(shù)據(jù)離散化75
3.5.4 數(shù)據(jù)稀疏化76
3.5.5 數(shù)據(jù)規(guī)范化77
參考文獻(xiàn)79
第4章　大數(shù)據(jù)分析80
4.1 大數(shù)據(jù)分析概述80
4.1.1 探索性數(shù)據(jù)分析80
4.1.2 模型建立84
4.1.3 模型評估86
4.2 回歸模型89
4.2.1 回歸模型概述89
4.2.2 線性回歸90
4.2.3 支持向量回歸92
4.2.4 嶺回歸和LASSO回歸93
4.2.5 時間序列回歸95
4.3 分類模型97
4.3.1 分類模型概述97
4.3.2 邏輯回歸98
4.3.3 支持向量機99
4.3.4 決策樹101
4.3.5 k近鄰102
4.4 聚類模型104
4.4.1 聚類模型概述104
4.4.2 k均值聚類模型105
4.4.3 高斯混合模型107
4.4.4 DBSCAN108
4.5 對大數(shù)據(jù)分析技術(shù)的進(jìn)一步探討110
4.5.1 神經(jīng)網(wǎng)絡(luò)110
4.5.2 知識圖譜114
4.5.3 圖神經(jīng)網(wǎng)絡(luò)116
4.5.4 生成對抗網(wǎng)絡(luò)118
參考文獻(xiàn)119
第5章　大數(shù)據(jù)在用戶行為分析中的應(yīng)用120
5.1 大數(shù)據(jù)與用戶行為分析概述120
5.1.1 大數(shù)據(jù)與用戶行為分析120
5.1.2 大數(shù)據(jù)用戶行為分析的應(yīng)用場景121
5.1.3 大數(shù)據(jù)用戶行為分析的數(shù)據(jù)采集與處理122
5.1.4 大數(shù)據(jù)用戶行為分析的模型構(gòu)建方法124
5.2 大數(shù)據(jù)與電商126
5.2.1 用戶健康度分析126
5.2.2 用戶路徑分析127
5.2.3 用戶漏斗分析128
5.2.4 用戶生命周期分析129
5.3 大數(shù)據(jù)與流媒體（音頻、視頻、直播）131
5.3.1 用戶注意力分析131
5.3.2 用戶價值分析133
5.3.3 社交網(wǎng)絡(luò)分析134
5.4 大數(shù)據(jù)與游戲136
5.4.1 用戶分群137
5.4.2 用戶流失預(yù)警139
5.4.3　異常行為監(jiān)控141
參考文獻(xiàn)145
第6章　大數(shù)據(jù)在金融與投資中的應(yīng)用147
6.1 大數(shù)據(jù)與金融147
6.1.1 概述147
6.1.2 數(shù)據(jù)獲取149
6.1.3 安全治理150
6.2 大數(shù)據(jù)與銀行151
6.2.1 信貸風(fēng)險管理152
6.2.2 客戶身份識別與反洗錢155
6.2.3 區(qū)塊鏈與數(shù)字貨幣157
6.3 大數(shù)據(jù)與保險160
6.3.1 產(chǎn)品設(shè)計與定價160
6.3.2 精準(zhǔn)營銷163
6.3.3 智能理賠與保險反欺詐165
6.4 大數(shù)據(jù)與投資167
6.4.1 量化投資與高頻交易168
6.4.2 投資策略優(yōu)化170
6.4.3 智能投顧173
參考文獻(xiàn)176
第7章　大數(shù)據(jù)在消費領(lǐng)域中的應(yīng)用178
7.1 大數(shù)據(jù)與消費領(lǐng)域概述178
7.1.1 傳統(tǒng)消費領(lǐng)域與數(shù)字消費領(lǐng)域178
7.1.2 消費領(lǐng)域的大數(shù)據(jù)獲取179
7.1.3 消費領(lǐng)域的大數(shù)據(jù)技術(shù)分類181
7.2 大數(shù)據(jù)與傳統(tǒng)消費184
7.2.1 傳統(tǒng)零售企業(yè)的數(shù)字化轉(zhuǎn)型184
7.2.2 傳統(tǒng)消費體驗的多元化187
7.2.3 傳統(tǒng)消費形式的變革191
7.3 大數(shù)據(jù)與數(shù)字消費193
7.3.1 數(shù)字文化消費創(chuàng)新193
7.3.2 數(shù)字消費體驗升級196
7.3.3 數(shù)字消費形式新業(yè)態(tài)197
參考文獻(xiàn)200
第8章　大數(shù)據(jù)在財稅與貿(mào)易中的應(yīng)用201
8.1 財稅與貿(mào)易大數(shù)據(jù)概述201
8.1.1 財務(wù)大數(shù)據(jù)的組成201
8.1.2 稅收大數(shù)據(jù)的組成203
8.1.3 貿(mào)易大數(shù)據(jù)的組成205
8.1.4 財稅與貿(mào)易大數(shù)據(jù)的獲取209
8.2 大數(shù)據(jù)與財務(wù)管理213
8.2.1 財務(wù)管理面臨的挑戰(zhàn)213
8.2.2 大數(shù)據(jù)對財務(wù)管理的影響215
8.2.3 財務(wù)大數(shù)據(jù)的分析方法216
8.2.4 大數(shù)據(jù)在財務(wù)管理中的應(yīng)用218
8.3 大數(shù)據(jù)與稅收管理220
8.3.1 大數(shù)據(jù)時代的稅收管理新要求220
8.3.2 稅收大數(shù)據(jù)的應(yīng)用方向221
8.3.3 稅收大數(shù)據(jù)的分析方法222
8.3.4 大數(shù)據(jù)在稅收征管中的應(yīng)用227
8.4 大數(shù)據(jù)與貿(mào)易229
8.4.1 大數(shù)據(jù)在跨境貿(mào)易監(jiān)管中的應(yīng)用230
8.4.2 大數(shù)據(jù)在貿(mào)易檢驗檢疫中的應(yīng)用232
參考文獻(xiàn)235