項(xiàng)目一 大數(shù)據(jù)存儲(chǔ) 1
任務(wù)1 數(shù)據(jù)倉庫介紹 3
1.1.1 數(shù)據(jù)倉庫概念 3
1.1.2 數(shù)據(jù)倉庫的構(gòu)建 4
1.1.3 數(shù)據(jù)倉庫的主要特點(diǎn) 5
1.1.4 數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別 5
1.1.5 數(shù)據(jù)倉庫應(yīng)用場(chǎng)景 6
任務(wù)2 NoSQL數(shù)據(jù)庫介紹 7
1.2.1 NoSQL數(shù)據(jù)庫概念 7
1.2.2 NoSQL數(shù)據(jù)庫的基本原理 7
1.2.3 NoSQL數(shù)據(jù)庫的常見存儲(chǔ)結(jié)構(gòu)類型 8
1.2.4 NoSQL數(shù)據(jù)庫適用場(chǎng)景 8
1.2.5 NoSQL數(shù)據(jù)庫的關(guān)鍵技術(shù) 9
項(xiàng)目二 Hadoop基礎(chǔ)介紹 11
任務(wù)1 基于VMware創(chuàng)建CentOS 7虛擬機(jī) 14
2.1.1 VMware軟件安裝 14
2.1.2 創(chuàng)建CentOS 7虛擬機(jī) 16
2.1.3 虛擬機(jī)網(wǎng)絡(luò)配置 23
任務(wù)2 Hadoop環(huán)境搭建 29
2.2.1 Java環(huán)境配置 29
2.2.2 Hadoop偽分布式環(huán)境搭建 30
項(xiàng)目三 HDFS操作與MapReduce基礎(chǔ) 36
任務(wù)1 HDFS的操作命令 39
3.1.1 環(huán)境準(zhǔn)備 39
3.1.2 HDFS操作 40
任務(wù)2 第一個(gè)MapReduce程序WordCount 43
3.2.1 創(chuàng)建MapReduce工程 43
3.2.2 編寫代碼 46
3.2.3 MapReduce程序運(yùn)行 50
項(xiàng)目四 Hive基礎(chǔ)介紹 55
任務(wù)1 Hive安裝 60
4.1.1 基礎(chǔ)環(huán)境準(zhǔn)備 60
4.1.2 Hive安裝步驟 60
任務(wù)2 Hive數(shù)據(jù)庫操作 62
任務(wù)3 Hive數(shù)據(jù)表操作 65
項(xiàng)目五 Hive數(shù)據(jù)類型 72
任務(wù)1 Hive原始數(shù)據(jù)類型應(yīng)用 75
5.1.1 數(shù)值類型 75
5.1.2 字符串類型 76
5.1.3 布爾類型與時(shí)間類型 77
5.1.4 插入演示數(shù)據(jù) 78
任務(wù)2 Hive復(fù)雜數(shù)據(jù)類型應(yīng)用 79
5.2.1 array 79
5.2.2 map 80
5.2.3 struct 81
5.2.4 union 82
項(xiàng)目六 Hive表操作 84
任務(wù)1 Hive內(nèi)部表與外部表 86
6.1.1 Hive內(nèi)部表 86
6.1.2 Hive外部表 88
任務(wù)2 Hive分區(qū)表 91
任務(wù)3 Hive分桶表 96
項(xiàng)目七 Hive數(shù)據(jù)操作 100
任務(wù) Hive數(shù)據(jù)操作 102
7.1.1 使用load命令加載數(shù)據(jù) 103
7.1.2 使用insert命令插入數(shù)據(jù) 104
7.1.3 export命令與import命令 108
7.1.4 使用truncate命令刪除數(shù)據(jù) 109
項(xiàng)目八 Hive QL語句 111
任務(wù)1 Hive QL語句 112
8.1.1 基礎(chǔ)查詢 113
8.1.2 運(yùn)算符 116
8.1.3 Hive函數(shù) 117
8.1.4 表連接 125
8.1.5 排序 128
8.1.6 分組 131
任務(wù)2 Hive JDBC操作 133
8.2.1 Hive JDBC工程搭建 133
8.2.2 通過Hive JDBC操作數(shù)據(jù)表 137
項(xiàng)目九 HBase基礎(chǔ)介紹 144
任務(wù) HBase安裝 147
9.1.1 基礎(chǔ)環(huán)境準(zhǔn)備 147
9.1.2 安裝HBase 148
項(xiàng)目十 HBase操作 151
任務(wù)1 HBase Shell操作 154
任務(wù)2 HBase Java API 157
項(xiàng)目十一 Sqoop基礎(chǔ)介紹 167
任務(wù)1 Sqoop安裝 169
任務(wù)2 Sqoop應(yīng)用 170
項(xiàng)目十二 綜合應(yīng)用——電商會(huì)員分析 176
任務(wù)1 Sqoop會(huì)員數(shù)據(jù)采集 178
12.1.1 準(zhǔn)備數(shù)據(jù) 178
12.1.2 數(shù)據(jù)采集 180
任務(wù)2 會(huì)員信息分析 181