本書源碼

基礎(chǔ)篇

第1章認(rèn)識數(shù)據(jù)倉庫00

1.1大數(shù)據(jù)在如今社會中的運(yùn)用00

1.2大數(shù)據(jù)相關(guān)崗位介紹00

1.2.1數(shù)據(jù)倉庫崗位介紹00

1.2.2數(shù)據(jù)平臺崗位介紹00

1.2.3數(shù)據(jù)分析崗位介紹00

1.2.4數(shù)據(jù)產(chǎn)品崗位介紹00

1.2.5數(shù)據(jù)挖掘崗位介紹00

1.3大數(shù)據(jù)在企業(yè)中的組織架構(gòu)00

1.3.1數(shù)據(jù)中臺00

1.3.2業(yè)務(wù)線數(shù)據(jù)00

1.4數(shù)據(jù)倉庫崗在大數(shù)據(jù)生態(tài)中的定位00

1.4.1數(shù)據(jù)倉庫概念00

1.4.2數(shù)據(jù)倉庫定位00

1.5數(shù)據(jù)倉庫發(fā)展史00

1.5.1數(shù)倉1.0傳統(tǒng)數(shù)據(jù)倉庫時代00

1.5.2數(shù)倉2.0 Hadoop生態(tài)時代00

1.5.3數(shù)倉3.0云端及數(shù)據(jù)平臺時代00

1.5.4數(shù)倉4.0湖倉一體時代00

1.6數(shù)據(jù)倉庫建設(shè)內(nèi)容簡介00

1.6.1數(shù)據(jù)倉庫建設(shè)版圖0

1.6.2數(shù)據(jù)基建簡介0

1.6.3數(shù)據(jù)資產(chǎn)簡介0

1.6.4數(shù)據(jù)服務(wù)簡介 0

1.6.5數(shù)據(jù)應(yīng)用簡介0

1.7數(shù)據(jù)倉庫架構(gòu)介紹0

1.7.1Lambda架構(gòu)0

1.7.2HSAP架構(gòu)0

1.7.3流批一體架構(gòu)0

1.7.4Doris架構(gòu)0

1.8數(shù)據(jù)倉庫所使用的技術(shù)棧0

第2章數(shù)據(jù)倉庫模型建設(shè)0

2.1OLTP與OLAP0

2.1.1什么是OLTP0

2.1.2什么是OLAP0

2.1.3OLTP與OLAP的區(qū)別0

2.2數(shù)據(jù)倉庫分層0

2.2.1數(shù)據(jù)倉庫分層原理0

2.2.2數(shù)據(jù)倉庫分層內(nèi)容0

2.3數(shù)據(jù)倉庫模型介紹0

2.4數(shù)據(jù)倉庫模型建設(shè)方法0

2.4.1三范式建模與維度建模介紹0

2.4.2三范式建模與維度建模區(qū)別0

2.5數(shù)據(jù)模型建設(shè)的具體流程0

2.5.1數(shù)據(jù)模型設(shè)計的基本原則0

2.5.2數(shù)據(jù)模型設(shè)計過程0

2.5.3數(shù)據(jù)模型建設(shè)五要素0

2.6數(shù)據(jù)域與主題域0

2.7事實(shí)表設(shè)計0

2.7.1事實(shí)表類型0

2.7.2三類事實(shí)表區(qū)別0

2.7.3全量和增量0

2.7.4拉鏈表0

2.7.5完整的數(shù)據(jù)模型內(nèi)容案例0

2.8數(shù)據(jù)標(biāo)準(zhǔn)介紹0

2.8.1數(shù)據(jù)模型命名規(guī)范0

2.8.2數(shù)據(jù)模型命名詞根0

2.8.3字段命名規(guī)范0

2.8.4字段類型規(guī)范0

2.8.5數(shù)據(jù)模型元數(shù)據(jù)規(guī)范0

2.8.6數(shù)據(jù)模型分區(qū)生命周期0

2.9數(shù)據(jù)模型發(fā)展周期0

2.10數(shù)據(jù)模型分層新式方法0

基建篇

第3章元數(shù)據(jù)0

3.1元數(shù)據(jù)定義及分類0

3.1.1元數(shù)據(jù)定義0

3.1.2元數(shù)據(jù)分類0

3.2元數(shù)據(jù)模型0

3.2.1確定元數(shù)據(jù)對象0

3.2.2確定元數(shù)據(jù)屬性0

3.2.3確定元數(shù)據(jù)關(guān)系0

3.2.4創(chuàng)建元數(shù)據(jù)模型0

3.3元數(shù)據(jù)管理0

3.3.1元數(shù)據(jù)采集與收集0

3.3.2元數(shù)據(jù)存儲0

3.3.3元數(shù)據(jù)維護(hù)0

3.3.4元數(shù)據(jù)使用0

3.4元數(shù)據(jù)管理工具0

3.5數(shù)據(jù)血緣0

3.5.1數(shù)據(jù)血緣功能0

3.5.2數(shù)據(jù)血緣類型0

第4章數(shù)據(jù)指標(biāo)體系0

4.1數(shù)據(jù)指標(biāo)概念0

4.2數(shù)據(jù)指標(biāo)分類0

4.2.1按用途分類0

4.2.2按計算方法分類0

4.2.3按時間范圍分類0

4.3數(shù)據(jù)指標(biāo)設(shè)計0

4.3.1明確目標(biāo)0

4.3.2選擇方法0

4.3.3確保一致性0

4.3.4詞根分類0

4.4數(shù)據(jù)指標(biāo)的應(yīng)用場景0

4.4.1數(shù)據(jù)明細(xì)報表0

4.4.2數(shù)據(jù)可視化圖0

4.4.3數(shù)據(jù)挖掘0

4.4.4指標(biāo)監(jiān)控0

4.5數(shù)據(jù)指標(biāo)中心建設(shè)0

4.5.1數(shù)據(jù)指標(biāo)中心建設(shè)的目的0

4.5.2數(shù)據(jù)指標(biāo)中心解決的痛點(diǎn)問題0

4.5.3數(shù)據(jù)指標(biāo)中心建設(shè)流程0

第5章數(shù)據(jù)質(zhì)量0

5.1數(shù)據(jù)質(zhì)量背景0

5.1.1數(shù)據(jù)質(zhì)量概念0

5.1.2數(shù)據(jù)質(zhì)量存在的痛點(diǎn)問題0

5.2數(shù)據(jù)質(zhì)量保障措施0

5.2.1制定數(shù)據(jù)模型及指標(biāo)的上線變更規(guī)范0

5.2.2數(shù)據(jù)質(zhì)量監(jiān)控0

5.2.3數(shù)據(jù)基線及SLA0

5.2.4容災(zāi)備份快速恢復(fù)能力0

5.2.5數(shù)據(jù)問題上報平臺0

5.2.6源頭數(shù)據(jù)質(zhì)量長期監(jiān)測跟蹤體系0

5.3推動上下游開展數(shù)據(jù)質(zhì)量建設(shè)活動0

5.3.1數(shù)據(jù)倉庫發(fā)展期0

5.3.2數(shù)據(jù)倉庫成熟期0

5.4數(shù)據(jù)質(zhì)量思考0

第6章數(shù)據(jù)安全0

6.1數(shù)據(jù)安全背景0

6.2數(shù)據(jù)安全實(shí)施難點(diǎn)0

6.2.1數(shù)據(jù)安全要做什么0

6.2.2數(shù)據(jù)安全現(xiàn)狀梳理0

6.2.3數(shù)據(jù)安全保障方向0

6.3數(shù)據(jù)安全保障流程0

6.3.1角色權(quán)限管理0

6.3.2數(shù)據(jù)使用權(quán)限管理0

6.3.3數(shù)據(jù)模型分級0

6.3.4數(shù)據(jù)展示0

6.3.5數(shù)據(jù)風(fēng)險預(yù)期管理0

6.3.6數(shù)據(jù)脫敏0

6.4數(shù)據(jù)安全實(shí)施階段0

6.4.1早期數(shù)據(jù)安全實(shí)施0

6.4.2成熟期數(shù)據(jù)安全實(shí)施0

6.5數(shù)據(jù)安全思考0

第7章數(shù)據(jù)治理0

7.1數(shù)據(jù)治理背景0

7.1.1合規(guī)治理0

7.1.2資源治理0

7.2數(shù)據(jù)倉庫發(fā)展階段0

7.3數(shù)據(jù)治理內(nèi)容0

7.3.1數(shù)據(jù)模型合規(guī)治理0

7.3.2數(shù)據(jù)質(zhì)量合規(guī)治理0

7.3.3數(shù)據(jù)安全合規(guī)治理0

7.3.4存儲資源治理0

7.3.5計算資源治理0

7.3.6小文件治理

7.4推動上下游開展數(shù)據(jù)治理活動方法

7.5數(shù)據(jù)治理思考與沉淀

第8章實(shí)時技術(shù)

8.1實(shí)時數(shù)據(jù)倉庫搭建背景

8.2實(shí)時架構(gòu)及組件

8.2.1實(shí)時數(shù)據(jù)倉庫架構(gòu)

8.2.2實(shí)時數(shù)據(jù)倉庫組件

8.3實(shí)時開發(fā)流程

8.4實(shí)時鏈路優(yōu)化

8.5實(shí)時技術(shù)產(chǎn)出量化

應(yīng)用篇

第9章數(shù)據(jù)資產(chǎn)

9.1數(shù)據(jù)資產(chǎn)介紹

9.2風(fēng)險名單數(shù)據(jù)資產(chǎn)(消費(fèi)金融業(yè)務(wù))

9.2.1項目背景

9.2.2項目流程介紹

9.2.3項目流程

9.2.4項目難點(diǎn)

9.2.5項目思考

9.3各場景下用戶畫像體系建設(shè)

9.3.1用戶畫像介紹

9.3.2項目背景

9.3.3項目流程介紹

9.3.4項目流程

9.3.5項目難點(diǎn)

9.3.6項目思考

第10章數(shù)據(jù)服務(wù)

10.1數(shù)據(jù)服務(wù)介紹

10.1.1數(shù)據(jù)服務(wù)概念

10.1.2當(dāng)前數(shù)據(jù)應(yīng)用時存在的痛點(diǎn)問題

10.2數(shù)據(jù)服務(wù)建設(shè)內(nèi)容

10.2.1指標(biāo)中心

10.2.2標(biāo)簽畫像管理平臺

10.2.3數(shù)據(jù)資產(chǎn)門戶

10.2.4數(shù)據(jù)質(zhì)量中心

10.2.5數(shù)據(jù)安全中心

10.2.6數(shù)據(jù)模型設(shè)計中心

10.2.7One�睮D

10.2.8數(shù)據(jù)治理360

10.3數(shù)據(jù)服務(wù)建設(shè)周期

10.3.1探索期

10.3.2擴(kuò)張期

第11章數(shù)據(jù)應(yīng)用

11.1數(shù)據(jù)應(yīng)用介紹

11.2神策明星榜數(shù)據(jù)(視頻行業(yè)業(yè)務(wù))

11.2.1項目背景

11.2.2項目流程介紹

11.2.3項目流程

11.2.4項目難點(diǎn)

11.2.5項目思考

11.3員工離職動因?qū)ｍ椃治?人力資源業(yè)務(wù))

11.3.1項目背景

11.3.2業(yè)務(wù)視角分析

11.3.3項目流程

11.3.4項目思考

11.4征信系統(tǒng)專題分析

11.4.1項目背景

11.4.2項目流程

11.4.3項目產(chǎn)出

11.4.4項目思考

評價篇

第12章評價數(shù)據(jù)倉庫的好壞

12.1數(shù)據(jù)質(zhì)量層面評估

12.1.1數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因

12.1.2數(shù)據(jù)質(zhì)量評估方法

12.2數(shù)據(jù)模型層面評估

12.2.1數(shù)據(jù)模型問題產(chǎn)生的原因

12.2.2數(shù)據(jù)模型評估方法

12.3數(shù)據(jù)安全層面評估

12.3.1數(shù)據(jù)安全問題產(chǎn)生的原因

12.3.2數(shù)據(jù)安全評估方法

12.4數(shù)據(jù)成本及性能層面評估

12.4.1數(shù)據(jù)成本過高及性能過低的原因

12.4.2數(shù)據(jù)成本及性能層面評估方法

第13章數(shù)據(jù)價值

13.1抽象的數(shù)據(jù)能力架構(gòu)

13.1.1數(shù)據(jù)傳輸能力

13.1.2數(shù)據(jù)計算能力

13.1.3數(shù)據(jù)資產(chǎn)能力

13.1.4數(shù)據(jù)算法能力

13.2數(shù)據(jù)能力對數(shù)據(jù)價值的呈現(xiàn)

13.3數(shù)據(jù)價值對業(yè)務(wù)的幫助

13.3.1用戶增長/經(jīng)營性分析

13.3.2數(shù)據(jù)質(zhì)量/產(chǎn)出穩(wěn)定

13.3.3查數(shù)/用數(shù)提效

13.3.4降低部門支出

展望篇

第14章AIGC對數(shù)據(jù)發(fā)展的影響

14.1數(shù)據(jù)與AI的關(guān)系

14.2網(wǎng)易ChatBI介紹

14.3網(wǎng)易ChatBI功能

14.3.1需求理解能力

14.3.2提供用戶所需內(nèi)容的預(yù)測能力

14.3.3多輪對話能力

14.3.4圖表繪制能力

14.3.5多端互通能力

14.3.6過程可驗證能力

14.3.7用戶可干預(yù)能力

14.4數(shù)據(jù)產(chǎn)品未來規(guī)劃

14.4.1網(wǎng)易ChatBI產(chǎn)品未來規(guī)劃

14.4.2其他數(shù)據(jù)產(chǎn)品未來規(guī)劃