本書圍繞大數(shù)據(jù)預處理業(yè)務背景及相關技術，以學習情境的方式，首先介紹了使用 Python、Pandas對各種數(shù)據(jù)源的讀寫，然后介紹了數(shù)據(jù)的清洗、集成、規(guī)約、變換四個處理數(shù)據(jù)方式，最后介紹了使用Kettle工具和MapReduce編程對數(shù)據(jù)進行處理的技術，通過理論結(jié)合實際、循序漸進的學習方式，讓讀者學習并掌握大數(shù)據(jù)預處理技術及應用。本書理論分析相對較少，側(cè)重動手實踐，適合應用型本科、高職高專大數(shù)據(jù)技術專業(yè)學生和希望快速進入大數(shù)據(jù)領域的讀者參考使用。
蔡茜，國家"雙高計劃”高水平專業(yè)群建設小組核心成員，國家級職業(yè)教育教師教學創(chuàng)新團隊核心成員，重慶工商職業(yè)學院專業(yè)帶頭人、骨干教師。曾獲全國職業(yè)院校信息化教學大賽網(wǎng)絡課程一等獎、省部級教學成果獎二等獎、三等獎各一項；主持省部級一流課程1門；主持省部級級教改項目2項。作為主編編寫教材6本，其中獲"十二五”規(guī)劃教材1本、重慶市重點建設教材1本。公開發(fā)表EI檢索論文5篇、中文核心論文2篇；主持省部級教委科研項目1項，主研市級科研項目3項；授權實用新型專利5項。
導 言
單元1 數(shù)據(jù)讀寫
學習情境1 使用Python讀寫職業(yè)能力大數(shù)據(jù)分析平臺【崗位】數(shù)據(jù)
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
學習情境2 使用Pandas讀寫職業(yè)能力大數(shù)據(jù)分析平臺【技能】數(shù)據(jù)
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元2 數(shù)據(jù)清洗
學習情境3 使用正則表達式從網(wǎng)頁中提取招聘聯(lián)系人的郵箱地址
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
學習情境4 使用Pandas對職業(yè)能力大數(shù)據(jù)分析平臺【工資】表進行清洗
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元3 數(shù)據(jù)集成
學習情境5 使用Pandas實現(xiàn)對職業(yè)能力大數(shù)據(jù)分析平臺多個學生信息
數(shù)據(jù)源進行集成
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元4 數(shù)據(jù)規(guī)約
學習情境6 使用NumPy+Pandas實現(xiàn)對工資數(shù)據(jù)進行數(shù)量規(guī)約
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元5 數(shù)據(jù)變換
學習情境7 使用Pandas+Sklearn對學生成績實現(xiàn)數(shù)據(jù)規(guī)范化
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元6 Kettle工具使用
學習情境8 使用ETL工具Kettle對職業(yè)能力大數(shù)據(jù)分析平臺學生信息
數(shù)據(jù)進行清洗
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
單元7 MapReduce數(shù)據(jù)處理
學習情境9 使用MapReduce合并職業(yè)能力大數(shù)據(jù)分析平臺【技能】數(shù)據(jù)
學習情境描述
學習目標
任務書
獲取信息
工作計劃
進行決策
知識準備
相關案例
工作實施
評價反饋
拓展思考
參考文獻
書單推薦
