本書從云平臺和大數(shù)據(jù)的概念出發(fā),以當前國內(nèi)外云平臺和大數(shù)據(jù)的發(fā)展現(xiàn)狀為背景,詳細介紹了云計算技術、云計算平臺、大數(shù)據(jù)技術、Hadoop開發(fā)平臺、MapReduce應用、Pig簡介、HBase簡介、云計算與大數(shù)據(jù)安全等知識。
本書重點突出,偏重在宏觀上講解云平臺和大數(shù)據(jù)的概念、用途、設計思想、應用原理等,為云平臺和大數(shù)據(jù)專業(yè)的讀者提供了理論基礎。
本書適用面廣,可作為本科大數(shù)據(jù)、計算機科學與技術、軟件工程、計算機軟件、計算機信息管理、統(tǒng)計學、數(shù)學等專業(yè)的教材,也可作為云計算和大數(shù)據(jù)從業(yè)者及愛好者的參考用書。
隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術的快速發(fā)展,以及智能終端、網(wǎng)絡社會、數(shù)字地球的普及和建設,全球數(shù)據(jù)量出現(xiàn)爆炸式增長,據(jù)IDC預計,到2020年全球數(shù)據(jù)量將增加50倍。毋庸置疑,云計算和大數(shù)據(jù)時代已經(jīng)到來。
云計算和大數(shù)據(jù)的發(fā)展是相輔相成的。一方面,云計算為大數(shù)據(jù)提供存儲和運算平臺,并運用人工智能技術從海量的、多樣化的數(shù)據(jù)中發(fā)現(xiàn)知識、規(guī)律和趨勢,為決策提供信息參考;另一方面,大數(shù)據(jù)利用云計算的強大計算能力,可以提高數(shù)據(jù)分析的效率,從而更迅速地從海量數(shù)據(jù)中挖掘出有價值的信息,其不斷增加的業(yè)務需求也拓展了云計算的應用領域。然而,云計算和大數(shù)據(jù)的發(fā)展也進一步增加了信息的開放程度,隱私數(shù)據(jù)及敏感信息的泄露事件亦隨之時有發(fā)生。面對云計算與大數(shù)據(jù)產(chǎn)業(yè)的新特點和新挑戰(zhàn),如何保障數(shù)據(jù)安全也逐漸成為業(yè)界內(nèi)外十分關注的重點課題。
目前,云計算已成為IT建設不可缺少的基礎技術。國際領先的信息技術企業(yè)(如Google、Amazon、微軟、IBM等)都構建了自己的云平臺生態(tài)系統(tǒng)。中國的云計算市場經(jīng)過技術和商業(yè)模式的積累,也已進入穩(wěn)定發(fā)展階段,云計算產(chǎn)業(yè)鏈、行業(yè)生態(tài)環(huán)境基本穩(wěn)定,其中,阿里巴巴、百度、騰訊借助自身互聯(lián)網(wǎng)業(yè)務的優(yōu)勢,逐步奠定了國內(nèi)云計算市場的霸權地位;用友、金蝶等企業(yè)的軟件云服務也逐漸成型;在國家政策的引導下,政府和企事業(yè)單位的公共云服務布局也在加快建設當中。
伴隨著云計算技術的成熟,大數(shù)據(jù)也得到了日益廣泛的應用。國際上,IBM、微軟、Google、甲骨文、Amazon等主要大數(shù)據(jù)服務提供商的大數(shù)據(jù)業(yè)務均呈穩(wěn)步增長態(tài)勢;在國內(nèi),阿里巴巴、騰訊、百度等企業(yè)的大數(shù)據(jù)業(yè)務也已經(jīng)全面展開,為政府決策、日常出行、就餐購物、休閑娛樂等提供了諸多便利。
作為引領實體經(jīng)濟轉(zhuǎn)型升級的重要突破口,云計算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已受到國家決策層的高度關注,國務院先后出臺多個文件,支持和規(guī)范相關行業(yè)發(fā)展。2014年3月,大數(shù)據(jù)首先進入《政府工作報告》;2015年1月,國務院印發(fā)了《關于促進云計算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見》,以促進云計算創(chuàng)新發(fā)展,積極培育信息產(chǎn)業(yè)新業(yè)態(tài);2015年6月,國務院常務會議決定將在重點領域引入大數(shù)據(jù)監(jiān)管系統(tǒng);2015年7月,國務院辦公廳印發(fā)《關于運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管的若干意見》,進一步拓展大數(shù)據(jù)的應用領域;截至2017年3月,大數(shù)據(jù)已第四次進入《政府工作報告》,云計算和大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展已然被提升到國家戰(zhàn)略的高度,是具有廣闊發(fā)展前景和旺盛人才需求的朝陽產(chǎn)業(yè)。
本書是面向高等院校云計算和大數(shù)據(jù)專業(yè)方向的標準化教材,兼顧完善的理論性和較強的實用性。前三章主要介紹了云計算技術,包括云計算的概念、云計算的核心技術、當前主流的云計算平臺等內(nèi)容;第4章至第8章主要介紹了大數(shù)據(jù)技術,包括大數(shù)據(jù)的概念、大數(shù)據(jù)的關鍵技術、當前的主流大數(shù)據(jù)服務和開源開發(fā)平臺等內(nèi)容;最后一章重點介紹了云計算與大數(shù)據(jù)當前面臨的主要安全問題及解決方案。希望讀者能夠通過對本書的學習,了解云計算和大數(shù)據(jù)的發(fā)展概況,掌握云計算技術及其體系架構,了解Hadoop等主流云計算平臺,掌握大數(shù)據(jù)開發(fā)技術以及MapReduce、Pig和HBase等大數(shù)據(jù)分析工具的使用,并對云計算與大數(shù)據(jù)安全的標準和規(guī)范有一個基本的了解。
本書由青島英谷教育科技股份有限公司編寫,參與本書編寫的人員有張偉洋、張杰、王萬琦、馬秀娟、侯方超、孟潔等。本書在編寫期間得到了各合作院校的專家及一線教師的大力支持和協(xié)作,在此要特別感謝給予我們開發(fā)團隊大力支持和幫助的領導及同事,感謝合作院校的師生給予我們的支持和鼓勵,更要感謝開發(fā)團隊每一位成員所付出的艱辛
勞動。
書中難免有錯誤或不當之處,讀者在閱讀過程中如有發(fā)現(xiàn),可以通過郵箱(yinggu@121ugrow.com)與我們聯(lián)系,以期進一步完善。