Hadoop大數據開發技術

前言

隨著大數據時代的到來，許多企業和組織都越來越重視大數據技術，尤其是我國已將大數據技術上升到國家戰略層面，更多的企業都在大數據技術的平臺建設、解決方案等領域花費了很多精力開展研究，並加大人才培養的力度。

廣東軒轅網路科技股份有限公司近幾年致力於雲計算、大數據領域的服務研究，並在雲計算、大數據等領域積極與高校開展產學研合作，進行協同育人工作，並取得了較好的成效。該公司在充分調研市場的基礎上組織專家進行充分論證，提出了“數據科學與大數據技術”應用型本科人才培養方案，並將培養目標明確定位為: 掌握數據科學的基礎知識、理論及技術，包括面向大數據應用的數學、統計、電腦等學科基礎知識，數據建模、高效分析與處理，統計學推斷的基本理論、基本方法和基本技能。重點培養具有以下三方面素質的人才: 一是工具的掌握，掌握數據採集和數據分析的基本工具的使用；二是數據分析能力，擁有實用數據分析和初步數據建模能力；三是應用性，主要是利用大數據的方法解決實際問題的能力。

在此基礎上設計了專業課程體系，將“Hadoop大數據開發技術”定位為一門重要的專業選修課。本課程的目標是: 依據業務或產品應用需求，運用大數據平臺及相關元件進行技術開發，搭建大數據應用平臺以及開發應用程式。學習本書的內容後，讀者應掌握Hadoop數據操作的API（主要是Java API），熟悉大數據的分析和使用方法（Spark和MapReduce技術），搭建大數據應用平臺以及開發應用程式，熟悉工具、演算法、程式設計、優化以及部署不同的MapReduce，研發各種基於大數據技術的應用程式及行業解決方案。

編者在研究了現有大數據開發以及Hadoop平臺資料的基礎上，展開了本書的編寫工作。本書首先介紹相關平臺的構建。Hadoop是基於Linu22台運行的，因此本書首先介紹Linux作業系統和Hadoop平臺的搭建方法。然後，本書根據Hadoop系統的組成及生態，分別介紹HDFS、MapReduce、YARN、Spark、HBase、Hive等技術。由於在Hadoop應用中shell命令十分重要，API程式設計是重點和難點，因此每部分都通過具體案例講述shell命令的應用方法，通過實例介紹相關技術的程式設計方法。2後，本書介紹大數據應用開發綜合實例。

本書分為三篇: 22篇(22～6章)主要介紹大數據開發技術平臺Hadoop，分為6章介紹Hadoop各部分的主要技術及其應用，包括Hadoop架構及組成、平臺搭建、HDFS、YARN、MapReduce等內容；第2篇(第7～9章)介紹Hadoop家族的其他幾個重要項目，這些都與基本的大數據開發應用緊密相關，包括數據庫HBase、數據倉庫Hive、快速通用計算引擎Spark；第3篇(220～12章)介紹大數據應用開發綜合實例，包括程式設計環境與數據準備、大數據分析與數據視覺化、“電影推薦”的具體實施方法。

本書由廣東科技學院申時全教授和東莞理工學院城市學院陳強副教授負責統稿並擔任主編，由楊勝利、黎學軍、姜榮正、邱林潤老師擔任副主編，並承擔部分章節的編寫工作。其中，22～3章由申時全編寫，第4章和第9章由黎學軍編寫，第5章和第6章由楊勝利編寫，第7章和第8章由陳強編寫，220～12章由邱林潤和姜榮正編寫。

在本書的編寫過程中，得到了廣東軒轅網路科技股份有限公司和本叢書編委會專家的大力支持。廈門大學林子雨老師擔任主審，並對本書的編寫提出了許多很好的建議，在此深表感謝。
 
編者2020年10月