Spark機器學習進階實戰

前言

第一篇 基礎篇
第1章 機器學習概述
1.1 機器學習概述
1.1.1 理解大資料
1.1.2 機器學習發展過程
1.1.3 大資料生態環境
1.2 機器學習演算法
1.2.1 傳統機器學習
1.2.2 深度學習
1.2.3 其他機器學習
1.3 機器學習分類
1.3.1 監督學習
1.3.2 無監督學習
1.3.3 半監督學習
1.3.4 強化學習
1.4 機器學習綜合應用
1.4.1 異常檢測
1.4.2 用戶畫像
1.4.3 廣告點擊率預估
1.4.4 企業征信大資料應用
1.4.5 智慧交通大資料應用
1.5 本章小結
第2章 資料分析流程和方法
2.1 資料分析概述
2.2 資料分析流程
2.2.1 業務調研
2.2.2 明確目標
2.2.3 數據準備
2.2.4 特徵處理
2.2.5 模型訓練與評估
2.2.6 輸出結論
2.3 資料分析的基本方法
2.3.1 匯總統計
2.3.2 相關性分析
2.3.3 分層抽樣
2.3.4 假設檢驗
2.4 簡單的資料分析實踐
2.4.1 環境準備
2.4.2 準備數據
2.4.3 資料分析
2.5 本章小結

第二篇 演算法篇
第3章 構建分類模型
第4章 構建聚類模型
第5章 構建回歸模型
第6章 構建關聯規則模型
第7章 協同過濾
第8章 數據降維

第三篇 綜合應用篇

上善若水，水善利萬物而不爭。

資料一如水，無色無味，非方非圓，以百態存于自然，于自然無違也。綿綿密密，微則無聲，巨則洶湧；與人無爭卻又容納萬物。生活離不開水，同樣離不開資料，我們被資料包圍，在資料中生活，體會著資料量爆炸式增長帶來的幸福和挑戰。

本書從《道德經》和《莊子》精選名言，並結合大資料機器學習相關內容，對名言加以講解，引導大家以老莊的思想認識大資料的內涵，使用機器學習進行大資料價值挖掘，探求老子道之路和莊子智慧之路。

為什麼要寫這本書

2014年春天，曾經和公司大資料團隊小夥伴一起聚焦研究大資料，為了解決國內資料匱乏、學習門檻較高的問題，著手編寫《Spark核心技術與高級應用》一書，並於2016年1月出版，取得了較好的反響，得到很多朋友的支持。

近年來，隨著收集、存儲和分析的資料量呈爆炸式增長，大規模的資料分析和資料價值挖掘能力已經成為影響企業生死存亡的關鍵，越來越多的企業必須面對這殘酷而美好的挑戰。基於大資料的機器學習有效解決了大資料帶來的資料分析和資料採擷瓶頸。

如何讓更多的大資料從業人員更輕鬆地使用機器學習演算法進行大資料價值挖掘，通過簡單的學習建立大資料環境下的機器學習工程化思維，在不必深究演算法細節的前提下，實現大資料分類、聚類、回歸、協同過濾、關聯規則、降維等演算法，並使用這些演算法解決實際業務場景的問題。2016年秋天，在機械工業出版社高婧雅編輯的指導下，懷著一顆附庸風雅之心，我決定和小夥伴們一起朝著新的目標努力。

本書的寫作過程中，Spark版本也在不斷變化，秉承大道至簡的原則，我們一方面儘量按照新的版本進行統籌，另外一方面儘量做到和版本解耦，希望能抛磚引玉，以個人的一些想法和見解，為讀者拓展出更深入、更全面的思路。

本書只是一個開始，如何使用機器學習演算法從海量資料中挖掘出更多的價值，還需要無數的大資料從業人員前赴後繼，突破漫漫雄關，共同創造美好的大資料機器學習時代。