機器學習實戰：基於Sophon平臺的機器學習理論與實踐

前言
叢書前言
本書編委會
前言

第1章機器學習導論
1.1 什麼是機器學習
1.1.1 機器學習的背景
1.1.2 機器學習的定義
1.1.3 機器學習的任務類型
1.1.4 構建機器學習應用的步驟
1.2 開發機器學習工作流的方式

第2章資料預處理與特徵工程
2.1 特徵提取
2.1.1 探索性資料分析
2.1.2 數值特徵
2.1.3 類別特徵
2.1.4 時間特徵
2.1.5 文本特徵
2.1.6 過濾方法
2.1.7 封裝方法
2.1.8 嵌入方法
2.1.9 自動化特徵工程
2.2 互動式數據預處理
2.3 本章小結

第3章回歸模型
3.1 回歸任務概述
3.2 回歸演算法原理
3.2.1 線性回歸
3.2.2 決策樹回歸
3.2.3 生存回歸
3.3 Sophon案例
3.4 本章小結

第4章分類
4.1 分類任務概述
4.2 分類演算法原理
4.2.1 邏輯回歸
4.2.2 因數分解機
4.2.3 XGBoost
4.3 使用Sophon建立分類模型
4.3.1 場景介紹
4.3.2 建模過程
4.3.3 結果分析
4.4 本章小結

第5章模型融合
5.1 集成學習理論
5.1.1 集成學習基本概念
5.1.2 個體學習器
5.1.3 基學習器集成
5.1.4 常用的集成學習方法
5.2 常用融合方法
5.2.1 平均法
5.2.2 學習法（Stacking 方法）
5.3 使用Sophon進行模型融合
5.3.1 場景與資料集介紹
5.3.2 建模過程
5.3.3 結果分析
5.4 本章小結

第6章聚類 78
6.1 聚類任務概述
6.2 聚類演算法原理
6.2.1 K-Means
6.2.2 Fuzzy C-Means
6.2.3 Canopy
6.2.4 高斯混合
6.3 聚類模型實例
6.3.1 場景介紹
6.3.2 建模過程
6.3.3 結果分析
6.4 本章小結

第7章圖計算
7.1 背景和問題描述
7.2 常用演算法介紹
7.2.1 PageRank
7.2.2 標籤傳播
7.2.3 中心性檢測
7.2.4 圖嵌入
7.3 落地案例
7.3.1 場景介紹
7.3.2 建模過程
7.3.3 結果分析
7.4 本章小結

第8章自動機器學習
8.1 場景介紹
8.2 自動化特徵工程
8.2.1 自動多表特徵擴展
8.2.2 自動特徵構建
8.3 建模過程
8.4 結果分析
8.5 真實測試案例
8.5.1 資料集
8.5.2 前置設置
8.5.3 測試結果分析
8.5.4 Abalone 和 Airfoil Self-Noise 資料集的增強測試
8.5.5 小結
8.6 本章小結

第9章自然語言處理
9.1 自然語言處理演算法原理
9.1.1 詞向量
9.1.2 序列標注
9.1.3 關鍵字抽取
9.1.4 文本自動摘要
9.1.5 文本情感分析
9.2 使用Sophon建立自然語言處理模型
9.2.1 場景介紹
9.2.2 建模流程
9.2.3 模型評估
9.3 落地案例
9.4 本章小結

第10章電腦視覺
10.1 電腦視覺概述
10.2 電腦視覺演算法原理
10.2.1 圖像分類
10.2.2 目標檢測
10.3 電腦視覺模型示例
10.3.1 圖像預處理
10.3.2 圖像分類演算法建模
10.3.3 目標檢測演算法建模
10.4 落地案例
10.5 本章小結

附錄A 企業級人工智慧應用平臺Sophon
A.1 產品架構
A.2 技術特點
A.3 組件介紹能
A.4 Sophon Edge 邊緣計算
A.5 Sophon EP 實體畫像
A.6 Sophon KG 知識圖譜
A.7 Sophon CV 圖像分析
A.8 Sophon NLP 自然語言處理
A.9 Sophon Cloud 服務管理
 

人工智慧技術的快速發展，帶來了技術平臺和行業應用的繁榮，從Caffe、CNTK、CoreML到TensorFlow、TensorRT，從CPU、GPU到TPU、FPGA、ARM，從圖形處理、視覺識別到自然語言處理，技術體系越來越複雜，開發門檻越來越高；大量的技術人員需要不斷授受技術更新，更多的應用需要考慮額外的遷移成本，更多的市場需要投入大量的資源以充分體現人工智慧賦予的價值。

目前產業界開始出現少量技術使用門檻低、應用開發方便的機器學習平臺（MachineLearningPlatform，MLP）或者資料科學平臺（Data Science Platform，DSP），但這些平臺大部分還局限在特定行業的有限演算法應用，需要不斷進行架構優化、模型擴展和演算法增強，提供多種場景下的應用遷移工具，才能形成較為成熟的產品化平臺。

星環科技作為國內大資料和人工智慧平臺的領航者，自2013年成立以來，專注於企業級容器雲計算、大資料和機器學習核心平臺的研發和服務，擁有一批來自國內外著名高科技企業和科研院校的優秀專業人才，是國內大資料領域最早掌握核心技術的企業，也是最早開展機器學習平臺理論與實踐的公司之一，產品在政府、金融、公安等行業得到大規模應用。

星環科技人工智慧平臺Sophon是從大資料到人工智慧演進過程中誕生的一款創新性機器學習技術平臺。使用者可以基於該平臺快速完成從特徵工程、模型訓練到模型上線的機器學習全生命週期開發工作。
Sophon平臺具有以下技術特點：
採用去中心化的全分散式架構、性能線性擴展，滿足海量資料處理模式下的快速訓練和精准推理要求。

一站式的機器學習集成開發平臺，支援自動化開發、圖形化操作及視覺化建模，可快速構建行業應用解決方案。

支援多種複雜演算法，支援自訂模型和演算法導入，可適應多種特定應用場景的複雜建模和模型遷移要求。

集成大量面向行業領域的分析工具，如實體畫像、視頻分析、自然語言處理等，便於協力廠商應用快速定制開發。

支持深度學習的知識圖譜，能夠便捷實現含圖結構的應用建模，支援實體間多關係圖的分析展示和演進變化，發現更有價值的圖譜關係。

隨著使用機器學習平臺的用戶越來越多，應用場景日益廣泛，非常需要一本關於機器學習理論總結和實踐指導的專業圖書，不僅可以講解整體知識體系的理論基礎，也可以作為使用星環人工智慧平臺（Sophon）工具的指導手冊。

目前市面上銷售的機器學習相關書籍，要麼偏重原理介紹和公式推導，要麼重點描述開源演算法的實現調用，無法滿足二者兼顧的要求。為此，我們結合理論分析和實踐指導要求，編寫了這本面向機器學習一線工程技術人員的專業書籍。它既能説明讀者深入理解相關演算法原理，也有助於讀者學會利用專業工具平臺快速搭建模型，構建機器學習的行業應用。

本書內容覆蓋了機器學習領域從理論到實踐的多個課題，總共分為10章。
第1章為導論，介紹機器學習的背景、定義和任務類型，構建機器學習應用的步驟，以及開發機器學習工作流的方式。

第2章詳細介紹資料預處理和特徵工程，並輔以實例進行驗證。

第3～6章介紹回歸模型、分類模型、模型融合、聚類模型，這些內容是機器學習理論和實踐中的傳統重點。其中不僅介紹對各種常見資料類型的處理方法，還針對刪失資料進行了專門的綜述和實踐。

第7章介紹機器學習領域較難的圖計算，並從工業界視角解讀如何將圖計算落地。

第8章針對特徵工程、建模過程中大量調參的場景介紹自動機器學習的理論和應用，並細緻比較和測試了各種自動特徵工程演算法在不同資料上的表現。

第9章介紹自然語言處理（詞向量、序列標注、關鍵字抽取、自動摘要和情感分析），使用新聞文本資料搭建文本分類的流程。
第10章介紹電腦視覺中圖像分類和目標檢測的應用以及落地案例（車輛檢測）。

書中的第1～2章是基礎內容，建議讀者認真閱讀，其他章節則可根據需要選擇性地閱讀。

全書由孫元浩和楊俊統一主持和整理，參與編寫的作者還包括楊一帆、裴瑞光、林木豐、樂向楠、陸增翔、蒲瑜琪、李祥祥、曾憲宇、趙文謙、林晨、浦錦毅、安磊、許凱琪、孫樂飛和吳香蓮。

本書從雛形到定稿，歷時近一年，非常感謝參與本書編纂校對工作的演算法工程師和架構師，沒有他們無私的理論分享和實踐指導，本書是難以高品質完成的。在此我們對所有編者表示衷心的感謝和敬意。

孫元浩
2019年7月