大數據導論——大數據思維與創新應用

第1章 大數據時代――日新月異 1
1．1 大數據的崛起 1
1．1．1 資料大爆炸 1
1．1．2 洞悉大數據 2
1．1．3 小資料與大資料 6
1．2 大數據的成長 8
1．2．1 互聯網技術推動了大資料的泛在化 8
1．2．2 存儲技術支撐了大資料的大容量化 8
1．2．3 計算能力加速了大資料的即時化 8
1．3 挑戰與機遇 9
1．3．1 數據的挑戰與機遇 9
1．3．2 技術的挑戰與機遇 10
1．3．3 用戶的挑戰與機遇 10

第2章 大資料戰略――高瞻遠矚 12
2．1 國外戰略 12
2．1．1 美國 13
2．1．2 歐盟 14
2．2 國內戰略 15
2．2．1 歷史機遇 15
2．2．2 發展規劃 17
2．2．3 戰略藍圖 19
2．3 大事記 21
2．3．1 學術界大事記 21
2．3．2 產業界大事記 23

第3章 大數據思維――革故鼎新 25
3．1 哲學思維 25
3．1．1 總體思維 26
3．1．2 相關思維 27
3．1．3 容錯思維 27
3．2 運營思維 28
3．2．1 資料收集思維 28
3．2．2 資料管理思維 29
3．2．3 資料應用思維 31
3．2．4 資料價值思維 33
3．2．5 資料事實思維 36
3．3 理政思維 37
3．3．1 高效決策思維 37
3．3．2 陽光理政思維 37
3．3．3 數據賦能思維 38
3．4 創新思維 39
3．4．1 跨界思維 39
3．4．2 智慧思維 40
3．4．3 賦能思維 40

第4章 大資料產業――風生水起 42
4．1 大資料產業概述 42
4．1．1 發展階段及市場規模 43
4．1．2 產業鏈與商業模式 47
4．1．3 產業應用領域 53
4．2 國外大資料產業 54
4．2．1 美國 55
4．2．2 日本 55
4．2．3 歐盟 56
4．3 國內大資料產業 57
4．3．1 產業現狀 57
4．3．2 存在問題 60
4．3．3 努力方向 62
4．4 實體經濟+大資料 63

第5章 大資料技術――神兵利器 65
5．1 大資料技術概述 65
5．2 大資料處理框架 67
5．2．1 Hadoop 67
5．2．2 Storm 68
5．2．3 Spark 70
5．3 資料獲取與清洗 70
5．3．1 資料獲取 71
5．3．2 數據清洗 73
5．4 資料存儲與管理 75
5．4．1 分散式檔案系統 75
5．4．2 NoSQL 76
5．4．3 多維索引技術 78
5．5 資料採擷與分析 79
5．5．1 資料採擷的過程 80
5．5．2 新型資料採擷技術 82
5．5．3 相似性連接融合技術 84
5．5．4 面向領域的預測分析技術 85
5．5．5 深度學習技術 90
5．6 數據視覺化 91
5．6．1 文本視覺化 91
5．6．2 網路視覺化 92
5．6．3 時空數據視覺化 93
5．6．4 多維數據視覺化 94
5．7 大資料安全 95
5．7．1 大資料安全技術體系 95
5．7．2 大資料平臺安全技術 96
5．7．3 資料安全技術 97
5．7．4 隱私保護技術 98

第6章 市場監管大資料――明察秋毫 100
6．1 市場監管現狀分析 100
6．1．1 市場監管的內涵及其現代化 100
6．1．2 大資料對市場監管的作用 104
6．1．3 市場監管大資料總體需求分析 105
6．2 市場監管大資料的發展 106
6．2．1 國外市場監管大資料的發展 107
6．2．2 國內市場監管大資料的發展 108
6．3 市場監管大資料體系 112
6．3．1 系統體系 113
6．3．2 共性支撐體系 116
6．3．3 應用服務體系 121
6．3．4 安全體系 123
6．3．5 管理保障體系 127

第7章 綜合交通大資料――四通八達 131
7．1 交通行業需求與發展現狀 131
7．1．1 交通行業需求 131
7．1．2 交通大資料應用發展現狀 132
7．2 交通大資料技術 133
7．2．1 大資料生命週期 133
7．2．2 資料獲取技術 134
7．2．3 資料存儲技術 134
7．2．4 資料採擷與分析技術 135
7．3 交通大資料綜合應用 138
7．3．1 大資料平臺 138
7．3．2 大資料交通管理 139
7．3．3 大資料便民服務 143
7．4 交通大資料面臨的問題與挑戰 144
7．4．1 交通中的自動駕駛 144
7．4．2 數據視覺化 145
7．4．3 資料安全 146

第8章 農業農村大資料――強本節用 148
8．1 農業農村現代化的新機遇 148
8．1．1 大資料為農業農村發展指明了新方向 148
8．1．2 互聯網為農業資訊鋪設了“高速路” 149
8．1．3 物聯網為農業感知延伸了“觸角” 150
8．1．4 線上平臺為農業銷售拓展了“管道” 151
8．2 農業農村大資料的發展 151
8．2．1 國外農業農村大資料的發展 151
8．2．2 國內農業農村大資料的發展 153
8．3 農業農村大資料應用 158

第9章 其他行業大資料――百花齊放 161
9．1 政務大數據 161
9．1．1 數位時代的管理模式 161
9．1．2 國內外現狀 162
9．1．3 問題與思考 163
9．2 公共安全大資料 165
9．2．1 警務大數據 165
9．2．2 消防大數據 166
9．2．3 反恐大數據 167
9．3 健康醫療大資料 169
9．3．1 健康醫療大資料概述 169
9．3．2 健康醫療大資料的特點 170
9．3．3 健康醫療大資料的應用 171
9．4 糧食物資大數據 175
9．4．1 大資料對糧食物資行業的影響 175
9．4．2 糧食物資大資料的國內外現狀 176
9．4．3 糧食物資大資料的發展趨勢 178
9．5 智慧營區大資料 181
9．5．1 智慧營區大資料體系架構 181
9．5．2 智慧營區大資料的特點 184
9．5．3 智慧營區大資料的應用 185
9．5．4 智慧營區大資料的發展趨勢 187

第10章 大資料的未來――繽彩紛呈 189
10．1 科技發展趨勢 189
10．1．1 大資料驅動新一代人工智慧 189
10．1．2 科技改變生活 190
10．2 大資料產業發展趨勢 191
10．2．1 市場需求 191
10．2．2 發展趨勢 192
10．3 經濟發展趨勢 195
10．3．1 全球趨勢 195
10．3．2 我國趨勢 197
10．4 未來已來，將至已至 199

參考文獻 201

《大資料導論——大資料思維與創新應用》是中國人民解放軍陸軍工程大學青年學者何明教授及其科研團隊的又一佳作，也可看作3年前出版的《互聯網+思維與創新》一書的姊妹篇。正如作者所言：“大資料好比價值密度低的‘貧礦’，大資料應用好比‘沙海淘金’‘大海撈針’，其間充滿了不確定性和偶然性。”

因此，大資料思維的基本出發點是“變廢為寶”，從海量的、看似無用的資料中發現潛在的利用價值。與傳統的小資料相比，大資料來源廣泛、獲取容易，但對其進行挖掘利用要困難得多。在資訊社會中，資料被視為與物質、能量同等重要的社會資源，大資料是一種稀釋的資源，不同資料均彌足珍貴，只是在價值的顯現程度上有差異。因此，我們不能對大資料視而不見或毫不可惜地丟棄海量資料。大資料思維有助於拓展我們對資料價值的認識，更重要的是啟示我們要善於發現大資料、關注大資料、管好大資料。

該書多次強調，與傳統的資料分析相比，資料採擷得到的是關聯關係而不是因果關係。許多看似毫不相關的事實，其背後隱藏著千絲萬縷的聯繫。從哲學意義上講，大資料分析是用宏觀整體思維替代抽樣統計思維，是用有偏差的資料分析替代精確的數值計算，是用定量的計算思維替代定性的理性思維。

用相關性改變人們長期以來對因果關係的偏愛，是認識論的一次深刻轉型。通過大資料可獲得萬物間相互聯繫的特殊規律，這些規律有一定預見能力，豐富了人們的知識，但大資料的不足之處是缺乏演繹能力，人們只能知其然而不知其所以然。
經過實踐的檢驗，這些規律或許被認為是客觀規律，或許需要二次解讀和理性分析。總之，資料採擷已成為科學研究的第四範式，是對試驗觀察、理論推導、模擬模擬等方法的補充。但我們不能滿足於關聯規律的發現，只有揭示了資料內在的因果關係，才能更深入地理解和科學地運用這些客觀規律。

該書專辟一章論述大資料技術。大資料技術本身不是一門學科，而是一種方法，它與雲計算、機器學習等新技術密切相關。面對海量異構、動態變化、品質低劣的資料，傳統的資料處理方法難以為繼，而新的處理分析技術還不夠成熟。與國外相比，我們在大資料技術方面還有一定差距，但也有相對優勢，比如有廣泛的大資料資源，線民的數量位居世界之首，有的省市成立了“大資料發展局”“大資料管理局”，許多智慧城市建設將大資料應用作為亮點……我們有理由相信，在技術、產業的相互促進下，我國的大資料應用必將後來居上。

該書雖冠名“大資料”，但在介紹典型產業的創新應用時，也包含了小資料的運用。平心而論，兩種資料之間並無嚴格的界限，況且在發展數位化、資訊化的道路上，小資料的共用、挖掘、安全等問題還沒有得到很好的解決，大資料又提出了新的挑戰。為此，不少學者呼籲，在資料資源利用上，不能抓“大”放“小”、盲目跟風，對大資料的創新應用期望值不宜過高，更不能減少對小資料應用的研究。

該書內容深入淺出，並配有大量的應用案例，可作為規劃、管理人員理解大資料的入門指南，也可作為大資料教學、科研人員的參考資料。隨著我國資訊化建設的深入和普及，我們相信將會有新的素材、新的案例不斷補充進來，使該書內容更加翔實。在此，謹祝願我國大資料應用之樹枝繁葉茂，祝願我國大資料產業發展日新月異。
 
中國工程院院士
2019年3月