Python爬蟲技術

前言

第1篇 基礎知識
第1章 開發環境配置
1．1 安裝官方的Python運行環境
1．2 配置PATH環境變數
1．3 安裝AnacondaPython開發環境
1．4 安裝PyCharm
1．5 配置PyCharm
1．6 小結

第2章 爬蟲基礎
2．1 HTTP基礎
2．1．1 URI和URL
2．1．2 超文字
2．1．3 HTTP與HTTPS
2．1．4 HTTP的請求過程
2．1．5 請求
2．1．6 回應
2．2 網頁基礎
2．2．1 HTML
2．2．2 CSS
2．2．3 CSS選擇器
2．2．4 JavaScript
2．3 爬蟲的基本原理
2．3．1 爬蟲的分類
2．3．2 爬蟲抓取資料的方式和手段
2．4 Session與Cookie
2．4．1 靜態頁面和動態頁面
2．4．2 無狀態HTTP與Cookie
2．4．3 利用Session和Cookie保持狀態
2．4．4 查看網站的Cookie
2．4．5 HTTP狀態何時會失效
2．5 實戰案例：抓取所有的網路資源
2．6 實戰案例：抓取博客文章列表
2．7 小結

第2篇 網路庫
第3章 網路庫urllib
3．1 urllib簡介
3．2 發送請求與獲得回應
3．2．1 用urlopen函數發送HTTPGET請求
3．2．2 用urlopen函數發送HTTPPOST請求
3．2．3 請求超時
3．2．4 設置HTTP請求頭
3．2．5 設置中文HTTP請求頭
3．2．6 請求基礎驗證頁面
3．2．7 搭建代理與使用代理
3．2．8 讀取和設置Cookie
3．3 異常處理
3．3．1 URLError
3．3．2 HTTPError
3．4 解析連結
3．4．1 拆分與合併URL（urlparse與urlunparse）
3．4．2 另一種拆分與合併URL的方式（urlsplit與urlunsplit）
3．4．3 連接URL（urljoin）
3．4．4 URL編碼（urlencode）
3．4．5 編碼與解碼（quote與unquote）
3．4．6 參數轉換（parse_qs與parse_qsl）
3．5 Robots協議
3．5．1 Robots協議簡介
3．5．2 分析Robots協議
3．6 小結

第4章 網路庫u川ib3
4．1 urllib3簡介
4．2 urllib3模組
4．3 發送HTTPGET請求
4．4 發送HTTPPOST請求
4．5 HTTP請求頭
4．6 HTTP回應Z頭
4．7 上傳文件
4．8 超時
4．9 小結

第5章 網路庫requests
5．1 基本用法
5．1．1 requests的HelIoWorld
5．1．2 GET請求
5．1．3 添加HTTP請求頭
5．1．4 抓取二進位資料
5．1．5 POST請求
5．1．6 回應資料
5．2 高級用法
5．2．1 上傳文件
5．2．2 處理Cookie
5．2．3 使用同一個會話（Session）
5．2．4 SSL證書驗證
5．2．5 使用代理
5．2．6 超時
5．2．7 身份驗證
5．2．8 將請求打包
5．3 小結

第6章 Twisted網路框架
……

第3篇 解析庫
第4篇 資料存儲
第5篇 爬蟲高級應用

Python現在非常火爆。但Python就和英語一樣，如果只會Python語言，就相當於只能用英語進行日常會話。然而，真正的英語高手是可以作為專業領域翻譯的，如IT、金融、數學等專業領域。Python也是一樣，光學習Python語言是不行的，要想找到更好的工作，或得到更高的薪水，需要學會用Python做某一領域的應用。
　　
現在Python應用的熱門領域比較廣，例如人工智慧，不過人工智慧不光涉及Python語言本身的技術，還涉及數學領域的知識，雖然比較火爆，但絕對不是短時間可以掌握的。然後有一個領域與人工智慧的火爆程度相當，但不像人工智慧那樣難入門，這就是爬蟲領域。
　　
為什麼爬蟲領域如此火爆呢？其實爬蟲的基本功能就是從網上下載各種類型的資料（如HTML、影像檔等）。但不要小瞧這些下載的資料，因為這些資料將成為很多應用的資料來源。例如，著名的Google搜尋引擎，每天都會有數以億計的查詢請求，而搜尋引擎為這些請求返回的資料，都是來源於強大的爬蟲。編寫搜索引擎的第一步就是通過爬蟲抓取整個互聯網的資料，然後將這些資料庫保存到本地（以特定的資料格式），接下來就是對這些資料進行分析整理。然後才可以通過搜尋引擎進行查詢。雖然搜尋引擎的實現技術非常多，也非常複雜，但爬蟲是1，其他的所有技術都是0，如果沒有爬蟲搜集資料，再強大的分析程式也毫無用武之地。
　　
除了搜尋引擎外，人工智慧中的重要分支深度學習也需要爬蟲抓取的資料來訓練模型。例如，要想訓練一個識別金字塔的深度學習模型，就需要大量與金字塔相關的圖片進行訓練。最簡單的方式，就是使用百度或穀歌搜索金字塔圖片，然後用爬蟲抓取這些圖片到本地。這是利用了搜尋引擎通過關鍵字分類的特性，並且重新利用了這些分類的圖片。
　　
通過這些例子可以瞭解到，學習爬蟲是進入其他更高端領域的鑰匙，所以學習Python爬蟲將成為第一個需要選擇的熱門領域。
　　
儘管爬蟲的基本功能是下載檔案，但一個複雜的爬蟲應用，可不光涉及網路技術。將資料下載後，還需要對資料進行分析，提取需要的資訊，以及進行資料視覺化，甚至需要一個基於UI的視覺化爬蟲。所以與爬蟲有關的技術還是很多的。
　　
由於Pythonp爬蟲涉及的技術很多，學習資料過於分散。所以，筆者覺得很有必要編寫一本全面介紹Python爬蟲實戰類的書籍，在書中分享筆者對Python爬蟲以及相關技術的理解和經驗，幫助同行和感興趣的朋友快速入門，並利用Python語言編寫各種複雜的爬蟲應用。筆者希望本書能起到拋磚引玉的作用，使讀者對Python爬蟲以及相關技術產生濃厚的興趣，並能成功進入Python爬蟲領域。加油！高薪的工作在等著你們！