第1篇 自己動手抓取數據第1章 全面剖析網絡爬蟲 1.1 抓取網頁 1.1.1 深入理解url 1.1.2 通過指定的url抓取網頁內容 1.1.3 java網頁抓取示例 1.1.4 處理http狀態碼 1.2 寬度優先爬蟲和帶偏好的爬蟲 1.2.1 圖的寬度優先遍歷 1.2.2 寬度優先遍歷互聯網 1.2.3 java寬度優先爬蟲示例 1.2.4 帶偏好的爬蟲 1.2.5 java帶偏好的爬蟲示例 1.3 設計爬蟲隊列 1.3.1 爬蟲隊列 1.3.2 使用berkeley db構建爬蟲隊列 1.3.3 使用berkeley db構建爬蟲隊列示例 1.3.4 使用布隆過濾器構建visited表 1.3.5 詳解heritrix爬蟲隊列 1.4 設計爬蟲架構 .1.4.1 爬蟲架構 1.4.2 設計并行爬蟲架構 1.4.3 詳解heritrix爬蟲架構 1.5 使用多線程技術提升爬蟲性能 1.5.1 詳解java多線程 1.5.2 爬蟲中的多線程 1.5.3 一個簡單的多線程爬蟲實現 1.5.4 詳解heritrix多線程結構 1.6 本章小結第2章 分布式爬蟲 2.1 設計分布式爬蟲 2.1.1 分布式與云計算 2.1.2 分布式與云計算技術在爬蟲中的應用——淺析google的云計算架構 2.2 分布式存儲