package?Liuwei.jsoup.data;

import?java.util.linkedHashMap;

import?org.jsoup.Jsoup;
import?org.jsoup.nodes.Document;
import?org.jsoup.nodes.Element;
import?org.jsoup.select.Elements;

import?Liuwei.jsoup.pojo.Biquge_all_link;
import?Liuwei.jsoup.pojo.Biquge_daohang;


/**
?*?Biquge_all_link?Xiaoshuo_Alllink（）?返回筆趣閣所有小說的鏈接和書名?格式
?*??返回格式?：map<鏈接書名>
?*?
?**/

public?class?Biquge_Alllink?{
	
	public?Biquge_all_link?Xiaoshuo_Alllink（）?throws?Throwable?{
		Biquge_daohang??daohang??=?new?Biquge_daohang（）;		//導航頁面的所有URL
		Biquge_all_link?all_link?=?new?Biquge_all_link（）;		//封裝的一個map<鏈接書名>
		linkedHashMap?map?=?new?linkedHashMap（500）;
		
		for（String?URL?:?daohang.getDaohang_link（））{		//遍歷封裝導航頁面的URL
			Document?doc=Jsoup.connect（URL）.userAgent（“Mozilla/5.0?（Windows?NT?6.1;?WOW64）?AppleWebKit/537.31?（KHTML?like?Gecko）?Chrome/26.0.1410.64?Safari/537.31“）.timeout（10000）.get（）;????????????	//?對URL進行訪問，并返回HTML數據
			
			Thread.sleep（500）;?//防止網站返回502錯誤
			
			Elements?links?=?doc.select（“a[href]“）;???//爬取頁面的所有URL
			?for?（Element?link?:?links）?{???			//遍所有鏈接
				?if（!link.text（）.equals（““））{			//去掉所有重復的鏈接
					?if（link.attr（“abs:href“）.matches（“（http://www.biquge5200.com）{1}/\\d+（_）\\d+/“））{??//小說簡介頁面URL的正則表達式
						?map.put（link.attr（“abs:href“）?link.text（））;
					?}		?
				?}?????
		????????}??
		}
		all_link.setXiaoshuo_map（map）;
		?System.out.println（“所有鏈接已爬到！---->數據數量=“+map.size（））;
		
		return?all_link;
		

	}
	?
	?public?static?void?main（String[]?args）?throws?Throwable?{
		
		?Biquge_Alllink?a?=?new?Biquge_Alllink（）;
		?a.Xiaoshuo_Alllink（）;
		?		?
		?
	}

}

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2017-09-07?20:09??Jsoup\
?????文件?????????986??2017-11-12?18:34??Jsoup\.classpath
?????文件?????????381??2017-09-07?20:09??Jsoup\.project
?????目錄???????????0??2017-09-07?20:09??Jsoup\.settings\
?????文件?????????598??2017-09-07?20:09??Jsoup\.settings\org.eclipse.jdt.core.prefs
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\Liuwei\
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\
?????文件????????3110??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\Biquge_Alllink.class
?????文件????????2872??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\Biquge_FandXS.class
?????文件????????4568??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\Biquge_XSjianjie.class
?????文件????????3966??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\Biquge_shuchen.class
?????文件?????????282??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\MianShi.class
?????文件????????1080??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\Text.class
?????文件????????2023??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\data\UrlUtil.class
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\jdbc\
?????文件????????5243??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\jdbc\Biquge_dao.class
?????文件????????2963??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\jdbc\Db.class
?????目錄???????????0??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\
?????文件????????1239??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Biquge_all_link.class
?????文件????????1997??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Biquge_daohang.class
?????文件????????1901??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Fandxs.class
?????文件????????1108??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Shucheng_pojo.class
?????文件????????1950??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Xiaoshuo_data.class
?????文件????????2368??2018-08-05?19:03??Jsoup\bin\Liuwei\jsoup\pojo\Xiaoshuo_jianjie.class
?????文件????????1511??2017-11-13?14:36??Jsoup\src\Liuwei\jsoup\pojo\Xiaoshuo_jianjie.java
?????目錄???????????0??2017-09-07?20:14??Jsoup\src\
?????目錄???????????0??2017-09-07?20:14??Jsoup\src\Liuwei\
?????目錄???????????0??2017-11-11?19:07??Jsoup\src\Liuwei\jsoup\
?????目錄???????????0??2017-12-18?15:28??Jsoup\src\Liuwei\jsoup\data\
............此處省略18個文件信息