#web_url?=?‘http://kns.cnki.net/kns/detail/detail.aspx?QueryID=0&CurRec=2&DbCode=?CJFD&dbname=CJFDTEMP&filename=BJZY201812008&urlid=&yx=‘

import?requests??#?導入requests?模塊
import?re
import?time
import?xlwt?#導入模塊

def?request（url）:??#?返回網頁的response
????#?print（url）
????#?這里是偽造瀏覽器信息，和偽造來源
????user_agent?=?‘Mozilla/5.0?（Windows?NT?10.0;?Win64;?x64）?AppleWebKit/537.36?（KHTML?like?Gecko）?Ch‘?\
?????????????????‘rome/58.0.3029.81?Safari/537.36‘
????referer?=?“http://kns.cnki.net/kns/brief/result.aspx?dbprefix=CJFQ“

????#?這里是偽造cookie，你要從瀏覽器里復制出來，粘貼在這里
????#?可以把里面的時間不斷更新，這樣能爬久一點
????cookie?=?‘RsPerPage=20;?cnkiUserKey=9fc101c4-bc14-27ea-5eb4-f8282ca1742c;?UM_distinctid=16527e5f405230-044bded10d4527-4947311e-1fa400-16527e5f4069ff;?Ecp_ClientId=5180811152900249267;?ASP.NET_SessionId=hbqqazmw3um3z1onutsbxb0d;?SID_kns=011116;?SID=011108;?Ecp_session=1;?LID=WEEvREcwSlJHSldRa1FhcEE0RVVzNVhyZTRSWTFraVRHOTdsUDN0bU9NWT0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4IQMovwHtwkF4VYPoHbKxJw!!;?_pk_ref=%5B%22%22%2C%22%22%2C1545744171%2C%22http%3A%2F%2Fwww.cnki.net%2F%22%5D;?KNS_SortType=;?_pk_ses=*‘
????headers?=?{‘User-Agent‘:?user_agent
???????????????“Referer“:?referer
???????????????“cookie“:?cookie}
????r?=?requests.get（url?headers=headers?timeout=30）
????return?r

wb?=?xlwt.Workbook（）

sh?=?wb.add_sheet（“2003測試表“）

sh.write（0?0?‘序號‘）
sh.write（0?1?‘題名‘）
sh.write（0?2?‘作者‘）
sh.write（0?3?‘單位‘）
sh.write（0?4?‘文獻來源‘）
sh.write（0?5?‘關鍵詞‘）
sh.write（0?6?‘摘要‘）
sh.write（0?7?‘年份‘）
sh.write（0?8?‘頁碼‘）

countItem?=?1
told?=?0
p?=?1??#?這里是頁數
for?num?in?range（p?p?+?20）:
????#?這里的num是頁碼
????web_url?=?‘http://nvsm.cnki.net/kns/brief/brief.aspx?curpage=%s&Records‘?\
????????????‘PerPage=20&QueryID=0&ID=&turnpage=1&tpagemode=L&dbPref‘?\
????????????‘ix=CJFQ&Fields=&DisplayMode=listmode&PageName=ASP.brief_‘?\
????????????‘result_aspx&isinEn=1‘?%?num??#?這里的URL實現了二次加載

????print（‘搜素頁的URL=‘?web_url）

????#?這里開始是時間控制
????t?=?int（time.clock（））
????print（t?/?60?‘分鐘‘）
????useTime?=?t?-?told
????#?如果一個周期的時間使用太短，則等待一段時間
????#?主要用于防止被禁
????if?（useTime??10）:
????????print（“useTime=%s“?%?useTime）
????????whiteTime?=?120?-?useTime
????????print（“等待%s秒“?%?whiteTime）
????????time.sleep（whiteTime）
????told?=?int（time.clock（））
????print（t）

????print（‘開始網頁get請求‘）
????r?=?request（web_url）??#
????#print（r.text）

????#?這里是報錯的解釋，能知道到底是因為什么不能繼續爬了
????#?一開始會看爬到的源代碼，但是之后正式開始爬的時候，打印頁面源代碼會拉低爬蟲效率
????yan?=?re.search（r‘參數錯誤‘?r.text）
????if?yan?!=?None:
????????print（“參數“）
????????break
????yan?=?re.search（r‘驗證碼‘?r.text）
????if?yan?!=?None:
????????print（“驗證“）
????????break

????countHtml?=?re.findall（r‘tle“?name=“lbPagertitle“?class=“pagertitle“>（[.$\s\S]*?）