‘‘‘Mar12018??Author:Zhiying?Zhou
這是爬取最好大學網近三年的中國最好大學的排名?！?br/>import?requests
from?bs4?import?BeautifulSoup
from?requests.exceptions?import?RequestException
import?time
from?multiprocessing?import?Pool
headers?=?{“User-Agent“:“Mozilla/5.0“}
#?通過url獲取網頁
def?get_html_page（url）:
????try:
????????r?=?requests.get（url?headers=headers）
????????r.raise_for_status（）
????????r.encoding?=?‘utf-8‘
????????return?r.text
????except?RequestException:
????????print（“爬取失敗！“）


#?解析網頁并保存數據
def?parse_HTML_page（html）:
????soup?=?BeautifulSoup（html?‘html5lib‘）
????for?tr_tags?in?soup.tbody.find_all（‘tr‘）:
????????items?=?[]
????????for?td_tag?in?tr_tags.find_all（‘td‘）:
????????????items.append（td_tag.string）
????????with?open（“D:\\zuihaodaxue.txt“?‘a‘）?as?f:
????????????f.write（“{:<4}{:^12}{:^14}{:^18}{:^24}\n“.format（items[0].strip（）?items[1].strip（）?items[2].strip（）
????????????????????items[3].strip（）?items[4].strip（）））
????????????f.close（）


def?main（y）:

????url?=?“http://www.zuihaodaxue.cn/zuihaodaxuepaiming“?+?str（y）?+?“.html“
????html?=?get_html_page（url）
????parse_HTML_page（html）


if?__name__?==?‘__main__‘:
????time.clock（）
????print（“------開始獲取數據------“）
????with?open（“D:\\zuihaodaxue.txt“?‘a‘）?as?f:
????????f.write（“軟科中國最好大學排名（2016-2018）\n{:<4}{:^12}{:^14}{:^18}{:^24}\n“.format（‘排名‘?‘學校名稱‘?‘省市‘
????????????????‘總分‘?‘指標得分‘））
????????f.close（）
????p?=?Pool（）
????p.map（main?[2016?2017?2018]）
????print（“-------數據保存成功！------“）
????print（“程序運行時間為{}“.format（time.clock（）））

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-04-22?00:38??最好大學排名\
?????文件????????1726??2018-04-22?00:36??最好大學排名\zuihaodaxue.py
?????文件??????115873??2018-04-22?00:36??最好大學排名\zuihaodaxue.txt