資源簡介
python網(wǎng)絡爬蟲爬取了2018年截至到目前為止,北上廣深這四個城市的空氣質(zhì)量的數(shù)據(jù),并對此做出了分析,用python畫圖庫,實現(xiàn)數(shù)據(jù)的可視化

代碼片段和文件信息
import?time
import?requests
from?bs4?import?BeautifulSoup
headers?=?{
????‘User-Agent‘:‘Mozilla/5.0?(Windows?NT?6.1;?WOW64)?AppleWebKit/537.36?(KHTML?like?Gecko)?Chrome/63.0.3239.132?Safari/537.36‘
}
citys?=?[‘beijing‘?‘shanghai‘?‘guangzhou‘?‘shenzhen‘]
for?i?in?range(len(citys)):
????time.sleep(5)
????for?j?in?range(1?13):
????????time.sleep(5)
????????#?請求2018年各月份的數(shù)據(jù)頁面
????????url?=?‘http://www.tianqihoubao.com/aqi/‘?+?citys[i]?+?‘-2018‘?+?str(“%02d“?%?j)?+?‘.html‘
????????#?有請求頭(鍵值對形式表示請求頭)
????????response?=?requests.get(url=url?headers=headers)
????????#?html字符串創(chuàng)建BeautifulSoup對象
????????soup?=?BeautifulSoup(response.text?‘html.parser‘)
????????tr?=?soup.find_all(‘tr‘)
????????for?k?in?tr[1:]:
????????????td?=?k.find_all(‘td‘)
????????????#?日期
????????????Date?=?td[0].get_text().strip()
????????????#?質(zhì)量等級
????????????Quality_grade?=?td[1].get_text().strip()
????????????#?AQI指數(shù)
????????????AQI?=?td[2].get_text().strip()
????????????#?當天AQI排名
????????????AQI_rank?=?td[3].get_text().strip()
????????????#?PM2.5
????????????PM?=?td[4].get_text()
????????????#?數(shù)據(jù)存儲
????????????filename?=?‘a(chǎn)ir_‘?+?citys[i]?+?‘_2018.csv‘
????????????with?open(filename?‘a(chǎn)+‘?encoding=‘utf-8-sig‘)?as?f:
????????????????f.write(Date?+?‘‘?+?Quality_grade?+?‘‘?+?AQI?+?‘‘?+?AQI_rank?+?‘‘?+?PM?+?‘\n‘)
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-12-21?11:23??BSGS_1\
?????目錄???????????0??2018-12-26?14:11??BSGS_1\.idea\
?????文件?????????455??2018-12-10?18:46??BSGS_1\.idea\BSGS_1.iml
?????目錄???????????0??2018-12-10?18:46??BSGS_1\.idea\inspectionProfiles\
?????文件?????????288??2018-12-10?18:44??BSGS_1\.idea\misc.xm
?????文件?????????264??2018-12-10?18:44??BSGS_1\.idea\modules.xm
?????文件???????34807??2018-12-26?14:11??BSGS_1\.idea\workspace.xm
?????文件??????731303??2018-12-21?09:05??BSGS_1\2018年北上廣深AQI_rank全年走勢圖.html
?????文件??????731264??2018-12-21?11:24??BSGS_1\2018年北上廣深AQI全年走勢圖.html
?????文件??????731262??2018-12-10?18:56??BSGS_1\2018年北上廣深PM2.5全年走勢圖.html
?????文件??????727933??2018-12-10?18:56??BSGS_1\2018年北上廣深全年空氣質(zhì)量情況.html
?????文件????????9828??2018-12-10?18:48??BSGS_1\air_beijing_2018.csv
?????文件????????8885??2018-12-10?18:51??BSGS_1\air_guangzhou_2018.csv
?????文件????????9091??2018-12-10?18:49??BSGS_1\air_shanghai_2018.csv
?????文件????????8609??2018-12-10?18:52??BSGS_1\air_shenzhen_2018.csv
?????文件????????1453??2018-12-21?11:23??BSGS_1\BSGS_2018.py
?????文件????????1269??2018-12-10?18:35??BSGS_1\BSGS_2018_AQI_month.py
?????文件????????1289??2018-12-21?09:05??BSGS_1\BSGS_2018_AQI_rank_month.py
?????文件????????1275??2018-12-10?18:22??BSGS_1\BSGS_2018_PM2.5_month.py
?????文件????????1647??2018-11-26?17:06??BSGS_1\BSGS_2018_Quality_grade.py
- 上一篇:kaggle房價預測代碼
- 下一篇:基于情感詞典的情感傾向打分
評論
共有 條評論