-
大小: 12KB文件類(lèi)型: .py金幣: 1下載: 0 次發(fā)布日期: 2021-01-09
- 標(biāo)簽:
資源簡(jiǎn)介
爬取空氣質(zhì)量檢測(cè)網(wǎng)的部分城市的歷年每天質(zhì)量數(shù)據(jù)
思路-----------------------------------------
從某城市的空氣質(zhì)量網(wǎng)頁(yè)獲取某市每月的鏈接,再爬取每個(gè)月的表格數(shù)據(jù)。連云港市:https://www.aqistudy.cn/historydata/daydata.php?city=連云港
連云港2014年5月的空氣質(zhì)量:https://www.aqistudy.cn/historydata/daydata.php?city=連云港&month=2014-05
遇到的問(wèn)題-----------------------------------------
獲取的
代碼片段和文件信息
#?任務(wù):爬取https://www.aqistudy.cn/historydata/index.php的部分城市的每日空氣質(zhì)量
import?requests
from??bs4?import?BeautifulSoup
import?re
import?pprint
import?json
import?pandas?as?pd
from?lxml?import?etree
from?urllib.parse?import?urljoin
#?獲取城市鏈接
def?getcityurls():
????citylist=[‘杭州市‘‘寧波市‘‘溫州市‘‘嘉興市‘‘湖州市‘‘紹興市‘‘金華市‘‘衢州市‘‘舟山市‘‘臺(tái)州市‘‘麗水市‘‘合肥市‘‘蕪湖市‘‘蚌埠市‘‘淮南市‘‘馬鞍山市‘‘淮北市‘‘銅陵市‘‘安慶市‘‘黃山市‘‘阜陽(yáng)市‘‘宿州市‘‘滁州市‘‘六安市‘‘宣城市‘‘池州市‘‘亳州市‘]
????cityurls=[]
????for?city?in?citylist:
????????standcity=city.replace(‘市‘‘‘)
????????root_url=‘https://www.aqistudy.cn/historydata/monthdata.php?city=‘+str(standcity)
????????print(root_url)
????????cityurls.append(root_url)
????return?cityurls
#?獲取某城市的所有月份鏈接
def?getmonthhref(cityurl):
????base_url=‘https://www.aqistudy.cn/historydata/‘
?
- 上一篇:八字排盤(pán)PHP源碼(算命 占卜)
- 下一篇:php商品展示
評(píng)論
共有 條評(píng)論