資源簡介
代碼片段和文件信息
import?requests??#?網絡請求模塊
from?bs4?import?BeautifulSoup??#?網頁解析模塊
import?csv??#?csv文件模塊
def?get_html():
????#?網址
????url?=?‘https://bj.58.com/wangjing/pinpaigongyu/pn/{page}/?minprice=2000_3000‘
????#?初始化頁碼
????page?=?0
????#?打開re.csv文件如果沒有就創建一個,并設置寫入模式
????csv_file?=?open(‘renting.csv‘?‘w‘?encoding=‘utf_8_sig‘?newline=‘‘)
????#?創建writer對象
????writer?=?csv.writer(csv_file?dialect=‘excel‘)
????#?循環所有頁面
????while?True:
????????page?+=?1
????????#?抓取目標頁面
????????response?=?requests.get(url.format(page=page))
????????response.encoding?=?‘utf-8‘??#?設置編碼方式
????????#?創建一個BeautifulSoup對象,獲取頁面正文
????????html?=?BeautifulSoup(response.text?“html.parser“)
????????#?獲取當前頁面的房子信息
????????house_list?=?html.select(“.list?>?li“)
????????print(‘正在下載網頁‘?url.format(page=page)
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件??????????51??2019-02-15?08:49??readme.txt
?????文件?????2577408??2019-01-22?11:23??程序配置說明.doc
?????文件?????2397696??2019-04-08?10:01??高德地圖+58租房的程序使用說明.doc
?????文件????????2749??2019-01-22?11:23??golden_map+58rental\crawl.py
?????文件????????8813??2019-04-01?09:36??golden_map+58rental\index.html
?????文件???????40650??2019-01-22?11:23??golden_map+58rental\renting.csv
?????文件?????????270??2019-04-04?09:40??golden_map+58rental\web.py
?????文件?????????431??2019-01-22?11:23??golden_map+58rental\.idea\golden_map+58rental.iml
?????文件?????????185??2019-01-22?11:23??golden_map+58rental\.idea\misc.xm
?????文件?????????290??2019-01-22?11:23??golden_map+58rental\.idea\modules.xm
?????文件???????12217??2019-04-04?09:40??golden_map+58rental\.idea\workspace.xm
評論
共有 條評論