from?bs4?import?BeautifulSoup
from?urllib.parse?import?urljoin
import?requests
import?csv
import?time
import?random

#第一頁網(wǎng)址
url=“http://gz.58.com/pinpaigongyu/pn/{page}/?minprice=500_5000“
#初始化頁碼
page=0
#?標(biāo)記次數(shù)【作用：防止網(wǎng)絡(luò)問題】
sign=0

#打開CSV格式的文件
csv_file=open（“ren.csv““w“）
#創(chuàng)建writer對象指定文件與分隔符
csv_writer=csv.writer（csv_filedelimiter=““）

while?True:
????#頁碼導(dǎo)入
????page=page+1
????print（“[#]?解析網(wǎng)址:“url.format（page=page））
????response=requests.get（url.format（page=page））?????????#導(dǎo)入url請求
????html=BeautifulSoup（response.text“l(fā)xml“）????????????#解析url
????house_list=html.select（“.list?>?li“）???????????????#CSS樣式選擇器
????#判斷是否循環(huán)結(jié)束
????if?not?house_list:
????????#連續(xù)三次標(biāo)記都獲取為空說明列表已經(jīng)讀取完畢
????????if?sign==3:
????????????print（“?????[+]已讀取完畢退出.....“）
????????????break
????????else:
????????????print（“?????[+]出現(xiàn)獲取不到列表再次嘗試獲取...“）
????????????sign+=1??#進(jìn)行次數(shù)標(biāo)記
????????????#?加入隨機(jī)延遲
????????????time.sleep（random.randint（1?3））
????????????continue
????#獲取租房信息列表成功初始化標(biāo)記
????sign?=?0
????#檢列表開始循環(huán)讀取
????for?house?in?house_list:
????????#房屋url超鏈接
????????house_url=urljoin（urlhouse.select（“a“）[0][“href“]）
????????#?print（“?????[*]url:“house_url）
????????#?房屋標(biāo)題
????????house_title=str（house.select（“h2“）[0].string）
????????#?print（“??????[*]房屋標(biāo)題:“house_title）
????????#?房屋信息列表
????????house_info_list=house_title.split（）

????????#地址?【判斷不同的情況，第二列是公寓名去第一列作為地址】
????????if?“公寓“?in?house_info_list[1]?or?“青年社區(qū)“?in?house_info_list[1]:
????????????house_location=house_info_list[0].split（“】“）[1]
????????????#?print（“???????[*]地址:“house_location）
????????else:
????????????house_location=house_info_list[1]
????????????#?print（“???????[*]地址:“house_location）

????????house_money=house.select（“.money“）[0].select（“b“）[0].string
????????#?print（“????????[*]房租:“house_money）
????????#?print（“----------------------------------------------------------?\n“）
????????#?寫入一行數(shù)據(jù)
????????csv_writer.writerow（[house_title?house_location?house_money?house_url]）

#關(guān)閉文件
csv_file.close（）

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-11-27?17:47??租房API調(diào)用\.idea\
?????文件?????????254??2017-09-09?21:24??租房API調(diào)用\.idea\misc.xml
?????文件?????????282??2017-09-09?21:22??租房API調(diào)用\.idea\modules.xml
?????文件???????17202??2017-09-10?15:21??租房API調(diào)用\.idea\workspace.xml
?????文件?????????500??2017-09-09?21:24??租房API調(diào)用\.idea\租房API調(diào)用.iml
?????文件????????2470??2017-09-11?21:26??租房API調(diào)用\crawl.py
?????文件????????8566??2017-09-10?12:14??租房API調(diào)用\index.html
?????文件???????94990??2017-09-11?21:00??租房API調(diào)用\ren.csv
?????文件??????108647??2017-09-11?21:02??租房API調(diào)用\ren_1.csv
?????文件??????????51??2017-09-09?23:00??租房API調(diào)用\test.py
?????目錄???????????0??2018-11-27?17:47??租房API調(diào)用\備份\
?????文件????????2080??2017-09-10?11:49??租房API調(diào)用\備份\crawl.py