#?-*-?coding:?utf-8?-*-

import?requests?#用來訪問網頁的庫，好比瀏覽器
from?bs4?import?BeautifulSoup?#爬蟲庫，用來抓取網頁中的信息，它有一個可愛的名字beautifulsoup寓意一碗濃湯，我要從湯中撈出不同的美味
import?time
import?pandas?as?pd

def?read_url（path）:
????path?=?path
????data?=?pd.read_csv（pathengine=‘python‘）
????try:
????????data_received?=?pd.read_csv（‘./house_inf_lianjia.csv‘engine=‘python‘）
????????print（‘導入爬取數據‘）
????????data_received_list?=?data_received[‘url‘].tolist（）
????????print（‘轉換表格‘）
????????url_list?=?data[~data[‘url‘].isin（data_received_list）][‘url‘].unique（）.tolist（）
????????print（‘剔除已爬取數據‘）
????????print（len（url_list））
????except?:
????????url_list?=?data[‘url‘].unique（）.tolist（）
????????data?=?pd.Dataframe（
????????????columns=[‘house_id‘?‘name‘?‘price‘?‘area_price‘?‘area‘?‘room‘?‘livingroom‘?‘kitchenroom‘
?????????????????????‘bathroom‘?‘lng‘?‘lat‘?‘url‘]）
????????data.to_csv（‘./house_inf_lianjia.csv‘?encoding=‘gbk‘?index=0）
????????print（‘無歷史數據‘）
????return?url_list

def?save_data（）:
????data?=?pd.Dataframe（data_lcolumns?=?[‘house_id‘‘name‘‘price‘‘area_price‘‘area‘‘room‘‘livingroom‘‘kitchenroom‘‘bathroom‘‘lng‘‘lat‘‘url‘]）
????data.to_csv（‘./house_inf_lianjia.csv‘encoding=‘gbk‘index=0mode=‘a+‘header=False）

def?craw_inf（url_list）:
????#time.sleep（1）
????headers={
????????‘UserAgent‘:‘Mozilla/5.0?（Windows?NT?10.0;?Win64;?x64）?AppleWebKit/537.36?（KHTML?like?Gecko）?Chrome/67.0.3396.99?Safari/537.36‘}
????n?=?0
????for?url?in?url_list:
????????n?+=?1
????????try:
????????????web?=?requests.get（urlheaders=headers）
????????????soup?=?BeautifulSoup（web.text‘lxml‘）
????????????names?=?soup.select（‘body?>?div.sellDetailHeader?>?div?>?div?>?div.title?>?h1‘）
????????????prices?=?soup.select（‘body?>?div.overview?>?div.content?>?div.price?>?span.total‘）
????????????area_prices?=?soup.select（‘body?>?div.overview?>?div.content?>?div.price?>?div.text?>?div.unitPrice?>?span‘）
????????????areas?=?soup.select（‘body?>?div.overview?>?div.content?>?div.houseInfo?>?div.area?>?div.mainInfo‘）
????????????room_types?=?soup.select（‘#introduction?>?div?>?div?>?div.base?>?div.content?>?ul?>?li‘）
????????????lng?=?soup.get_text（）.split（“resblockPosition:‘“）[1].split（‘‘）[0]
????????????lat?=?soup.get_text（）.split（“resblockPosition:‘“）[1].split（‘‘）[1].split（“‘“）[0]
????????????for?namepricearea_pricearearoom_type?in?zip（namespricesarea_pricesareasroom_types）:
????????????????#print（name.get_text（）price.get_text（）area_price.get_text（）area.get_text（）room_type.get_text（）lnglat）
????????????????house_id?=?url.split（‘https://sh.lianjia.com/ershoufang/‘）[1].split（‘.‘）[0]
????????????????name?=?name.get_text（）
????????????????price?=?price.get_text（）
????????????????area_price?=?area_price.get_text（）.split（‘元‘）[0]
????????????????area?=?area.get_text（）.split（‘平‘）[0]
????????????????room?=?room_type.get_text（）.split（‘房屋戶型‘）[1].split（‘室‘）[0]
????????????????livingroom?=?room_type.get_text（）.split（‘室‘）[1].split（‘廳‘

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-11-15?19:09??【參考】在線選房系統代碼和數據\
?????目錄???????????0??2018-11-15?19:09??【參考】在線選房系統代碼和數據\.idea\
?????文件?????????185??2018-11-15?17:04??【參考】在線選房系統代碼和數據\.idea\misc.xml
?????文件?????????276??2018-11-15?17:04??【參考】在線選房系統代碼和數據\.idea\modules.xml
?????文件???????14845??2018-11-15?17:04??【參考】在線選房系統代碼和數據\.idea\workspace.xml
?????文件?????????488??2018-11-15?17:04??【參考】在線選房系統代碼和數據\.idea\線性回歸.iml
?????文件????????6693??2018-11-15?17:04??【參考】在線選房系統代碼和數據\coefficients.xlsx
?????文件????????3944??2018-11-15?17:04??【參考】在線選房系統代碼和數據\get_information.py
?????文件????????2462??2018-11-15?17:04??【參考】在線選房系統代碼和數據\get_url.py
?????文件??????215272??2018-11-15?17:04??【參考】在線選房系統代碼和數據\house_inf_lianjia.csv
?????文件??????531317??2018-11-15?17:04??【參考】在線選房系統代碼和數據\model_data.csv
?????文件????????2456??2018-11-15?17:04??【參考】在線選房系統代碼和數據\model_project.R
?????文件?????1587712??2018-11-15?17:04??【參考】在線選房系統代碼和數據\project.mxd
?????文件????21570583??2018-11-15?17:04??【參考】在線選房系統代碼和數據\RData
?????文件????????8984??2018-11-15?17:04??【參考】在線選房系統代碼和數據\Rhistory
?????文件????????1396??2018-11-15?17:04??【參考】在線選房系統代碼和數據\schema.ini
?????文件?????3158169??2018-11-15?17:04??【參考】在線選房系統代碼和數據\urls.csv
?????文件???????????5??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.CPG
?????文件???????21510??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.dbf
?????文件?????????145??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.prj
?????文件????????2204??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.sbn
?????文件?????????276??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.sbx
?????文件?????2298968??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.shp
?????文件?????????639??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.shp.xml
?????文件????????1796??2018-11-15?17:04??【參考】在線選房系統代碼和數據\上海街鎮.shx
?????文件??????????64??2018-11-15?17:04??【參考】在線選房系統代碼和數據\地理處理.ldb
?????文件????33869824??2018-11-15?17:04??【參考】在線選房系統代碼和數據\地理處理.mdb
?????文件?????2617387??2018-11-15?17:04??【參考】在線選房系統代碼和數據\您的在線選房系統已上線.docx
?????文件?????2603087??2018-11-15?17:52??【參考】在線選房系統代碼和數據\美團美食——上海市.csv