#?-*-?coding:?utf-8?-*-
import?scrapy
from?scrapy.linkextractors?import?linkExtractor
from?scrapy.spiders?import?CrawlSpider?Rule
from?rentHouse.items?import?RenthouseItem
import?re
from?fontTools.ttLib?import?TTFont
import?base64
from?io?import?BytesIO

class?ZhuFangSpider（CrawlSpider）:
????name?=?‘zhu_fang‘
????allowed_domains?=?[‘wh.58.com‘]
????start_urls?=?[‘https://wh.58.com/zufang/‘]

????rules?=?（
????????Rule（linkExtractor（allow=r‘zufang/pn\d+/‘）?follow=True）
????????Rule（linkExtractor（allow=r‘zufang/\d+x\.shtml‘）?callback=‘parse_item‘）
????）


????def?parse_item（self?response）:

????????result?=?re.findall（r“base64\（.*?）‘\）“?response.body_as_unicode（）?re.S）

????????#?租金
????????rent_money?=?self.get_rent_money（responseresult）
????????#?押金
????????ya_jin?=?self.get_ya_jin（response）
????????#?租賃方式
????????rent_way?=?self.get_rent_way（response）
????????#?房屋類型
????????house_style?=?self.get_house_style（responseresult）
????????#?房屋朝向
????????house_toward?=?self.get_house_toward（response）
????????#?房屋樓層
????????house_foor?=?self.get_house_foor（responseresult）
????????#?小區
????????xiao_qu?=?self.get_xiao_qu（response）
????????#?區域
????????house_area?=?self.get_house_area（response）
????????#?詳細區域
????????detail_area?=?self.get_detail_area（response）
????????#?鏈接
????????url?=?response.url

????????item?=?RenthouseItem（rent_money?=?rent_moneyya_jin?=?ya_jinrent_way?=?rent_wayhouse_style?=?house_style?house_toward?=?house_toward
????????????????????????????house_foor?=?house_foorxiao_qu?=?xiao_quhouse_area?=?house_areadetail_area?=?detail_areaurl?=?url）

????????yield?item

????def?get_rent_money（selfresponseresult）:
????????rent_money?=?response.xpath（‘//b[@class=“f36?strongbox“]/text（）‘）.extract（）
????????if?len（rent_money）?==?0:
????????????return?None
????????else:
????????????if?len（result）?==?0:
????????????????return?rent_money[0]
????????????else:
????????????????ziti?=?rent_money[0]
????????????????code_str?=?result[0]
????????????????rent_money?=?self.jiema（ziti?code_str）
????????????????return?rent_money

????def?get_ya_jin（selfresponse）:
????????ya_jin?=?response.xpath（‘//span[@class=“c_333“]/text（）‘）.extract（）
????????if?len（ya_jin）?!=?0:
????????????return?ya_jin[0]
????????else:
????????????return?None

????def?get_rent_way（selfresponse）:
????????rent_way?=?response.xpath（‘//ul[@class=“f14“]/li[1]/span[2]/text（）‘）.extract（）
????????if?len（rent_way）?!=?0:
????????????return?rent_way[0]
????????else:
????????????return?None

????def?get_house_style（selfresponseresult）:
????????house_style?=?response.xpath（‘//ul[@class=“f14“]/li[2]/span[2]/text（）‘）.extract（）
????????if?len（house_style）?==?0:
????????????return?None
????????else:
????????????if?len（result）?==?0:
????????????????return?house_style[0].replace（“\xa0“““）.replace（“?“““）
????????????else:
????????????????code_str?=?result[0]