#-*-?coding?=?utf-8?-*-
#@Time?:?2020/12/23?14:23
#@Author?:?lxy
#@File?:?旅游.py
#@Software:?PyCharm

import?requests
import?parsel
import?csv


for?page?in?range?（130）:
????print（“=====================正在爬取第{}頁數據==========================“.format（page））
?????#1、得到數據所在的url地址
????url=“https://place.qyer.com/china/citylist-0-0-{}/“.format（str（page））

????#2、發送網絡請求

????response?=?requests.get（url）
????datalist?=?response.text

????#3、數據解析（篩選數據）
????#3.1轉換數據
????selector?=?parsel.Selector（datalist）
????#3.2解析數據
????list?=?selector.xpath（‘//ul[@class=“plcCitylist“]/li‘）#提取所有li標簽

????for?li?in?list:
????????#城市名
????????travel_place?=?li.xpath（‘.//h3/a/text（）‘）.get（）
????????#拜訪人數
????????travel_people?=li.xpath（‘.//p[@class=“beento“]/text（）‘）.get（）
????????#熱門景點
????????travel_hot?=?li.xpath（‘.//p[@class=“pois“]/a/text（）‘）.getall（）
????????travel_hot?=?[hot.strip（）?for?hot?in?travel_hot]
????????travel_hot=?‘‘.join（travel_hot）
????????#景點鏈接
????????travel_url?=?li.xpath（‘.//h3/a/@href‘）.get（）
?????????#圖片
????????travel_Imgurl?=?li.xpath（‘./p/a/img/@src‘）.get（）

????????print（travel_placetravel_peopletravel_hottravel_urltravel_Imgurl）

????????#4、保存數據
????????with?open（‘travel.csv‘?mode=‘a‘encoding=‘utf-8‘newline=‘‘）?as?f:
?????????csv_writer?=?csv.writer（f）
?????????csv_writer.writerow（[travel_placetravel_peopletravel_hottravel_urltravel_Imgurl]）

print（“爬取完畢！“）

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件??????451566??2020-12-28?11:12??python爬蟲爬取旅游信息\data.csv
?????文件????????1605??2020-12-29?16:16??python爬蟲爬取旅游信息\旅游.py
?????目錄???????????0??2020-12-30?22:57??python爬蟲爬取旅游信息\