#-*-?coding:?utf-8?-*-
import?re
import?csv
import?requests
from?tqdm?import?tqdm
from?urllib.parse?import?urlencode
from?requests.exceptions?import?RequestException

def?get_one_page（city?keyword?region?page）:
????‘‘‘
????獲取網頁html內容并返回
????‘‘‘
????paras?=?{
????????‘jl‘:?city?????????#?搜索城市
????????‘kw‘:?keyword??????#?搜索關鍵詞?
????????‘isadv‘:?0?????????#?是否打開更詳細搜索選項
????????‘isfilter‘:?1??????#?是否對結果過濾
????????‘p‘:?page??????????#?頁數
????????‘re‘:?region????????#?region的縮寫，地區，2005代表海淀2061代表武漢
????}

????headers?=?{
????????‘User-Agent‘:?‘Mozilla/5.0?（Windows?NT?10.0;?WOW64）?AppleWebKit/537.36?（KHTML?like?Gecko）?Chrome/63.0.3239.132?Safari/537.36‘
????????‘Host‘:?‘sou.zhaopin.com‘
????????‘Referer‘:?‘https://www.zhaopin.com/‘
????????‘Accept‘:?‘text/htmlapplication/xhtml+xmlapplication/xml;q=0.9image/webpimage/apng*/*;q=0.8‘
????????‘Accept-Encoding‘:?‘gzip?deflate?br‘
????????‘Accept-Language‘:?‘zh-CNzh;q=0.9‘
????}

????url?=?‘https://sou.zhaopin.com/jobs/searchresult.ashx?‘?+?urlencode（paras）
????try:
????????#?獲取網頁內容，返回html數據
????????response?=?requests.get（url?headers=headers）
????????#?通過狀態碼判斷是否獲取成功
????????if?response.status_code?==?200:
????????????return?response.text
????????return?None
????except?RequestException?as?e:
????????return?None

def?parse_one_page（html）:
????‘‘‘
????解析HTML代碼，提取有用信息并返回
????‘‘‘
????#?正則表達式進行解析
????pattern?=?re.compile（‘yle=.*??target=“_blank“>（.*?）.*?‘????????#?匹配職位信息
????????‘（.*?）.*?‘?????#?匹配公司網址和公司名稱
????????‘（.*?）‘?re.S）????????????????????????????????#?匹配月薪??????

????#?匹配所有符合條件的內容
????items?=?re.findall（pattern?html）???

????for?item?in?items:
????????job_name?=?item[0]
????????job_name?=?job_name.replace（‘‘?‘‘）
????????job_name?=?job_name.replace（‘‘?‘‘）
????????yield?{
????????????‘job‘:?job_name
????????????‘website‘:?item[1]
????????????‘company‘:?item[2]
????????????‘salary‘:?item[3]
????????}

def?write_csv_file（path?headers?rows）:
????‘‘‘
????將表頭和行寫入csv文件
????‘‘‘
????#?加入encoding防止中文寫入報錯
????#?newline參數防止每寫入一行都多一個空行
????with?open（path?‘a‘?encoding=‘gb18030‘?newline=‘‘）?as?f:
????????f_csv?=?csv.DictWriter（f?headers）
????????f_csv.writeheader（）
????????f_csv.writerows（rows）

def?write_csv_headers（path?headers）:
????‘‘‘
????寫入表頭
????‘‘‘
????with?open（path?‘a‘?encoding=‘gb18030‘?newline=‘‘）?as?f:
????????f_csv?=?csv.DictWriter（f?headers）
????????f_csv.writeheader（）

def?write_csv_rows（path?headers?rows）:
????‘‘‘
????寫入行
????‘‘‘
????with?open（path?‘a‘?encoding=‘gb18030‘?newline=‘‘）?as?f:
????????f_csv?=?csv.DictWriter（f?headers）
????????f_csv.writerows（rows）

def?main（city?keyword?region?pages）:
????‘‘‘
????主函數
????‘‘‘
????filename?=?‘zl_‘?+?city?+?‘_‘?+?keyword?+?‘.csv‘
????headers?=?[‘job‘?‘website‘?‘company‘?‘salary‘]
????write_csv_headers（filename?headers）
?

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----

?????文件??????14712??2018-06-16?21:18??智聯招聘\zl_530_python工程師.csv

?????文件??????63708??2018-06-16?21:28??智聯招聘\zl_武漢_python工程師.csv

?????文件???????3770??2018-06-16?21:32??智聯招聘\智聯招聘.py

?????目錄??????????0??2018-06-16?21:33??智聯招聘

-----------?---------??----------?-----??----

????????????????82190????????????????????4