資源簡介
python網(wǎng)絡(luò)爬蟲,爬取Boss直聘網(wǎng)招聘信息,可輸入城市和職位進行爬取,默認學(xué)歷為本科可以修改
代碼片段和文件信息
#?-*-?coding:?utf-8?-*-
“““
Created?on?Tue?Jul?23?17:12:30?2019
@author:?Administrator
“““
import?urllib.request
import?urllib.parse
import?re
import?csv
import?time
#https://www.zhipin.com/c101130100/d_203/?query=Java&page=1&ka=page-1
class?ZhaopinSpyder:
????def?__init__(self):
????????self.baseurl?=?“https://www.zhipin.com/c“
????????self.headers?=?{“user-Agent“:“Mozilla/5.0?(Windows?NT?6.1;?WOW64)?AppleWebKit/535.1?(KHTML?like?Gecko)?Chrome/14.0.835.163?Safari/535.1“}
????????self.name?=?““
????????self.city?=?““
????????#self.page?=?0
????#?獲取頁面
????def?getPage(selfurl):
????????req?=?urllib.request.Request(urlheaders=self.headers)
????????res?=?urllib.request.urlopen(req)
????????html?=?res.read().decode(“utf-8“)
????????#print(html)
????????self.parsePage(html)??????
????#?解析頁面
????def?parsePage(self?html):
????????p?=?re.compile(r‘.*?tle“>(.*?).*?(.*?).*?(.*?).*?.*?target=“_blank“>(.*?)
.*?‘re.S)
????????rList?=?p.findall(html)
????????if?bool(rList):
????????????#print(rList)
????????????self.writePage(rList)
????????
????#?保存數(shù)據(jù)
????def?writePage(selfList):
????????
????????f?=?open(self.city+“_“+self.name+“.csv““a“newline=““encoding=“utf-8“)
????????write?=?csv.
評論
共有 條評論
相關(guān)資源
- Python-BDD100K大規(guī)模多樣化駕駛視頻數(shù)據(jù)
- Instant Pygame for Python Game Development How
- Biopython Tutorial
- Think Python 2nd
- 一個小小的表白程序(python)
- Python課堂筆記(高淇400集第一季)
- 二級考試python試題12套(包括選擇題和
- pywin32_python3.6_64位
- python+ selenium教程
- PycURL(Windows7/Win32)Python2.7安裝包 P
- 英文原版-Scientific Computing with Python
- 7.圖像風(fēng)格遷移 基于深度學(xué)習(xí) pyt
- 基于Python的學(xué)生管理系統(tǒng)
- A Byte of Python(簡明Python教程)(第
- Python實例174946
- Python 人臉識別
- Python 人事管理系統(tǒng)
- 一個多線程智能爬蟲,爬取網(wǎng)站小說
- 基于python-flask的個人博客系統(tǒng)
- 計算機視覺應(yīng)用開發(fā)流程
- python 調(diào)用sftp斷點續(xù)傳文件
- python socket游戲
- 基于Python爬蟲爬取天氣預(yù)報信息
- python函數(shù)編程和講解
- 頂點小說單本書爬蟲.py
- Python開發(fā)的個人博客
- 基于python的三層神經(jīng)網(wǎng)絡(luò)模型搭建
- python實現(xiàn)自動操作windows應(yīng)用
- python人臉識別(opencv)
- python 繪圖(方形、線條、圓形)