資源簡介
通過Python獲取拉勾網職位信息，僅供大家學習參考！
代碼片段和文件信息
from?bs4?import?BeautifulSoup
import?urllib.request
from?com.test.model.RecruitInfo?import?RecruitInfo
import?xlwt
#?插入表頭數據
def?insert_form_head（sheet?key_array）:
????#?頭所對應的單元格樣式
????head_style?=?xlwt.easyxf（‘font:?bold?on;?align:?wrap?on?vert?centre?horiz?center‘）
????for?index?in?range（len（key_array））:
????????#?插入表頭，參數含義：首行，尾行，首列，尾列，對應鍵，頭部單元格樣式
????????sheet.write_merge（0?0?index?index?key_array[index]head_style）
#?獲得工作年限
def?get_work_year（main_tag）:
????data?=?str（main_tag）
????soup?=?BeautifulSoup（data?‘html.parser‘）
????tag?=?soup.find（‘div‘?class_=‘li_b_l‘）
????handleText?=?str（tag）
????str1?=?‘->‘
????startIndex?=?handleText.find（str1?0）
????divTag?=?‘ ????endIndex?=?handleText.find（divTag?0）
????workYear?=?handleText[startIndex?+?len（str1）:endIndex]
????return?workYear
#?遍歷獲得職位信息
def?get_main_recruit_info（soupsheet）:
????global?row_index
????for?tag?in?soup.find_all（‘li‘?class_=‘con_list_item?default_list‘）:
??????companyName?=?tag.get（‘data-company‘）
??????positionName?=?tag.get（‘data-positionname‘）
??????salary?=?tag.get（‘data-salary‘）
??????re?=?RecruitInfo（companyName?positionName?salary?get_work_year（tag））
??????value?=?‘‘
??????#?keyArray?列名（“公司名稱“?“職位名稱“?“薪資“?“工作年限/學歷“）
??????for?column_index?in?range（len（keyArray））:
??????????if?column_index?==?0:
??????????????value?=?re.companyName
??????????elif?column_index?==?1:
??????????????value?=?re.position
??????????elif?column_index?==?2:
??????????????value?=?re.salary
??????????elif?column_index?==?3:
??????????????value?=?re.workYear
??????????sheet.write_merge（row_index?row_index?column_index?column_indexvaluevalue_st
??????row_index?=?row_index?+?1
#?創建并寫入數據到excel，創建時必須add_sheet
def?write_to_excel（sheettype）:
??????for?index?in?range（30）:
????????soup?=?get_html_data（index+1?type）
????????if?index?==?0:
??????????insert_form_head（sheet?keyArray）
????????else:
??????????get_main_recruit_info（soup?sheet）
def?get_html_data（indextype）:
????#?網址
????url?=?“https://www.lagou.com/zhaopin/“+type+“/“+str（index）+“/?filterOption=1“
????#?請求
????headers?=?{‘User-Agent‘:?‘Mozilla/5.0?（Windows;?U;?Windows?NT?6.1;?en-US;?rv:1.9.1.6）?Gecko/20091201?Firefox/3.5.6‘}
????request?=?urllib.request.Request（urlheaders=headers）
????#?爬取結果
????response?=?urllib.request.urlopen（request）
????data?=?response.read（）
????#?設置解碼方式
????data?=?data.decode（‘utf-8‘）
????soup?=?BeautifulSoup（data?‘html.parser‘）
????return?soup
#?類似于java的main函數
if?__name__?==?‘__main__‘:
????#?鍵名，也就是excel的表頭
????keyArray?=?（“公司名稱“?“職位名稱“?“薪資“?“工作年限/學歷“）
????#?行數，從1開始取，第0行作為表頭
????row_index?=?1
????#?職位分類，也就是sheet的分類
????jobArray?=?（‘Android‘?‘iOS‘?‘Java‘）
????#?值所對應的單元格樣式
????value_st
????#?創建excel工作簿
????excelFile?=?xlwt.Workbook（）
????for?jobType?in?jobArray:
????????#?添加sheet
????????sheet?=?excelFile.add_shee
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件???????3818??2017-07-10?10:01??lagouDataCatch.py
?????文件????????616??2017-06-27?10:56??RecruitInfo.py
-----------?---------??----------?-----??----
?????????????????4434????????????????????2
評論
共有 條評論
川公網安備 51152502000135號