資源簡介
python爬蟲代碼,用于下載網絡圖片到本地保存
代碼片段和文件信息
#!/usr/bin/env?python
#?-*-?coding:utf-8?-*-
import?os
import?re
import?urllib
import?json
import?socket
import?urllib.request
import?urllib.parse
import?urllib.error
#?設置超時
import?time
timeout?=?5
socket.setdefaulttimeout(timeout)
class?Crawler:
????#?睡眠時長
????__time_sleep?=?0.1
????__amount?=?0
????__start_amount?=?0
????__counter?=?0
????headers?=?{‘User-Agent‘:?‘Mozilla/5.0?(Windows?NT?6.1;?WOW64;?rv:23.0)?Gecko/20100101?Firefox/23.0‘}
????#?獲取圖片url內容等
????#?t?下載圖片時間間隔
????def?__init__(self?t=0.1):
????????self.time_sleep?=?t
????#?保存圖片
????def?__save_image(self?rsp_data?word):
????????if?not?os.path.exists(“./“?+?word):
????????????os.mkdir(“./“?+?word)
????????#?判斷名字是否重復,獲取圖片長度
????????self.__counter?=?len(os.listdir(‘./‘?+?word))?+?1
????????for?image_info?in?rsp_data[‘img
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2017-11-20?06:29??BaiduImageSpider-master\
?????文件???????????7??2017-11-20?06:29??BaiduImageSpider-master\.gitignore
?????文件?????????535??2017-11-20?06:29??BaiduImageSpider-master\README.md
?????文件????????3934??2017-11-20?06:29??BaiduImageSpider-master\index.py
- 上一篇:樹莓派多線程實時人臉檢測
- 下一篇:Python數據處理代碼
評論
共有 條評論