資源簡介
python 整站下載源碼
代碼片段和文件信息
#coding:?utf-8
from?urllib?import?request
from?htmlparser?import?UrlParser
import?os.path
import?re
#?regular?expression
re_word?=?re.compile(‘(\w+)‘)
re_dataname?=?re.compile(‘(\w+)\.(\w+)‘)
class?DataBean:
????url?=?‘‘
????raw_data?=?None
????data?=?None
????encoding?=?None
????content_type?=?None?#?html?jpg?gif?css
????headers?=?None
????def?reset(self):
????????self.url?=?‘‘
????????self.raw_data?=?None
????????self.data?=?None
????????self.encoding?=?None
????????self.content_type?=?None?#?html?jpg?gif?css
????????self.headers?=?None
????def?set(self?resp):
????????self.reset()
????????self.headers?=?resp.getheaders()
????????temp?=?resp.getheader(‘Content-Type‘).strip()
????????self.raw_data?=?resp.read()
????????if?‘text/‘?in?temp:
????????????temp?=?t
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件???????7388??2014-10-04?20:59??downloader.py
?????文件???????3080??2014-10-03?19:30??htmlparser.py
-----------?---------??----------?-----??----
????????????????10468????????????????????2
- 上一篇:Nodejs實現的一個磁力鏈接爬蟲
- 下一篇:登陸需要密碼以及圖片驗證的網站 如知乎
評論
共有 條評論