資源簡介
Python 爬蟲爬取視頻等大體積文件時,使用requests.get(url) 方法需要等該文件緩存進內存完之后才開始保存進硬盤,這樣會導致測試代碼的時候很長時間沒有反應。本模塊可以實現緩存多少便保存至硬盤多少的功能,不會出現運行很久而代碼區沒有反應的問題。
代碼片段和文件信息
import?requests
def?down?(urlpathspeed):
????????r?=?requests.get(urlstream?=?True)
????????volume?=?int(r.headers[‘content-length‘])
????????with?open(path‘wb‘)?as?f:
????????????????volume_down?=?0
????????????????for?chunk?in?r.iter_content(chunk_size=1048576*speed):
????????????????????????f.write(chunk)
????????????????????????volume_down?=?(volume_down?+?len(chunk))
?????????
評論
共有 條評論