資源簡介
天貓商品評論爬蟲,可以根據商品的id將對應商品的評論全部爬取下來
代碼片段和文件信息
#?coding:utf-8
import?requests
import?json
import?csv
import?sys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
def?getCommodityComments(url):
????if?url[url.find(‘id=‘)+14]?!=?‘&‘:
????????id?=?url[url.find(‘id=‘)+3:url.find(‘id=‘)+15]
????else:
????????id?=?url[url.find(‘id=‘)+3:url.find(‘id=‘)+14]
????url?=?‘https://rate.taobao.com/feedRateList.htm?auctionNumId=‘+id+‘¤tPageNum=1‘
????res?=?requests.get(url)
????jc?=?json.loads(res.text.strip().strip(‘()‘))
????max?=?jc[‘total‘]
????users?=?[]
????comments?=?[]
????count?=?0
????page?=?1
????print(str(max))
????c?=?open(“tmall_MIJIA222.csv“?“wb“)
????c.write(‘\xEF\xBB\xBF‘)??#?這里是重點地方********重點內容**
????writer?=?csv.writer(c)
????while?count ????????res?=?requests.get(url[:-1]+str(page))
????????page?=?page?+?1
????????jc?=?json.loads(res.text.strip().strip(‘()‘))
????????jc?=?jc[‘comment
- 上一篇:股票爬取python
- 下一篇:treePlotter
評論
共有 條評論