資源簡介
利用python3以及scrapy爬蟲框架編寫的淘寶模擬登陸抓取店鋪后臺數據的一個項目。其中最主要的就是解決了淘寶的模擬登陸問題，為后面數據的抓取提供了很大的方便。
代碼片段和文件信息
#?-*-?coding:?utf-8?-*-
import?time
import?scrapy
import?json
from?Tesoridoriente.items?import?TesoridorienteItem
class?TesoridorienteSpider（scrapy.Spider）:
????#?爬蟲名
????name?=?‘tesoridoriente‘
????#?爬蟲允許的域
????allowed_domains?=?[“taobao.com“?“passport.alibaba.com“]
????#?爬蟲進行模擬登錄的url
????login_url?=?‘https://login.taobao.com/member/login.jhtml‘
????#?爬蟲要抓取數據的url
????crawl_url?=?‘https://sycm.taobao.com/portal/live/overview.json‘
????#?構建請求頭
????headers?=?{
????????‘User-Agent‘:?‘Mozilla/5.0?（Windows?NT?6.1;?WOW64）?AppleWebKit/537.36?（KHTML?like?Gecko）?Chrome/62.0.3202.89?Safari/537.36‘
????????‘Content-Type‘:?‘application/x-www-form-urlencoded‘
????????‘Connection‘:?‘Keep-Alive‘
????}
????#?模擬登錄需要提交的用戶名
????username?=?‘tesoridoriente海外旗艦店:技術‘
????#?構建模擬登錄需要提評論
共有 條評論