資源簡介
需要創(chuàng)建 D:/weibo/weibo_crawl.txt 文件,然后運行該示例即可
代碼片段和文件信息
#?-*-?coding:utf-8?-*-
‘‘‘
Created?on?2018年3月9日
@author:?ora_jason
‘‘‘
from?lxml?import?html
import?requests
import?json
import?re
import?os
import?time
import?urllib.request
class?CrawlWeibo:#?獲取指定博主的所有微博cards的list
??def?getCards(self?id?page):??#?id(字符串類型):博主的用戶id;page(整型):微博翻頁參數(shù)
???ii?=?0
???list_cards?=?[]
???while?ii?????????????ii?=?ii?+?1
???print(‘正在爬取第%d頁cards‘?%?ii)
???url?=?‘https://m.weibo.cn/api/container/getIndex?type=uid&value=‘?+?id?+?‘&containerid=107603‘?+?id?+?‘&page=‘?+?str(ii)
???print(url)
???response?=?requests.get(url?headers=headers)
???ob_json?=?json.loads(response.text)??#?ob_json為dict類型
???list_cards.append(ob_json[‘data‘][‘cards‘])??#?ob_json[‘data‘][‘cards‘]為list類型
???time.sleep(2)
???print(‘暫停2秒‘)??#?爬完一頁所有微博的card
評論
共有 條評論