import?re
import?requests

‘‘‘

獲取淘寶指定商品所有評(píng)論

自動(dòng)獲取評(píng)論頁(yè)碼數(shù)

‘‘‘


def?main（）:
????#?模擬瀏覽器訪問(wèn)

????headers?=?{
????????‘user-agent‘:?‘Mozilla/5.0?（Windows?NT?6.1;?WOW64）?AppleWebKit/537.36?（KHTML?like?Gecko）?‘
??????????????????????‘Chrome/63.0.3239.132?Safari/537.36‘}

????url?=?“https://rate.tmall.com/list_detail_rate.htm?itemId=578038447126&spuId=1066034233&sellerId=3961854778&order=3“

????payload?=?{‘currentPage‘:?1}??#?g構(gòu)建字典傳遞頁(yè)碼參數(shù)到url

????file?=?open（‘馬克杯評(píng)論.txt‘?‘w‘?encoding=‘utf-8‘）

????#?自動(dòng)獲取所有評(píng)論頁(yè)碼

????pageNum?=?re.findall（r‘“l(fā)astPage“:[^“]+‘?requests.get（url?params=payload?headers=headers）.text?re.I）

????for?page_Num?in?pageNum:
????????last_page?=?int（page_Num.strip（‘lastPage“:‘））

????for?k?in?range（0?last_page）:

????????payload[‘currentPage‘]?=?k?+?1

????????resp?=?requests.get（url?params=payload?headers=headers）

????????resp.encoding?=?‘utf-8‘

????????#?正則保存所有resp.text的內(nèi)容，款式，評(píng)論內(nèi)容，評(píng)論時(shí)間

????????sku?=?re.findall（r‘“auctionSku“:“（[^“]+）“‘?resp.text?re.I）

????????content?=?re.findall（r‘“rateContent“:“（[^“]+）“‘?resp.text?re.I）

????????data?=?re.findall（r‘“rateDate“:“（[^“]+）“‘?resp.text?re.I）

????????#?每一頁(yè)評(píng)論的數(shù)量

????????x?=?len（content）

????????#?把評(píng)論數(shù)據(jù)保存到文件中

????????for?i?in?range（0?x）:
????????????file.write（str（20?*?k?+?i?+?1）?+?‘款式：‘?+?sku[i]?+?‘\n‘?+?‘評(píng)價(jià)內(nèi)容：‘?+?content[i]?+?‘\n‘?+?‘日期：‘?+?data[i]?+?‘\n‘?+?‘\n\n‘）

????????????print（“正在寫(xiě)入第“?20?*?k?+?i?+?1?“條“）

????file.close（）


if?__name__?==?‘__main__‘:
????main（）

?屬性????????????大小?????日期????時(shí)間???名稱(chēng)
-----------?---------??----------?-----??----
?????目錄???????????0??2018-12-04?17:23??工程項(xiàng)目整合\
?????目錄???????????0??2018-12-04?17:22??工程項(xiàng)目整合\一個(gè)商品評(píng)論信息爬取\
?????文件????????1772??2018-11-05?09:46??工程項(xiàng)目整合\一個(gè)商品評(píng)論信息爬取\大英博物館‘馬克杯’評(píng)論.py
?????文件???????24943??2018-12-04?17:20??工程項(xiàng)目整合\一個(gè)商品評(píng)論信息爬取\馬克杯評(píng)論.txt
?????目錄???????????0??2018-12-04?17:24??工程項(xiàng)目整合\關(guān)鍵詞抽取\
?????文件?????????439??2018-12-03?18:52??工程項(xiàng)目整合\關(guān)鍵詞抽取\Keyword?extraction.py
?????文件????????1035??2018-12-04?17:16??工程項(xiàng)目整合\關(guān)鍵詞抽取\xls轉(zhuǎn)化為txt.py
?????文件??????954349??2018-12-04?17:15??工程項(xiàng)目整合\關(guān)鍵詞抽取\大英博物館淘寶商品.txt
?????文件?????1064960??2018-12-03?14:19??工程項(xiàng)目整合\關(guān)鍵詞抽取\大英博物館淘寶商品.xls
?????文件??????????51??2018-12-04?17:17??工程項(xiàng)目整合\關(guān)鍵詞抽取\詞匯.csv
?????目錄???????????0??2018-12-04?17:24??工程項(xiàng)目整合\前100個(gè)商品信息和評(píng)論爬取\
?????文件??????????98??2018-11-26?14:14??工程項(xiàng)目整合\前100個(gè)商品信息和評(píng)論爬取\config.txt
?????文件????????6454??2018-12-03?18:55??工程項(xiàng)目整合\前100個(gè)商品信息和評(píng)論爬取\da_ying_spider.py
?????文件?????1101312??2018-11-26?20:45??工程項(xiàng)目整合\前100個(gè)商品信息和評(píng)論爬取\大英博物館淘寶商品基本信息.xls