import?warnings
warnings.filterwarnings（“ignore“）
import?jieba????#分詞包
import?jieba.analyse
import?numpy????#numpy計算包
import?re
import?matplotlib.pyplot?as?plt
from?urllib?import?request
from?bs4?import?BeautifulSoup?as?bs
import?matplotlib
matplotlib.rcParams[‘figure.figsize‘]?=?（10.0?5.0）
from?wordcloud?import?WordCloud?STOPWORDS???#詞云包
?
#分析網(wǎng)頁函數(shù)
def?getNowPlayingMovie_list（）:???
????resp?=?request.urlopen（‘https://movie.douban.com/nowplaying/zhengzhou/‘）?
????html_data?=?resp.read（）.decode（‘utf-8‘）????
????soup?=?bs（html_data?‘html.parser‘）????
????nowplaying_movie?=?soup.find_all（‘div‘?id=‘nowplaying‘）????????
????nowplaying_movie_list?=?nowplaying_movie[0].find_all（‘li‘?class_=‘list-item‘）?
????nowplaying_list?=?[]????
????for?item?in?nowplaying_movie_list:????????
????????nowplaying_dict?=?{}????????
????????nowplaying_dict[‘id‘]?=?item[‘data-subject‘]???????
????????for?tag_img_item?in?item.find_all（‘img‘）:????????????
????????????nowplaying_dict[‘name‘]?=?tag_img_item[‘a(chǎn)lt‘]??
????????????nowplaying_list.append（nowplaying_dict）????
????return?nowplaying_list
?
#爬取評論函數(shù)
def?getCommentsById（movieId?pageNum）:??????#參數(shù)為電影id號和要爬取評論的頁碼
????eachCommentList?=?[];?
????if?pageNum>0:?
?????????start?=?（pageNum-1）?*?20?
????else:?
????????return?False?
????requrl?=?‘https://movie.douban.com/subject/‘?+?movieId?+?‘/comments‘?+‘?‘?+‘start=‘?+?str（start）?+?‘&limit=20‘?
????print（requrl）
????resp?=?request.urlopen（requrl）?
????html_data?=?resp.read（）.decode（‘utf-8‘）?
????soup?=?bs（html_data?‘html.parser‘）?
????comment_div_lits?=?soup.find_all（‘div‘?class_=‘comment‘）
????#print（comment_div_lits[0]）
????for?item?in?comment_div_lits:
????????#print（item.find_all（‘p‘））
????????p=item.find_all（‘p‘）[0]
????????span=p.find（‘span‘）
????????if?span.string?is?not?None:
????????????#print（span.string）
????????????eachCommentList.append（span.string）
????????????
????return?eachCommentList
?
def?main（）:
????#循環(huán)獲取第一個電影的前10頁評論
????commentList?=?[]
????NowPlayingMovie_list?=?getNowPlayingMovie_list（）
????print（NowPlayingMovie_list）???#[{‘id‘:?‘27605698‘?‘name‘:?‘西虹市首富‘}?{‘id‘:?‘25882296‘?‘name‘:?‘狄仁杰之四大天王‘}]
????for?i?in?range（10）:????????????????????????????????????#前10頁
????????num?=?i?+?1?
????????commentList_temp?=?getCommentsById（NowPlayingMovie_list[0][‘id‘]?num）#指定那部電影
????????commentList.append（commentList_temp）
????#將列表中的數(shù)據(jù)轉(zhuǎn)換為字符串
????comments?=?‘‘
????for?k?in?range（len（commentList））:
????????comments?=?comments?+?（str（commentList[k]））.strip（）


????#使用正則表達式去除標點符號
????pattern?=?re.compile（r‘[\u4e00-\u9fa5]+‘）
????filterdata?=?re.findall（pattern?comments）
????cleaned_comments?=?‘‘.join（filterdata）
????#使用結(jié)巴分詞進行中文分詞
????result=jieba.analyse.textrank（cleaned_commentstopK=50withWeight=True）
????keywords?=?dict（）
????for?i?in?result:
????????keywords[i[0]]=i[1]????
????print（“刪除停用詞前“keywords）??#{‘演員‘:?0.18290354231824632?‘大片‘:?0.2876433001472282}?
????#停用詞集合
????stopwords

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----

?????文件???????3662??2018-03-10?21:59??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\StopWords.txt

?????文件?????????73??2018-03-10?23:00??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\wordcloud-1.4-cp35-cp35m-win_amd64.whl.txt

?????文件???????3881??2018-08-05?21:06??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\分析豆瓣中最新電影的影評?-?最終版.py

?????文件?????168968??2018-08-05?16:52??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例一?擁有圖片形狀的詞云\alice.png

?????文件???????2039??2018-08-05?16:59??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例一?擁有圖片形狀的詞云\test.txt

?????文件??????41551??2018-08-05?17:00??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例一?擁有圖片形狀的詞云\test2.jpg

?????文件????????918??2018-08-05?20:14??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例一?擁有圖片形狀的詞云\擁有圖片形狀的詞云.py

?????文件?????168968??2018-08-05?16:52??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例三?wordcloud使用詞頻\alice.png

?????文件??????48598??2018-08-05?20:42??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例三?wordcloud使用詞頻\dream.png

?????文件???????2039??2018-08-05?16:59??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例三?wordcloud使用詞頻\test.txt

?????文件????????869??2018-08-05?17:32??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例三?wordcloud使用詞頻\wordcloud使用詞頻.py

?????文件?????168968??2018-08-05?16:52??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例二??設(shè)置停用詞\alice.png

?????文件???????2039??2018-08-05?16:59??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例二??設(shè)置停用詞\test.txt

?????文件??????16826??2018-08-05?20:40??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例二??設(shè)置停用詞\test3.jpg

?????文件????????942??2018-08-05?17:19??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例二??設(shè)置停用詞\wordcloud的設(shè)置停用詞.py

?????目錄??????????0??2018-11-07?19:54??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例一?擁有圖片形狀的詞云

?????目錄??????????0??2018-11-07?19:54??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例三?wordcloud使用詞頻

?????目錄??????????0??2018-11-07?19:54??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云\示例二??設(shè)置停用詞

?????目錄??????????0??2018-11-07?19:54??第20章?詞云實戰(zhàn)——爬取豆瓣影評生成詞云

-----------?---------??----------?-----??----

???????????????630341????????????????????19