資源簡介
這個項目源于大三某課程設計。平常經常需要搜索一些電影,但是不知道哪些評分高且評價人數多的電影。為了方便使用,就將原來的項目重新改寫了。當做是對爬蟲技術、可視化技術的實踐了。主要是通過從排行榜和從影片關鍵詞兩種方式爬取電影數據。
代碼片段和文件信息
#?-*-?coding:utf-8?-*-
from?ssl?import?_create_unverified_context
from?json?import?loads
from?selenium?import?webdriver
from?selenium.webdriver.chrome.options?import?Options
from?selenium.webdriver.common.by?import?By
from?selenium.webdriver.support.ui?import?WebDriverWait
from?selenium.webdriver.support?import?expected_conditions?as?EC
import?tkinter.messagebox
import?urllib.request
import?urllib.parse
movieData?=?‘?[‘?\
????????????‘{“title“:“紀錄片“?“type“:“1“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“傳記“?“type“:“2“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“犯罪“?“type“:“3“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“歷史“?“type“:“4“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“動作“?“type“:“5“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“情色“?“type“:“6“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“歌舞“?“type“:“7“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“兒童“?“type“:“8“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“懸疑“?“type“:“10“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“劇情“?“type“:“11“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“災難“?“type“:“12“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“愛情“?“type“:“13“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“音樂“?“type“:“14“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“冒險“?“type“:“15“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“奇幻“?“type“:“16“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“科幻“?“type“:“17“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“運動“?“type“:“18“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“驚悚“?“type“:“19“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“恐怖“?“type“:“20“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“戰爭“?“type“:“22“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“短片“?“type“:“23“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“喜劇“?“type“:“24“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“動畫“?“type“:“25“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“同性“?“type“:“26“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“西部“?“type“:“27“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“家庭“?“type“:“28“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“武俠“?“type“:“29“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“古裝“?“type“:“30“?“interval_id“:“100:90“}?‘?\
????????????‘?{“title“:“黑色電影“?“type“:“31“?“interval_id“:“100:90“}‘?\
????????????‘]‘
class?getMovieInRankingList:
????#?typeId?電影類型?movie_count?欲獲取的該電影類型的數量?rating?電影的評分?vote_count?電影的評價人數
????def?__init__(self):
????????chrome_options?=?Options()
????????chrome_options.add_argument(‘--headless‘)??#?設置為無頭模式,即不顯示瀏覽器
????????chrome_options.add_argument(
????????????‘user-agent=“Mozilla/5.0?(Macintosh;?Intel?Mac?OS?X?10_12_6)?AppleWebKit/537.36?(KHTML?like?Gecko)?Chrome/72.0.3626.121?Safari/537.36“‘)??#?設置user=agent
????????chrome_options.add_experimental_option(‘excludeSwitches‘
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
????.......????356782??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\example_keyword.png
????.......????341402??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\example_rating.png
????.......??????8282??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\getMovieInRankingList.py
????.......???????136??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\main.py
?????文件???????1713??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\README.md
????.......?????37423??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\uiob
????.......??14976085??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\[成品]豆瓣電影小助手(可篩選、下載自定義電影).zip
????.......?????????0??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)\__init__.py
?????目錄??????????0??2019-03-19?14:14??6.爬取豆瓣排行榜電影數據(含GUI界面版)
-----------?---------??----------?-----??----
?????????????15721823????????????????????9
評論
共有 條評論