#!/usr/bin/env?python3
#?-*-?coding:?utf-8?-*-
import?requests
from?bs4?import?BeautifulSoup
import?re
import?os
import?pymysql
#from?itertools?import?islice

#?獲取網(wǎng)頁文檔，創(chuàng)建BeautifulSoup對象
def?get_soup（url）:
????res?=?requests.get（url）??#?獲取網(wǎng)頁
????res.encoding?=?‘utf-8‘??#?最好設(shè)為utf-8，防止不必要的麻煩
????#print（res.text）
????soup?=?BeautifulSoup（res.text‘html.parser‘）
????#?print（soup）
????return?（soupres）??#?這里同時返回res是為后面的正則表達式服務(wù)

#?獲取影片部分信息
def?get_movie_comment（movie_url）:
????（soupres）?=?get_soup（movie_url）
????f?=?open（“F:\\SpiderDB\\movie.txt“?“a“encoding=‘utf-8‘）
????for?items?in?soup.select（‘#content‘）:
????????#print（items）
????????movie_name?=?items.select（‘span‘）[0].text
????????print（movie_name）
????????f.write（movie_name?+?““）
????????for?info?in?soup.select（‘#info‘）:
????????????#print（info）
????????????director?=?info.select（‘.attrs‘）[0].text
????????????print（director）
????????????editor?=?info.select（‘.attrs‘）[1].text
????????????actors?=?info.select（‘.attrs‘）[2].text.strip（）
????????????actor?=?actors.split（“/“）[0:2]
????????????actor?=?‘‘.join（actor）
????????????print（actor）
????????????style?=?‘?‘.join（[style.text?for?style?in?info.select（‘span[property=“v:genre“]‘）]）?#?python?簡潔一行
????????????print（style）
????????????time?=?info.select（‘span[property=“v:initialReleaseDate“]‘）[0].text
????????????time?=?re.split（‘\（‘time）[0]
????????????print（time）
????????????comment_url?=?items.select（‘.mod-hd?span.pl?a‘）[0][‘href‘]
????????????#print（type（comment_url））
????????????print（comment_url）
????????????f.write（director?+?““）
????????????f.write（editor?+?““）
????????????f.write（actor?+?““）
????????????f.write（style?+?““）
????????????f.write（time?+?““）
????????????f.write（comment_url?+?‘‘）
????????????f.close（）
????????????get_eval（comment_url）
????????????for?i?in?range（2020020）:?##從start=20開始，間隔為20
????????????????new_url?=?comment_url.replace（“status=P““start={}“）.format（i）
????????????????#print（new_url）
????????????????get_comment（new_url）

#?獲取評論整體情況
def?get_eval（comment_url）:
????（soup1?res1）?=?get_soup（comment_url）
????movie_comment?=?soup1.select（‘#content?h1‘）[0].text.rsplit（‘?短評‘）[0]
????f?=?open（“F:\\SpiderDB\\movie.txt“?“a“?encoding=‘utf-8‘）
????f.write（movie_comment?+?““）
????for?it?in?soup1.select（‘.comment-filter‘）:
????????#print（it）
????????good_eval?=?it.select（‘.filter-name‘）[1].text???#評價
????????good_cp?=?it.select（‘span.comment-percent‘）[1].text????#好評率
????????common_eval?=?it.select（‘.filter-name‘）[2].text
????????common_cp?=it.select（‘span.comment-percent‘）[2].text
????????bad_eval?=?it.select（‘.filter-name‘）[3].text
????????bad_cp?=?it.select（‘span.comment-percent‘）[3].text
????????#?print（common_eval）
????????#?print（bad_eval）
????????f.write（good_eval?+?“:“）
????????f.write（good_cp?+?““）
????????f.write（common_eval?+?“:“）
????????f.write（common_cp?+?““）
????????f.write（bad_eval?+?“:“）
????????f.write（bad_cp）
????????f