import?pandas?as?pd
import?jieba
import?numpy

pd.set_option（‘display.height‘?9999）
pd.set_option（‘display.max_rows‘?9999）
pd.set_option（‘display.max_columns‘?9999）
pd.set_option（‘display.width‘?9999）

df_news?=?pd.read_table（“./data/val.txt“?names=[‘category‘?‘theme‘?‘URL‘?‘content‘]?encoding=“utf-8“）
df_news?=?df_news.dropna（）#刪除有缺失值的行
#?print（df_news.shape）??#?（5000?4）

content?=?df_news[“content“].values.tolist（）??#?新聞內(nèi)容list
#?print（content[1000]）
content_S?=?[]??#?新聞內(nèi)容分詞之后的list
for?line?in?content:
????current_segment?=?jieba.lcut（line）
????if?len（current_segment）?>?1?and?current_segment?!=?“\r\n“:#換行符
????????content_S.append（current_segment）
#?print（content_S[1000]）

df_content?=?pd.Dataframe（{“content_S“:?content_S}）
#?print（df_content.head（））

stopwords?=?pd.read_csv（“stopwords.txt“?index_col=False?sep=“\t“?quoting=3?names=[‘stopword‘]?encoding=‘utf-8‘）


def?drop_stopwords（contents?stopwords）:
????‘‘‘去除新聞中的停用詞‘‘‘
????contents_clean?=?[]??#?新聞中去掉停用詞
????all_words?=?[]??#?所有詞匯的集合（不包括停用詞）
????for?line?in?contents:
????????line_clean?=?[]
????????for?word?in?line:
????????????if?word?in?stopwords:
????????????????continue
????????????line_clean.append（word）
????????????all_words.append（word）
????????contents_clean.append（line_clean）
????return?contents_clean?all_words


contents?=?df_content[“content_S“].values.tolist（）
stopwords?=?stopwords[“stopword“].values.tolist（）

contents_clean?all_words?=?drop_stopwords（contents?stopwords）

df_content?=?pd.Dataframe（{“contents_clean“:?contents_clean}）
df_all_words?=?pd.Dataframe（{‘a(chǎn)ll_words‘:?all_words}）

words_count?=?df_all_words.groupby（by=[‘a(chǎn)ll_words‘]）[‘a(chǎn)ll_words‘].agg（{“count“:?numpy.size}）
words_count?=?words_count.reset_index（）.sort_values（by=[“count“]?ascending=False）
#?print（words_count.head（）.values）
‘‘‘
[[‘中‘?5199]
?[‘中國(guó)‘?3115]
?[‘說(shuō)‘?3055]
?[‘Ｓ‘?2646]
?[‘萬(wàn)‘?2390]]
‘‘‘
from?wordcloud?import?WordCloud
import?matplotlib.pyplot?as?plt
import?matplotlib

matplotlib.rcParams[‘figure.figsize‘]?=?（10.0?5.0）

wordcloud?=?WordCloud（font_path=“./data/simhei.ttf“?background_color=“white“?max_font_size=80）
word_frequence?=?{x[0]:?x[1]?for?x?in?words_count.head（100）.values}
wordcloud?=?wordcloud.fit_words（word_frequence）
plt.imshow（wordcloud）
plt.show（）

‘‘‘TF-IDF?：提取關(guān)鍵詞‘‘‘
import?jieba.analyse

index?=?2400
print（df_news[‘content‘][index]）
content_S_str?=?““.join（content_S[index]）
print（“??“.join（jieba.analyse.extract_tags（content_S_str?topK=5?withWeight=False）））

‘‘‘LDA?：主題模型‘‘‘
from?gensim?import?corpora?models?similarities
import?gensim

#?做映射，相當(dāng)于詞袋
dictionary?=?corpora.Dictionary（contents_clean）
corpus?=?[dictionary.doc2bow（sentence）?for?sentence?in?contents_clean]
lda?=?gensim.models.ldamodel.LdaModel（corpus=corpus?id2word=dictionary?num_topics=20）??#?num_topics需要得到主題的數(shù)量
#?一號(hào)分類結(jié)果
print（lda.print_topic（1?topn=5））??#?第一類主題
for?topic?in?lda.print_topics（num_topics=20?num_words=5