#?-*-?coding:?utf-8?-*-
from?os?import?listdir
import?jieba
from?sklearn?import?feature_extraction
from?sklearn.feature_extraction.text?import?TfidfTransformer
from?sklearn.feature_extraction.text?import?CountVectorizer
all_file?=?listdir（‘movie‘）?#獲取文件夾中所有文件名
labels?=?[]?#用以存儲電影名稱
corpus?=?[]?#空語料庫
‘‘‘停用詞的過濾‘‘‘
#?typetxt?=?open（‘D:/Python_work/Data?Mining/文本相似度計算/停用詞.txt‘）
typetxt?=?open（‘data/文本相似度計算/停用詞.txt‘）
texts?=?[‘\u3000‘‘\n‘‘?‘]?#?文本中未處理的特殊字符
‘‘‘停用詞庫的建立‘‘‘
for?word?in?typetxt:
????word?=?word.strip（）
????texts.append（word）
‘‘‘語料庫的建立‘‘‘
for?i?in?range（0len（all_file））:
????filename?=?all_file[i]
????filelabel?=?filename.split（‘.‘）[0]
????labels.append（filelabel）
????file_add?=?‘movie/‘+?filename
????doc?=?open（file_addencoding=‘utf-8‘）.read（）
????data?=?jieba.cut（doc）?#文本分詞
????data_adj?=?‘‘
????delete_word?=?[]
????for?item?in?data:
????????if?item?not?in?texts:?#停用詞過濾
????????????data_adj?+=?item+‘?‘
????????else:
????????????delete_word.append（item）
????corpus.append（data_adj）?#語料庫建立完成

#?print（corpus）
vectorizer?=?CountVectorizer（）
transformer?=?TfidfTransformer（）
tfidf?=?transformer.fit_transform（vectorizer.fit_transform（corpus））
weight?=?tfidf.toarray（）?#?將tf-idf矩陣抽取出來，元素a[i][j]表示j詞在i類文本中的tf-idf權重
#?print（weight）
word?=?vectorizer.get_feature_names（）
#?print（word）
from?sklearn.cluster?import?KMeans
mykms?=?KMeans（n_clusters=10）
y=mykms.fit_predict（weight）
for?i?in?range（010）:
????label_i=[]
????for?j?in?range（0len（y））:
????????if?y[j]==i:
????????????label_i.append（labels[j]）
????print（‘label_‘+str（i）+‘:‘+str（label_i））

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----

?????文件??????11199??2019-02-28?13:32??train_kmeans\data\文本相似度計算\停用詞.txt

?????文件???????1835??2019-03-01?09:13??train_kmeans\jieba_k_means.py

?????文件????????835??2019-02-28?11:00??train_kmeans\movie\7號房的禮物?（豆瓣）.txt

?????文件????????731??2019-02-28?11:02??train_kmeans\movie\E.T.?外星人?（豆瓣）.txt

?????文件????????716??2019-02-28?10:59??train_kmeans\movie\V字仇殺隊?（豆瓣）.txt

?????文件????????751??2019-02-28?11:00??train_kmeans\movie\一一?（豆瓣）.txt

?????文件????????866??2019-02-28?11:01??train_kmeans\movie\一個叫歐維的男人決定***?（豆瓣）.txt

?????文件???????1016??2019-02-28?11:01??train_kmeans\movie\一次別離?（豆瓣）.txt

?????文件????????846??2019-02-28?10:59??train_kmeans\movie\七宗罪?（豆瓣）.txt

?????文件????????882??2019-02-28?11:00??train_kmeans\movie\七武士?（豆瓣）.txt

?????文件????????897??2019-02-28?10:59??train_kmeans\movie\三傻大鬧寶萊塢?（豆瓣）.txt

?????文件????????842??2019-02-28?11:01??train_kmeans\movie\三塊廣告牌?（豆瓣）.txt

?????文件???????1032??2019-02-28?11:00??train_kmeans\movie\上帝之城?（豆瓣）.txt

?????文件????????873??2019-02-28?11:02??train_kmeans\movie\東京物語?（豆瓣）.txt

?????文件????????819??2019-02-28?11:00??train_kmeans\movie\東邪西毒?（豆瓣）.txt

?????文件????????859??2019-02-28?10:59??train_kmeans\movie\兩桿大煙槍?（豆瓣）.txt

?????文件????????889??2019-02-28?10:59??train_kmeans\movie\亂世佳人?（豆瓣）.txt

?????文件????????404??2019-02-28?11:01??train_kmeans\movie\二十二?（豆瓣）.txt

?????文件???????1043??2019-02-28?11:01??train_kmeans\movie\人工智能?（豆瓣）.txt

?????文件???????1044??2019-02-28?11:00??train_kmeans\movie\低俗小說?（豆瓣）.txt

?????文件????????919??2019-02-28?11:01??train_kmeans\movie\你的名字。?（豆瓣）.txt

?????文件????????975??2019-02-28?11:01??train_kmeans\movie\你看起來好像很好吃?（豆瓣）.txt

?????文件????????942??2019-02-28?11:00??train_kmeans\movie\側耳傾聽?（豆瓣）.txt

?????文件???????1020??2019-02-28?11:00??train_kmeans\movie\借東西的小人阿莉埃蒂?（豆瓣）.txt

?????文件????????522??2019-02-28?11:00??train_kmeans\movie\倩女幽魂?（豆瓣）.txt

?????文件????????943??2019-02-28?11:01??train_kmeans\movie\傲慢與偏見?（豆瓣）.txt

?????文件????????902??2019-02-28?11:00??train_kmeans\movie\入殮師?（豆瓣）.txt

?????文件????????813??2019-02-28?11:01??train_kmeans\movie\再次出發之紐約遇見你?（豆瓣）.txt

?????文件????????744??2019-02-28?11:01??train_kmeans\movie\冰川時代?（豆瓣）.txt

?????文件???????1078??2019-02-28?11:02??train_kmeans\movie\初戀這件小事?（豆瓣）.txt

............此處省略199個文件信息