import?pandas?as?pd
import?numpy?as?np
import?time
import?treePlotter?as?ctp
#import?matplotlib.pyplot?as?plt

#print不省略輸出
#np.set_printoptions（threshold=np.inf）

def?getData（）:
????f?=?pd.read_csv（‘D:\docunments\code\DM\ML\ID3\data?set\car_evalution-databases.csv‘encoding?=?“utf-8“）

????#?獲取屬性值
????feature?=?np.array（f.keys（））
????feature?=?np.array（feature[1:feature.size]）

????#?數(shù)據(jù)轉(zhuǎn)換成數(shù)組
????S?=?np.array（f）
????S?=?np.array（S[:?1:S.shape[1]]）
????return?Sfeature

#統(tǒng)計(jì)某一列的特征各個(gè)取值概率
def?probability（x）:
????x_values?=?np.unique（np.array（x））??#統(tǒng)計(jì)某列特征取值類型
????values_count?=?np.zeros（x_values.shape[0]）.reshape（1x_values.shape[0]）
????for?i?in?range（0?x_values.shape[0]）:
????????q?=?np.matrix（x[np.where（x[:0]?==?x_values[i]）[0]]）
????????values_count[:i]?=?q.shape[0]
????p?=?values_count/values_count.sum（）
????return?p

#計(jì)算Entropy
#S為矩陣類型
#返回entropy
def?Entropy（S）:
????p?=?probability（S[:S.shape[1]-1]）
????log_p?=?np.log（p）
????entropy?=?-np.dot（pnp.transpose（log_p））[0][0]
????return?entropy

#計(jì)算EntropyA
#S為數(shù)組類型
#返回最小的信息熵的特征的索引值
#返回最小的信息熵值
def?getMinEntropyA（S）:
????entropy?=?np.zeros（S.shape[1]-1）
????for?i?in?range（0?S.shape[1]-1）:????????#當(dāng)前所有非目標(biāo)特征
????????values?=?np.unique（np.array（S[:i]））
????????values_entropy?=?np.zeros（values.shape[0]）.reshape（1values.shape[0]）
????????for?j?in?range（0values.shape[0]）:
????????????q?=?np.matrix（S[np.where（S[:i]?==?values[j]）[0]]）??#抽取該特征取某值的樣本數(shù)據(jù)
????????????values_entropy[:j]?=?Entropy（q）
????????proportion?=?probability（np.matrix（S[:?i]）.transpose（））
????????entropy[i]?=?np.dot（proportion?values_entropy.transpose（））[0][0]
????minEntropyA?=?entropy.min（）
????position_minEntropA?=?entropy.transpose（）.argmin（）
????return?position_minEntropA?minEntropyA

#計(jì)算Gain
#S為數(shù)組類型
#返回最大信息增益的特征的索引值
def?getMaxGain（S）:
????entropyS?=?Entropy（np.matrix（S））
????position_minEntropyA?entropyA?=?getMinEntropyA（S）
????if（entropyS?-?entropyA?>?0）:
????????return?position_minEntropyA

#ID3算法
#返回ID3決策樹(shù)
def?ID3（Sfeatures）:
????if（Entropy（np.matrix（S））?==?0）:
????????return?S[0][S.shape[1]?-?1]
????????#統(tǒng)計(jì)目標(biāo)特征的當(dāng)前取值作為葉節(jié)點(diǎn)的值
????elif?features.size?==?1:
????????type_values?=?np.unique（S[:?S.shape[1]-1]）
????????max?=?0
????????max_value?=?S[0][S.shape[1]?-?1]
????????for?value?in?type_values:
????????????S_temp?=?np.array（S[np.where（S[:?S.shape[1]-1]?==?value）[0]]）
????????????if?max?????????????????max?=?S_temp.shape[0]
????????????????max_value?=?value
????????return?max_value
????else:
????????best_feature_index?=?getMaxGain（S）
????????best_feature?=?features[best_feature_index]
????????best_feature_values?=?np.unique（S[:?best_feature_index]）
????????#?劃分S，feature
????????features?=?del_arrary（features?best_feature_index）
????????Tree_ID3?=?{best_feature:{}}
????????for?value?in?best_feature_values:
????????????S_temp?=?np.array（S[np.where（S[:?best_feature_index]?==?value）[0]]）
????????????#去除best_featur