#?-*-?coding:?utf-8?-*-

“““
Create?on?12.13.2017
@author:?zouxi
“““

import?numpy?as?np
import?copy
import?sys
import?importlib
importlib.reload（sys）


#?return?the?majority?of?the?label
def?majority（data?attributes?target）:
????“““
????return?the?majority?of?the?label
????:param?data:?數(shù)據(jù)集
????:param?attributes:?特征屬性列表
????:param?target:?目標(biāo)值
????:return:?集合中占多數(shù)的類別
????“““
????target_index?=?attributes.index（target）??????#?目標(biāo)值對(duì)應(yīng)的下標(biāo)
????valFreq?=?{}????#?每個(gè)目標(biāo)值對(duì)應(yīng)的樣本數(shù)目

????for?i?in?range（data.shape[0]）:
????????if?data[i?target_index]?in?valFreq:
????????????valFreq[data[i?target_index]]?+=?1
????????else:
????????????valFreq[data[i?target_index]]?=?1

????maxLabel?=?0
????major?=?““
????for?label?in?valFreq.keys（）:
????????if?valFreq[label]?>?maxLabel:
????????????maxLabel?=?valFreq[label]
????????????major?=?label

????return?major


#?計(jì)算信息熵
def?get_entropy_data（data?attributes?target?rows）:
????“““
????計(jì)算信息熵
????:param?data:?數(shù)據(jù)集
????:param?attributes:?特征屬性列表
????:param?target:?目標(biāo)值
????:param?rows:
????:return:信息熵
????“““
????data_len?=?data.shape[0]
????target_index?=?attributes.index（target）
????target_list?=?[data[i?target_index]?for?i?in?range（data_len）?if?rows[i]?==?1]
????target_set?=?set（target_list）???#?目標(biāo)值類別數(shù)
????len_of_each_target_value?=?[]
????for?target_val?in?target_set:
????????len_of_each_target_value.append（target_list.count（target_val））

????entropy_data?=?0.0
????for?target_count?in?len_of_each_target_value:
????????entropy_data?+=?-target_count?*?1.0?/?sum（len_of_each_target_value）?*?np.log（target_count?*?1.0?/?sum（len_of_each_target_value））

????return?entropy_data?*?sum（rows）?*?1.0?/?len（rows）


#?計(jì)算按某個(gè)屬性劃分后的信息熵
def?get_excepted_entropy_data（data?attributes?attri?target）:
????“““
????計(jì)算按某個(gè)屬性劃分后的信息熵
????:param?data:?數(shù)據(jù)集
????:param?attributes:?特征屬性列表
????:param?attri:?選擇的劃分屬性
????:param?target:?目標(biāo)值
????:return:?計(jì)算按某個(gè)屬性劃分后的信息熵
????“““
????attri_index?=?attributes.index（attri）
????attri_value_set?=?set（data[:?attri_index]）????#?選擇的劃分屬性的類別數(shù)
????data_len?=?data.shape[0]
????sum_excepted_entropy?=?0.0

????for?attri_value?in?attri_value_set:
????????attri_selected_rows?=?np.zeros（data_len）
????????for?i?in?range（data_len）:
????????????if?data[i?attri_index]?==?attri_value:
????????????????attri_selected_rows[i]?=?1
????????sum_excepted_entropy?+=?get_entropy_data（data?attributes?target?attri_selected_rows）

????return?sum_excepted_entropy


#?信息增益
def?infoGain（data?attributes?attri?target）:
????entropy_data?=?get_entropy_data（data?attributes?target?rows=np.ones（data.shape[0]））
????excepted_entropy_data?=?get_excepted_entropy_data（data?attributes?attri?target）
????return?entropy_data?-?excepted_entropy_data


#?ID3算法
def?best_split（data?attributes?target）:
????max_info?=?0.000001
????best_attri?=?““
????print（“include?attriburtes:“）
????print（attributes）
????print（“data_len:“?data.shape[0]）

????for

?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----

?????文件????????481??2017-12-14?20:35??adult\.idea\adult.iml

?????文件?????????88??2017-12-13?21:56??adult\.idea\dictionaries\zxhohai.xml

?????文件????????200??2017-12-13?21:54??adult\.idea\encodings.xml

?????文件????????410??2017-12-13?22:09??adult\.idea\inspectionProfiles\Project_Default.xml

?????文件????????229??2017-12-13?21:56??adult\.idea\misc.xml

?????文件????????262??2017-12-13?21:54??adult\.idea\modules.xml

?????文件??????27481??2018-01-17?19:04??adult\.idea\workspace.xml

?????文件????3974303??2015-10-25?17:22??adult\adult.data

?????文件???????5337??2017-12-12?21:47??adult\adult.names

?????文件????1986849??2015-10-25?17:22??adult\adult.test

?????文件???????5989??2017-12-14?20:55??adult\DecisionTrees.py

?????文件???????5175??2018-01-16?21:37??adult\main.py

?????文件??????18600??2017-12-19?22:47??adult\NB.py

?????文件???????4423??2017-12-14?20:55??adult\__pycache__\DecisionTrees.cpython-36.pyc

?????目錄??????????0??2017-12-13?21:56??adult\.idea\dictionaries

?????目錄??????????0??2017-12-13?22:09??adult\.idea\inspectionProfiles

?????目錄??????????0??2018-01-17?19:04??adult\.idea

?????目錄??????????0??2017-12-14?20:55??adult\__pycache__

?????目錄??????????0??2018-01-17?10:50??adult

-----------?---------??----------?-----??----

??????????????6029827????????????????????19