#?coding:UTF-8
import?numpy?as?np


#?邏輯回歸訓練模型用函數
def?sig（x）:
????“““
????#?sigmoid函數
????:param?x:
????:return:
????“““
????return?1.0?/?（1?+?np.exp（-x））


def?load_file（filename）:
????“““
????input:filename（string）訓練數據的位置
????output：feature_data（mat）特征
????????????label_data（mat）標簽
????“““
????f?=?open（filename）??#?打開文件
????feature_data?=?[]
????label_data?=?[]
????for?line?in?f.readlines（）:
????????feature_tmp?=?[]
????????label_tmp?=?[]
????????lines?=?line.strip（）.split（‘\t‘）??#?strip移除末尾換行符???#通過指定分隔符對字符串進行切片
????????feature_tmp.append（1）??#?偏置項
????????for?i?in?range（len（lines）?-?1）:
????????????feature_tmp.append（float（lines[i]））
????????label_tmp.append（float（lines[-1]））
????????feature_data.append（feature_tmp）
????????label_data.append（label_tmp）
????f.close（）
????return?np.mat（feature_data）?np.mat（label_data）


def?error_rate（h?label）:
????“““
????計算當前損失函數的值
????:param?h（mat）:?預測值
????:param?label（mat）?:實際值
????:return:err/m（float）:錯誤率
????“““
????m?=?np.shape（h）[0]

????sum_err?=?0.0
????for?i?in?range（m）:
????????if?h[i?0]?>?0?and?（1?-?h[i?0]）?>?0:
????????????sum_err?-=?（label[i?0]?*?np.log（h[i?0]））?+?\
???????????????????????（1?-?label[i?0]）?*?np.log（1?-?h[i?0]）
????????else:
????????????sum_err?-=?0
????return?sum_err?/?m


def?lr_train_bgd（feature?label?maxCycle?alpha）:
????“““
????利用梯度下降法訓練LR模型
????:param?feature?（mat）:特征
????:param?label（mat）:標簽
????:param?maxCycle（int）:最大迭代次數
????:param?alpha（float）:學習速率
????:return:w（mat）權重
????“““
????n?=?np.shape（feature）[1]??#?特征個數，特征第一維的長度
????w?=?np.mat（np.ones（（n?1）））??#?初始化權重
????i?=?0
????while?i?<=?maxCycle:
????????h?=?sig（feature?*?w）??#?計算Sigmoid值
????????err?=?label?-?h
????????if?i?%?100?==?0:
????????????print（“\t-----------iter?=?“?+?str（i）?+?\
??????????????????“??train?error?rate?=?“?+?str（error_rate（h?label）））
????????w?=?w?+?alpha?*?feature.T?*?err??#?權重修正
????????i?+=?1
????return?w


def?save_model（filename?w）:
????“““
????保存最終的模型
????:param?filename（string）:模型保存的文件名
????:param?w（mat）:LR模型的權重
????:return:
????“““
????m?=?np.shape（w）[0]
????f_w?=?open（filename?‘w‘）
????w_array?=?[]
????for?i?in?range（m）:
????????w_array.append（str（w[i?0]））
????f_w.write（‘\t‘.join（w_array））
????f_w.close（）


#?測試用函數
def?load_weight（w）:
????“““
????導入LR模型
????:param?w:（string）權重所在的文件位置
????:return:np.mat（w）mat權重的矩陣
????“““
????f?=?open（w）
????w?=?[]
????for?line?in?f.readlines（）:
????????lines?=?line.strip（）.split（“\t“）??#?strip（）去除首尾空字符#split切片
????????w_tmp?=?[]
????????for?x?in?lines:
????????????w_tmp.append（float（x））
????????w.append（w_tmp）
????f.close（）
????return?np.mat（w）


def?load_teData（filename?n）:
????“““
????導入測試數據集
????:param?filename:文件名
????:param?n:特征個數
????:return:np.mat（feature_data）（mat）測試集的特征
????“““
????f?=?open（filename）
????feature_data?=?[]
????for?line?in?f.readlines（）:
????????feature_temp?=?[]
????????lines?=?line.strip（）

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-10-30?16:33??邏輯回歸\
?????目錄???????????0??2018-10-30?16:34??邏輯回歸\.idea\
?????文件?????????637??2018-10-23?11:30??邏輯回歸\.idea\Case1.iml
?????文件?????????128??2018-10-05?20:40??邏輯回歸\venv\pyvenv.cfg
?????文件?????????294??2018-10-05?20:40??邏輯回歸\.idea\misc.xml
?????文件?????????269??2018-10-05?20:40??邏輯回歸\.idea\modules.xml
?????文件?????????239??2018-10-23?11:30??邏輯回歸\.idea\other.xml
?????文件???????31539??2018-10-30?16:34??邏輯回歸\.idea\workspace.xml
?????文件????????4498??2018-10-30?16:29??邏輯回歸\LR_functions.py
?????文件?????????714??2018-10-30?16:33??邏輯回歸\LR_test.py
?????文件????????1520??2018-10-30?10:41??邏輯回歸\LR_train.py
?????目錄???????????0??2018-10-15?11:02??邏輯回歸\__pycache__\
?????文件????????2498??2018-10-15?11:02??邏輯回歸\__pycache__\LR_functions.cpython-36.pyc
?????文件???????28312??2018-10-05?20:40??邏輯回歸\venv\scripts\winsound.pyd
?????文件?????????799??2018-10-30?16:32??邏輯回歸\testResult
?????文件????????6850??2018-10-30?15:20??邏輯回歸\test_data
?????文件????????5361??2018-10-14?22:28??邏輯回歸\trainingData
?????目錄???????????0??2018-10-30?11:41??邏輯回歸\venv\
?????文件???????87888??2018-10-05?20:40??邏輯回歸\venv\scripts\vcruntime140.dll
?????目錄???????????0??2018-10-13?21:45??邏輯回歸\venv\Lib\
?????目錄???????????0??2018-10-13?21:45??邏輯回歸\venv\Lib\site-packages\
?????文件??????????55??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\easy-install.pth
?????目錄???????????0??2018-10-13?21:45??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\
?????目錄???????????0??2018-10-13?21:45??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\
?????文件????????2972??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\PKG-INFO
?????文件???????12502??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\SOURCES.txt
?????文件???????????1??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\dependency_links.txt
?????文件??????????98??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\entry_points.txt
?????文件???????????2??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\not-zip-safe
?????文件??????????74??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\requires.txt
?????文件???????????4??2018-10-05?20:40??邏輯回歸\venv\Lib\site-packages\pip-10.0.1-py3.6.egg\EGG-INFO\top_level.txt
............此處省略381個文件信息