#?1.?當為array的時候，默認d*f就是對應元素的乘積，multiply也是對應元素的乘積，dot（df）會轉化為矩陣的乘積，?dot點乘意味著相加，而multiply只是對應元素相乘，不相加
#?2.?當為mat的時候，默認d*f就是矩陣的乘積，multiply轉化為對應元素的乘積，dot（df）為矩陣的乘積

import?numpy?as?np


#?rule激活器
class?ReluActivator（object）:
????def?forward（self?weighted_input）:
????????return?max（0?weighted_input.any（）?/?weighted_input.max（））

????def?backward（self?output）:
????????return?1?if?output?>?0?else?0


#?IdentityActivator激活器.f（x）=x
class?IdentityActivator（object）:
????def?forward（self?weighted_input）:
????????return?weighted_input

????def?backward（self?output）:
????????return?1


#?Sigmoid激活器
class?SigmoidActivator（object）:
????def?forward（self?weighted_input）:
????????return?1.0?/?（1.0?+?np.exp（-weighted_input））

????def?backward（self?output）:
????????#?return?output?*?（1?-?output）
????????return?np.multiply（output?（1?-?output））??#?對應元素相乘


#?tanh激活器
class?TanhActivator（object）:
????def?forward（self?weighted_input）:
????????return?2.0?/?（1.0?+?np.exp（-2?*?weighted_input））?-?1.0

????def?backward（self?output）:
????????‘‘‘
????????????z?=?wx?+?b
????????????output?=?tanh（z）
????????????返回的是f‘（z）
????????‘‘‘
????????return?1?-?output?*?output


#?softmax激活器
class?SoftmaxActivator（object）:
????def?forward（self?weighted_input）:??#?前向計算，計算輸出
????????exps?=?np.exp（weighted_input?-?np.max（weighted_input））
????????return?exps?/?np.sum（exps）

????def?backward（self?output）:??#?后向計算，計算導數
????????return?1?if?output?>?0?else?0


#?if?__name__?==?“__main__“:
#?????a?=?SoftmaxActivator（）
#?????input?=?np.array（[1?2?4?6]）.reshape（（4?1））
#?????r?=?a.forward（input）
#?????print（r）

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2020-01-08?13:03??CNN1\
?????文件????????1938??2019-12-30?19:24??CNN1\Activators.py
?????文件???????20900??2019-12-30?16:16??CNN1\CNN.py
?????文件????????3595??2019-12-30?19:35??CNN1\DNN.py
?????文件????????5477??2019-12-30?11:18??CNN1\MNIST_loader.py
?????目錄???????????0??2020-01-06?16:33??CNN1\__pycache__\
?????文件????????2483??2019-12-30?19:24??CNN1\__pycache__\Activators.cpython-37.pyc
?????文件????????8288??2019-12-30?19:23??CNN1\__pycache__\CNN.cpython-37.pyc
?????文件????????1719??2019-12-30?19:35??CNN1\__pycache__\DNN.cpython-37.pyc
?????文件????????3198??2020-01-06?10:40??CNN1\__pycache__\MNIST_loader.cpython-37.pyc
?????文件????????1686??2020-01-06?16:33??CNN1\__pycache__\paint_tools.cpython-37.pyc
?????文件???????10325??2020-01-08?13:03??CNN1\cnn_test.py
?????文件???????37911??2020-01-06?16:49??CNN1\confusion_matrix.png
?????文件???????13932??2020-01-06?16:49??CNN1\loss.png
?????目錄???????????0??2019-12-30?19:21??CNN1\mnist_data\
?????文件?????7840016??2019-12-25?10:14??CNN1\mnist_data\t10k-images.idx3-ubyte
?????文件???????10008??2019-12-25?10:15??CNN1\mnist_data\t10k-labels.idx1-ubyte
?????文件????47040016??2019-12-25?10:15??CNN1\mnist_data\train-images.idx3-ubyte
?????文件???????60008??2019-12-25?10:15??CNN1\mnist_data\train-labels.idx1-ubyte
?????文件????????1401??2020-01-06?16:28??CNN1\paint_tools.py