import?numpy?as?np
import?matplotlib.pyplot?as?plt
import?math
“““
生成的三個(gè)高斯模型的數(shù)據(jù)點(diǎn)，每個(gè)高斯各500個(gè)點(diǎn)
“““
def?get_data（）:
????mean1?=?[10]
????cov1?=?[[50][01]]
????mean2?=?[80]
????cov2?=?[[10][05]]
????mean3?=?[44]
????cov3?=?[[40][04]]
????#生成數(shù)據(jù)點(diǎn)
????data1?=?np.random.multivariate_normal（mean1cov1500）
????data2?=?np.random.multivariate_normal（mean2cov2500）
????data3?=?np.random.multivariate_normal（mean3cov3500）
????x1y1?=?data1.T
????x2y2?=?data2.T
????x3y3?=?data3.T
????plt.scatter（x1y1s=3c=‘g‘）
????plt.scatter（x2y2s=3c=‘b‘）
????plt.scatter（x3y3s=3c=‘r‘）
????#合并成一個(gè)數(shù)據(jù)集
????x?=?np.hstack（（x1x2x3））
????y?=?np.hstack（（y1y2y3））
????return?xy

“““
計(jì)算矩陣的行列式的值和逆矩陣
“““
def?get_det_inv（c）:
????det_c=np.linalg.det（c）
????inv_c=np.linalg.inv（c）
????return?det_cinv_c

“““
do-M?step?更新參數(shù)wcu
“““
def?do_mstep（Plenxyu）:
????c=sum（P）
????w=sum（P）/len
????tem1=np.array（[[0][0]]）
????tem2=np.array（[[00][00]]）
????for?i?in?range（len）:
????????a?=?np.array（[[x[i]?y[i]]]）
????????a?=?a.T
????????tem1=tem1+P[i]*a
????????tem2=tem2+P[i]*np.dot（（a-u）（a-u）.T）
????u=tem1/c
????c=tem2/c
????return?wuc
#獲取生成點(diǎn)的二維坐標(biāo)
xy=get_data（）
len=len（x）
#plt.scatter（xys=1.5）

#高斯模型參數(shù)初始化
x_u1=[]
y_u1=[]
x_u2=[]
y_u2=[]
x_u3=[]
y_u3=[]
w1=0.4
u1=np.array（[[1.1][0.1]]）
c1=np.array（[[30][03]]）

w2=0.3
u2=np.array（[[8.2][0.1]]）
c2=np.array（[[30][03]]）

w3=0.3
u3=np.array（[[4.2][4.2]]）
c3=np.array（[[30][03]]）
#記錄第一次的聚類中心
x_u1.append（u1[00]）
y_u1.append（u1[10]）
x_u2.append（u2[00]）
y_u2.append（u2[10]）
x_u3.append（u3[00]）
y_u3.append（u3[10]）

#設(shè)置迭代次數(shù)
flag=100
while（1）:
????#計(jì)算行列式的值和逆矩陣
????det_c1inv_c1=get_det_inv（c1）
????det_c2inv_c2=get_det_inv（c2）
????det_c3inv_c3=get_det_inv（c3）
????P1?=?[]
????P2?=?[]
????P3?=?[]
????for?i?in?range（len）:
????????a=np.array（[[x[i]y[i]]]）
????????a=a.T
????????#do?E-step
????????N1?=?（1?/?（2?*?math.pi?*?math.sqrt（det_c1）））?*?np.exp（-0.5?*?np.dot（np.dot（（a?-?u1）.T?inv_c1）?（a?-?u1）））
????????N1=N1[00]
????????N2?=?（1?/?（2?*?math.pi?*?math.sqrt（det_c2）））?*?np.exp（-0.5?*?np.dot（np.dot（（a?-?u2）.T?inv_c2）?（a?-?u2）））
????????N2?=?N2[0?0]
????????N3?=?（1?/?（2?*?math.pi?*?math.sqrt（det_c3）））?*?np.exp（-0.5?*?np.dot（np.dot（（a?-?u3）.T?inv_c3）?（a?-?u3）））
????????N3?=?N3[0?0]
????????tem=w1*N1+w2*N2+w3*N3
????????#計(jì)算先驗(yàn)概率
????????p1=w1*N1/tem
????????p2=w2*N2/tem
????????p3=w3*N3/tem
????????P1.append（p1）
????????P2.append（p2）
????????P3.append（p3）
????#?do?M-step
????w1_1=w1
????w2u2c2=do_mstep（P2?len?x?y?u2）
????plt.plot（u2[0?0]?u2[1?0]）
????w1u1c1=do_mstep（P1?len?x?y?u1）
#???plt.plot（u1[0?0]?u1[1?0]）
????w3u3c3=do_mstep（P3?len?x?y?u3）
????plt.plot（u3[0?0]?u3[1?0]）
????x_u1.append（u1[0?0]）
????y_u1.append（u1[1?0]）
????x_u2.append（u2[0?0]）
????y_u2.append（u2[1?0]）
????x_u3.append（u3[0?0]）
????y_u3.append（u3[1?0]）
????if?abs（w1-w1_1）??

?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2019-12-22?18:59??EM&GMM\
?????文件?????1475530??2019-12-22?18:56??EM&GMM\EM&GMM.docx
?????目錄???????????0??2019-12-19?21:42??EM&GMM\數(shù)據(jù)集\
?????文件????????6254??2019-12-17?22:55??EM&GMM\數(shù)據(jù)集\The?old?faithful?dataset.txt
?????文件????????6245??2019-12-19?09:43??EM&GMM\數(shù)據(jù)集\Theoldfaithfuldataset.txt
?????文件????????2087??2019-12-19?21:44??EM&GMM\數(shù)據(jù)集\dest.txt
?????文件????????4900??2019-12-19?10:28??EM&GMM\數(shù)據(jù)集\iris.txt
?????目錄???????????0??2019-12-22?18:56??EM&GMM\程序源代碼\
?????文件????????3434??2019-12-22?18:23??EM&GMM\程序源代碼\實(shí)驗(yàn)一.py
?????文件????????4009??2019-12-22?18:42??EM&GMM\程序源代碼\實(shí)驗(yàn)三.py
?????文件????????2938??2019-12-22?18:32??EM&GMM\程序源代碼\實(shí)驗(yàn)二.py
?????文件????????4083??2019-12-22?18:51??EM&GMM\程序源代碼\思考題1-1.py
?????文件????????3197??2019-12-19?23:25??EM&GMM\程序源代碼\思考題1-2（k-means-2維）.py
?????文件????????3364??2019-12-19?23:27??EM&GMM\程序源代碼\思考題1-2（k-means-3維）.py