#?-*-?coding:?utf-8?-*-
#?Filename?:?01smoSimple.py

from?numpy?import?*
import?numpy?as?np
import?operator
import?svmMLiA2
import?matplotlib.pyplot?as?plt?

#?數(shù)據(jù)文件
fileName?=?“testSet.txt“
#?初始化數(shù)據(jù)集?????
dataArrlabelArr?=?svmMLiA2.loadDataSet（fileName）

#?smoSimple
#?dataMatIn:數(shù)據(jù)集，classLabels:標(biāo)簽集
#?C:在允許有錯誤分類的情況下，控制最大化間距容錯率toler:0.001
#?最大迭代次數(shù)maxIter:40?
dataMatIn=dataArr;?classLabels=labelArr;?C=0.6;?toler=0.001;?maxIter=40
dataMatrix?=?mat（dataMatIn）;?labelMat?=?mat（classLabels）.T
b?=?0;?#?初始化截距
mn?=?shape（dataMatrix）
alphas?=?mat（zeros（（m1）））?#?m行全0向量
iter?=?0?#?初始化迭代次數(shù)
while?（iter?????alphaPairsChanged?=?0
????for?i?in?range（m）:?#?m行迭代	
????????#?fXi:wTx?+?b?分類超平面
????????fXi?=?float（multiply（alphaslabelMat）.T*（dataMatrix*dataMatrix[i:].T））?+?b
????????Ei?=?fXi?-?float（labelMat[i]）?????#?預(yù)估分類i與實際分類的誤差
????????#?如果超出容錯率和錯誤分類允許的邊界
????????if?（（labelMat[i]*Ei??toler）?and?（alphas[i]?>?0））:
????????????j?=?svmMLiA2.selectJrand（im）?#?隨機(jī)選擇一個不等于i的j
????????????#?計算fXj?公式同fXi
????????????fXj?=?float（multiply（alphaslabelMat）.T*（dataMatrix*dataMatrix[j:].T））?+?b
????????????Ej?=?fXj?-?float（labelMat[j]）??#?計算預(yù)估分類j與實際分類的誤差
????????????#?保存計算的?alphaI和alphaJ
????????????alphaIold?=?alphas[i].copy（）;?alphaJold?=?alphas[j].copy（）;
????????????#?見第二章公式十一
????????????if?（labelMat[i]?!=?labelMat[j]）:
????????????????L?=?max（0?alphas[j]?-?alphas[i]）?
????????????????H?=?min（C?C?+?alphas[j]?-?alphas[i]）?
????????????else:
????????????????L?=?max（0?alphas[j]?+?alphas[i]?-?C）?
????????????????H?=?min（C?alphas[j]?+?alphas[i]）?
????????????if?L==H:?
????????????	print?“L==H“;?
????????????	continue?#?忽略后面的語句繼續(xù)迭代
????????????#?松弛變量，見第二章公式十五中目標(biāo)函數(shù)的二階導(dǎo)數(shù)
????????????eta?=?2.0?*?dataMatrix[i:]*dataMatrix[j:].T?-?dataMatrix[i:]*dataMatrix[i:].T?-?dataMatrix[j:]*dataMatrix[j:].T
????????????if?eta?>=?0:?
????????????	print?“eta>=0“;?
????????????	continue?#?忽略后面的語句繼續(xù)迭代
????????????alphas[j]?-=?labelMat[j]*（Ei?-?Ej）/eta?#?見第二章公式九
????????????alphas[j]?=?svmMLiA2.clipAlpha（alphas[j]HL）?#?見第二章公式十和公式十二
????????????#?計算調(diào)整后的alphas[j]?與?alphaJold是否相等（小于誤差）
????????????if?（abs（alphas[j]?-?alphaJold）?????????????	#?print?“j?not?moving?enough“;?
????????????	continue?#?忽略后面的語句繼續(xù)迭代
????????????alphas[i]?+=?labelMat[j]*labelMat[i]*（alphaJold?-?alphas[j]）#?更新?alphas[i]
????????????#見第二章公式十四
????????????b1?=?b?-?Ei-?labelMat[i]*（alphas[i]-alphaIold）*dataMatrix[i:]*dataMatrix[i:].T?-?labelMat[j]*（alphas[j]-alphaJold）*dataMatrix[i:]*dataMatrix[j:].T
????????????b2?=?b?-?Ej-?labelMat[i]*（alphas[i]-alphaIold）*dataMatrix[i:]*dataMatrix[j:].T?-?labelMat[j]*（alphas[j]-alphaJold）*dataMatrix[j:]*dataMatrix[j:].T
????????????#?根據(jù)KKT條件更新b的取值
????????????if?（0??alphas[i]）:?b?=?b1
????????????elif?（0??alphas[j]）:?b?=?b2
????????????else:?b?=?（b1?+?b2）/2.0
????????????alphaPairsChanged?+

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----

?????文件???????3905??2014-05-19?15:20??Ch06svmMLiA\01smoSimple.py

?????文件???????1039??2014-05-19?13:41??Ch06svmMLiA\02PlattSMO.py

?????文件???????2090??2014-05-19?15:32??Ch06svmMLiA\03svmRbf.py

?????文件?????129569??2011-05-04?16:03??Ch06svmMLiA\digits.zip

?????文件???????2336??2010-11-03?16:30??Ch06svmMLiA\EXTRAS\notLinSeperable.py

?????文件????????835??2011-02-16?18:24??Ch06svmMLiA\EXTRAS\plotRBF.py

?????文件???????1452??2010-11-23?19:46??Ch06svmMLiA\EXTRAS\plotSupportVectors.py

?????文件??????16320??2010-11-27?09:06??Ch06svmMLiA\svmMLiA.py

?????文件??????17344??2014-05-19?15:38??Ch06svmMLiA\svmMLiA2.py

?????文件??????15337??2014-05-19?15:34??Ch06svmMLiA\svmMLiA2.pyc

?????文件???????2208??2010-11-04?14:13??Ch06svmMLiA\testSet.txt

?????文件???????2945??2010-11-26?18:16??Ch06svmMLiA\testSetRBF.txt

?????文件???????2951??2010-11-26?18:17??Ch06svmMLiA\testSetRBF2.txt

?????目錄??????????0??2013-09-19?19:05??Ch06svmMLiA\EXTRAS

?????目錄??????????0??2014-05-19?15:34??Ch06svmMLiA

-----------?---------??----------?-----??----

???????????????198331????????????????????15