資源簡介
之前的最好資源描述如下：
svmcls 2.0文本自動分類器支持中文和英文文檔，特征選擇方式包括全局和按類別選取，概率估算方法支持基于文檔（布爾）統計和基于詞頻統計，支持三種特征加權方式，特征評估函數包括信息增益、互信息、期望交叉熵、X^2統計，文本證據權重，右半信息增益，分類方法包括支持向量機SVM和K近鄰KNN，由李榮陸老師于2004年開發完成。
網上流傳很多版本的svmcls文本分類程序，但幾乎全部都是不能編譯通過的，有些是缺少xercesc文件夾，有些是缺少xerces-c_2_2_0D.dll，有些是缺少分詞程序和數據導致分詞程序初始化失敗，還有的缺少直接訓練測試的語料庫。
本人經過整理和編譯測試，保證本壓縮包解壓后不僅有可以直接使用的.exe程序，而且所包含的源代碼可以編譯通過。可供廣大學者研究使用。
============================================
此次發布改進：
1 增加了此前版本仍缺少的xerces-c_2_2_0.dll；
2 將Feather改為Feature，意為特征；
3 此版本最大的改進是可以編譯Release版，此前版本不能。
4 編譯Release版時，需要把xerces文件夾置于vc的include目錄下，并在在Link設置頁面加入2個lib文件。
5 此版本為完整版，并用winrar進行了最大壓縮。
特別說明：
感謝李榮陸老師無私共享。
代碼片段和文件信息
//?Classifier.cpp:?implementation?of?the?CClassifier?class.
//
//////////////////////////////////////////////////////////////////////
#include?“stdafx.h“
#include?“svmcls.h“
#include?“Classifier.h“
#include?“WordSegment.h“
#include?“Message.h“
#include?
#include?
#ifdef?_DEBUG
#undef?THIS_FILE
static?char?THIS_FILE[]=__FILE__;
#define?new?DEBUG_NEW
#endif
CClassifier?theClassifier;
const?DWORD?CClassifier::dwModelFileID=0xFFEFFFFF;
//////////////////////////////////////////////////////////////////////
//?Construction/Destruction
//////////////////////////////////////////////////////////////////////
CClassifier::CClassifier（）
{
m_pDocs=NULL;
m_pSimilarityRatio=NULL;
m_lDocNum=0;
m_nClassNum=0;
}
CClassifier::~CClassifier（）
{
}
//參數bGenDic=false代表無需重新掃描文檔得到訓練文檔集中所有特征一般在層次分類時使用
//參數nType用來決定分類模型的類別nType=0代表KNN分類器nType=1代表SVM分類器
bool?CClassifier::Train（int?nType?bool?bFlag）
{
CTime?startTime;
CTimeSpan?totalTime;
if（bFlag）
{
InitTrain（）;
//生成所有候選特征項，將其保存在m_lstWordList中
GenDic（）;
}
CMessage::PrintStatusInfo（““）;
if（m_lstWordList.GetCount（）==0）
return?false;
if（m_lstTrainCatalogList.GetCataNum（）==0）
return?false;
//清空特征項列表m_lstTrainWordList
m_lstTrainWordList.InitWordList（）;
//為特征項列表m_lstWordList中的每個特征加權
CMessage::PrintInfo（_T（“開始計算候選特征集中每個特征的類別區分度，請稍候...“））;
startTime=CTime::GetCurrentTime（）;
FeatureWeight（m_lstWordList）;
totalTime=CTime::GetCurrentTime（）-startTime;
CMessage::PrintInfo（_T（“特征區分度計算結束，耗時“）+totalTime.Format（“%H:%M:%S“））;
CMessage::PrintStatusInfo（““）;
//從特征項列表m_lstWordList中選出最優特征
CMessage::PrintInfo（_T（“開始進行特征選擇，請稍候...“））;
startTime=CTime::GetCurrentTime（）;
FeatureSelection（m_lstTrainWordList）;
????//為最優特征集m_lstTrainWordList中的每個特征建立一個ID
m_lstTrainWordList.IndexWord（）;
totalTime=CTime::GetCurrentTime（）-startTime;
CMessage::PrintInfo（_T（“特征選擇結束，耗時“）+totalTime.Format（“%H:%M:%S“））;
CMessage::PrintStatusInfo（““）;
//清空m_lstWordList釋放它占用的空間
m_lstWordList.InitWordList（）;
CMessage::PrintInfo（“開始生成文檔向量，請稍候...“）;
startTime=CTime::GetCurrentTime（）;
GenModel（）;
totalTime=CTime::GetCurrentTime（）-startTime;
CMessage::PrintInfo（_T（“文檔向量生成結束，耗時“）+totalTime.Format（“%H:%M:%S“））;
CMessage::PrintStatusInfo（““）;
CMessage::PrintInfo（“開始保存分類模型，請稍候...“）;
startTime=CTime::GetCurrentTime（）;
WriteModel（m_paramClassifier.m_txtResultDir+“\\model.prj“nType）;
totalTime=CTime::GetCurrentTime（）-startTime;
CMessage::PrintInfo（_T（“保存分類模型結束，耗時“）+totalTime.Format（“%H:%M:%S“））;
//訓練SVM分類器必須在保存訓練文檔的文檔向量后進行
if（nType>0）
{
CMessage::PrintInfo（“開始訓練SVM，請稍候...“）;
m_lstTrainCatalogList.InitCatalogList（2）;?//刪除文檔向量所占用的空間
startTime=CTime::GetCurrentTime（）;
TrainSVM（）;
totalTime=CTime::GetCurrentTime（）-startTime;
CMessage::PrintInfo（_T（“SVM分類器訓練結束，耗時“）+totalTime.Format（“%H:%M:%S“））;
CMessage::PrintStatusInfo（““）;
}
//為分類做好準備否則不能進行分類
Prepare（）;
CMessage::PrintStatusInfo（““）?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件??????27365??2004-08-14?21:09??svmcls\CATALOGLIST.CPP
?????文件???????5232??2004-07-19?10:35??svmcls\CATALOGLIST.H
?????文件??????47365??2010-09-21?13:46??svmcls\Classifier.cpp
?????文件???????3639??2010-09-21?13:45??svmcls\Classifier.h
?????文件???????6579??2004-08-15?17:17??svmcls\CLASSIFIERPARAM.CPP
?????文件???????3230??2004-08-15?17:13??svmcls\CLASSIFIERPARAM.H
?????文件???????3076??2004-07-13?21:05??svmcls\Compute_Param.cpp
?????文件???????1637??2004-07-13?21:05??svmcls\Compute_Param.h
?????文件???????1387??2004-07-13?10:36??svmcls\Compute_Prompt.cpp
?????文件????????887??2004-07-13?09:54??svmcls\Compute_Prompt.h
?????文件????????587??2004-07-13?10:36??svmcls\Compute_Result.cpp
?????文件????????835??2004-05-09?19:20??svmcls\Compute_Result.h
?????文件???????3077??2004-07-20?11:12??svmcls\ConvertDlg.cpp
?????文件???????1411??2004-08-06?10:40??svmcls\ConvertDlg.h
?????文件????7544244??2002-09-13?13:47??svmcls\data\BigramDict.dct
?????文件????1565689??2002-09-13?13:47??svmcls\data\coreDict.dct
?????文件????????607??2004-05-18?22:27??svmcls\data\engstopwords.txt
?????文件?????266240??2004-04-30?10:21??svmcls\data\ICTCLAS_Win.exe
?????文件??????10412??2002-09-13?13:47??svmcls\data\lexical.ctx
?????文件??????????0??2004-04-30?10:58??svmcls\data\log.txt
?????文件???????1032??2002-09-13?13:51??svmcls\data\nr.ctx
?????文件?????113780??2002-09-13?13:51??svmcls\data\nr.dct
?????文件????????408??2002-09-13?13:55??svmcls\data\ns.ctx
?????文件??????54278??2002-09-13?13:55??svmcls\data\ns.dct
?????文件???????2398??2004-05-05?22:16??svmcls\data\stopwords.txt
?????文件????????408??2002-09-13?13:55??svmcls\data\tr.ctx
?????文件??????64000??2002-09-13?13:55??svmcls\data\tr.dct
?????文件????1646649??2010-09-21?13:51??svmcls\Debug\svmcls.exe
?????文件???????2295??2004-07-24?16:19??svmcls\DocSelDlg.cpp
?????文件???????1285??2004-08-06?10:39??svmcls\DocSelDlg.h
............此處省略4405個文件信息
評論
共有 條評論
川公網安備 51152502000135號