#?!/usr/bin/python
#?-*-?coding:utf-8?-*-

import?math
import?matplotlib.pyplot?as?plt
import?numpy?as?np
import?codecs
import?random

infinite?=?float（-2**31）


def?log_normalize（a）:
????s?=?0
????for?x?in?a:
????????s?+=?x
????if?s?==?0:
????????print?“Error..from?log_normalize.“
????????return
????s?=?math.log（s）
????for?i?in?range（len（a））:
????????if?a[i]?==?0:
????????????a[i]?=?infinite
????????else:
????????????a[i]?=?math.log（a[i]）?-?s


def?log_sum（a）:
????if?not?a:???#?a為空
????????return?infinite
????m?=?max（a）
????s?=?0
????for?t?in?a:
????????s?+=?math.exp（t-m）
????return?m?+?math.log（s）


def?calc_alpha（pi?A?B?o?alpha）:
????for?i?in?range（4）:
????????alpha[0][i]?=?pi[i]?+?B[i][ord（o[0]）]
????T?=?len（o）
????temp?=?[0?for?i?in?range（4）]
????del?i
????for?t?in?range（1?T）:
????????for?i?in?range（4）:
????????????for?j?in?range（4）:
????????????????temp[j]?=?（alpha[t-1][j]?+?A[j][i]）
????????????alpha[t][i]?=?log_sum（temp）
????????????alpha[t][i]?+=?B[i][ord（o[t]）]


def?calc_beta（pi?A?B?o?beta）:
????T?=?len（o）
????for?i?in?range（4）:
????????beta[T-1][i]?=?1
????temp?=?[0?for?i?in?range（4）]
????del?i
????for?t?in?range（T-2?-1?-1）:
????????for?i?in?range（4）:
????????????beta[t][i]?=?0
????????????for?j?in?range（4）:
????????????????temp[j]?=?A[i][j]?+?B[j][ord（o[t+1]）]?+?beta[t+1][j]
????????????beta[t][i]?+=?log_sum（temp）


def?calc_gamma（alpha?beta?gamma）:
????for?t?in?range（len（alpha））:
????????for?i?in?range（4）:
????????????gamma[t][i]?=?alpha[t][i]?+?beta[t][i]
????????s?=?log_sum（gamma[t]）
????????for?i?in?range（4）:
????????????gamma[t][i]?-=?s


def?calc_ksi（alpha?beta?A?B?o?ksi）:
????T?=?len（alpha）
????temp?=?[0?for?x?in?range（16）]
????for?t?in?range（T-1）:
????????k?=?0
????????for?i?in?range（4）:
????????????for?j?in?range（4）:
????????????????ksi[t][i][j]?=?alpha[t][i]?+?A[i][j]?+?B[j][ord（o[t+1]）]?+?beta[t+1][j]
????????????????temp[k]?=ksi[t][i][j]
????????????????k?+=?1
????????s?=?log_sum（temp）
????????for?i?in?range（4）:
????????????for?j?in?range（4）:
????????????????ksi[t][i][j]?-=?s


def?bw（pi?A?B?alpha?beta?gamma?ksi?o）:
????T?=?len（alpha）
????for?i?in?range（4）:
????????pi[i]?=?gamma[0][i]
????s1?=?[0?for?x?in?range（T-1）]
????s2?=?[0?for?x?in?range（T-1）]
????for?i?in?range（4）:
????????for?j?in?range（4）:
????????????for?t?in?range（T-1）:
????????????????s1[t]?=?ksi[t][i][j]
????????????????s2[t]?=?gamma[t][i]
????????????A[i][j]?=?log_sum（s1）?-?log_sum（s2）
????s1?=?[0?for?x?in?range（T）]
????s2?=?[0?for?x?in?range（T）]
????for?i?in?range（4）:
????????print?“bw“?i
????????for?k?in?range（65536）:
????????????valid?=?0
????????????if?k?%?10000?==?0:
????????????????print?“bw?-?k“?k
????????????for?t?in?range（T）:
????????????????if?ord（o[t]）?==?k:
????????????????????s1[valid]?=?gamma[t][i]
????????????????????valid?+=?1
????????????????s2[t]?=?gamma[t][i]
????????????if?valid?==?0:
?????????????

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2017-05-08?15:01??24.HMM\
?????目錄???????????0??2017-05-08?15:01??24.HMM\.idea\
?????文件?????????459??2017-05-08?13:07??24.HMM\.idea\24.HMM.iml
?????文件?????????687??2017-05-08?13:07??24.HMM\.idea\misc.xml
?????文件?????????264??2017-05-08?13:01??24.HMM\.idea\modules.xml
?????文件???????25488??2017-05-08?13:15??24.HMM\.idea\workspace.xml
?????文件????????6612??2017-05-08?13:08??24.HMM\24.1.TrainHMM.py
?????文件????????7390??2017-05-08?13:08??24.HMM\24.2.Segmentation.py
?????文件?????????355??2017-05-08?13:09??24.HMM\24.3.jieba_intro.py
?????文件????????4036??2017-05-08?13:12??24.HMM\24.4.GMHMM.py
?????文件????????2178??2017-05-08?13:12??24.HMM\24.5.Stock.py
?????文件????????4646??2017-05-08?13:14??24.HMM\24.6.Current.py
?????文件?????????245??2017-05-08?13:08??24.HMM\A.txt
?????文件?????3682048??2017-05-08?13:08??24.HMM\B.txt
?????文件??????135168??2017-03-08?13:46??24.HMM\Current.xls
?????文件???100000000??2006-06-09?20:40??24.HMM\Englishword.train
?????文件???????11515??2016-11-25?13:06??24.HMM\MyBook.txt
?????文件???????84462??2016-11-25?13:06??24.HMM\SH600000.txt
?????文件??????261120??2017-05-08?13:14??24.HMM\new_current.xls
?????文件???????38981??2016-11-25?13:06??24.HMM\novel.txt
?????文件??????????62??2017-05-08?13:08??24.HMM\pi.txt
?????文件?????7728239??2016-11-25?13:06??24.HMM\pku_training.utf8