來源：電子技術應用 作者：朱莉 孫廣玲

    摘要：在svm算法和sigmoid函數的基礎上，提出了一種字符識別自適應學習算法，該算法通過自適應修正sigmoid函數的參數，使sigmoid函數能夠較好地擬合自適應數據輸出距離的類別后驗概率分布，從而提高對自適應數據的識別率。

    關鍵詞：svm sigmoid函數自適應學習梯度下降法

    手寫字符的一個突出特點就是模式具有較大的變化性，表現為模式空間的類內分布過于分散，類間交疊嚴重，這使得識別模型無法“恰當”地擬合每類模式的數據分布或類別之間的判別面。在識別模型過程中，通過自適應學習就能較好地擬合特定書寫者筆跡特征向量的空間分布，從而有利于識別率的提高。當然，自適應學習的結果只是提高了對特定書寫者的識別率，但通過為不同人的筆跡特征向量提供不同的識別模型，就能夠從總體上提高系統的識別率。

    任何一種自適應學習算法都基于一定的識別方法。從目前已有的文獻來看，大致有以下幾種自適應學習所依據的識別方法：hmms(hidden markov models)，anns(artificial neural networks)，pdnns(probabilistic decision—based neural networks)，子空間法(local subspace)以及模板匹配法(template matching)等。這些識別方法可以分為分布擬合法(hmms，pdnns，ls，tm)和判別決策法(ann)；前者僅學習每一類的正例，而不學習反例，而后者是同時學習正例和反倒。顯然，在模型的一致性上，判別決策法要好于分布擬合法。

    根據這種思想，本文提出了一種基于svm分類算法和sigmoid函數的自適應學習算法。svm分類算法是一種判別決策方法，在很多識別問題中都獲得了很好的實驗結果，svm分類算法的輸出為距離，參數化的sigmoid函數擬合svm輸出距離的類別后驗概率分布，使svm的距離輸出變換為概率輸出。本文提出的算法基于這種概率化方法，通過自適應學習，修改sigmoid參數，使sigmoid函數能夠較好地擬合自適應數據輸出距離的類別后驗概率分布。由于輸出距離是基于兩類別的判別面的．因此輸出距離的類別后驗概率分布就同時學習了正例和反例。

    本文以手寫數字為實驗對象，對上文提出的自適應學習算法進行了有效性驗證。

    1 svm算法及sigmoid函數

    1．1 svm分類學習算法

    1．2 sigmoid函數

    本文采用的方法，即利用參數化的sigmoid函數擬合svm分類決策函數的輸出距離的類別后驗概率分布，使其距離輸出變為概率輸出。參數化的sigmoid函數為：

    1．3 求解a，b

    為了避免求出的參數a，b值的偏移性，應利用不同于訓練集d1的數據集d2求解a，b的值。d2=將d2中的所有數據代入到(6)、(7)式中，求解a，b以求出(7)式的極小值問題。

    2 基于svm和sigmoid函數的自適應學習算法

    2.1 多類別分類器設計方法

    本文依據所述svm算法和one-verse-one原則設計多類別的分類器。設類別數是n，則共有n*(n-1)/2個分類器，每個分類器的參數依次是權值wi,j,bi,j,ai,j和bi,j,i,j=1,2,……n,i<j。

    2．2 概率輸出下的多類別決策

    概率輸出下的多類別決策規則是：設有未知類別數據x，將其代入(6)式中有：

    依據投票法原則，若p(x)>o.5，第i類得到1票；若p(x)<0.5，第j類得到1票；若p(x)=0.5，不投票。當依次計算完n*(n-1)／2個概率值p之后，得到票數最多的類別被判別為數據x所屬的類別。

    2.3 自適應學習算法

    本文的自適應學習算法的核心在于通過自適應數據中的誤識樣本，對參數ai,j,bi,j進行自適應修正。

    milil的上腳標i1表示x被誤識為i1類，mi1表示被誤識為i1類的樣本個數。若第i1類的自適應數據集合的誤識樣本集合ei1中有被誤識為i類的樣本，則ei中被誤識為i1類的樣本和ei1中被誤識