摘要：以指數(shù)函數(shù)替代神經(jīng)網(wǎng)絡(luò)中常用的S形激活函數(shù)，進(jìn)而構(gòu)造出能夠計算非線性判別邊界的概率神經(jīng)網(wǎng)絡(luò)（PNN），該判定邊界接近于貝葉斯最佳判定面。還討論了擁有類似性質(zhì)的其他激活函數(shù)。所提出的這種4層神經(jīng)網(wǎng)絡(luò)能夠把任何輸入模式映射到多個類別。如果能取得新數(shù)據(jù)的話，可以使用新數(shù)據(jù)實時地修改判定邊界，并可以使用完全并行運行的人工“神經(jīng)元”付諸實現(xiàn)。還為估計類別的出現(xiàn)概率和可靠性，以及做判別作好準(zhǔn)備。對于反向傳播增加的適應(yīng)時間占總計算時間的重大部分的問題，這種方法顯示出非常快速的優(yōu)點。PNN范式比反向傳播快200，000倍。

關(guān)鍵詞：神經(jīng)網(wǎng)格，概率密度函數(shù)，并行處理機，“神經(jīng)元”，模式識別，Parzen窗口，貝葉斯策略，相聯(lián)存儲器


1. 動機

神經(jīng)網(wǎng)絡(luò)常用來依據(jù)向?qū)嵗龑W(xué)習(xí)進(jìn)行模式分類。不同的神經(jīng)網(wǎng)格范式（paradigm）使用不同的學(xué)習(xí)規(guī)則，但都以某種方式，根據(jù)一組訓(xùn)練樣本確定模式的統(tǒng)計量，然后根據(jù)這些統(tǒng)計量進(jìn)行新模式分類。

通用方法如反向傳播，使用探試法獲得基礎(chǔ)的類別統(tǒng)計量。探試法通常包含對系統(tǒng)參數(shù)的許多小的改進(jìn)，逐漸提高系統(tǒng)的性能。除了訓(xùn)練需要長的計算時間外，還表明，反向傳播增加的適應(yīng)近似法對錯誤的最小值很敏感。為了改進(jìn)這種方法，找到了基于己確立的統(tǒng)計原理的分類方法。

可以表明，盡管最終得到的網(wǎng)絡(luò)在結(jié)構(gòu)上類似于反向傳播,且其主要區(qū)別在于以統(tǒng)計方法推導(dǎo)的激活函數(shù)替代S形激活函數(shù)，但這個網(wǎng)絡(luò)具有的特點是：在某些易滿足的條件下，以PNN實現(xiàn)的判別邊界漸進(jìn)地逼近貝葉斯最佳判定面。

為了了解PNN范式的基礎(chǔ)，通常從貝葉斯判定策略以及概率密度函數(shù)的非參數(shù)估計的討論開始。之后可以表明，這種統(tǒng)計方法如何映射到前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)是以許多簡單處理器（神經(jīng)元）代表的，所有處理器都是并行運行。