神經(jīng)網(wǎng)絡從根本上不同于其他信號處理系統(tǒng)。實現(xiàn)某種信號處理目標的“正?！狈椒ㄊ菓盟惴ā?/p>

在這個模型中，研究人員創(chuàng)建了一種數(shù)學方法來以某種方式分析或修改信號。有多種方法可以去除音頻中的噪聲、查找圖像中的邊緣、根據(jù)熱敏電阻的電阻計算溫度、確定 RF 波形的頻率內(nèi)容等。然后，設(shè)計人員通過將該方法轉(zhuǎn)換為可由處理器執(zhí)行并適應給定應用程序需求的算法，以研究人員的工作為基礎(chǔ)。

FIR 濾波器是信號處理系統(tǒng)的一個例子，我們可以用的數(shù)學方法對其進行評估和理解。 

另一方面，經(jīng)過訓練的神經(jīng)網(wǎng)絡是一個經(jīng)驗系統(tǒng)。

網(wǎng)絡中發(fā)生的數(shù)學過程并不構(gòu)成旨在對手寫字符進行分類、預測龍卷風的形成或開發(fā)極端航空機動控制程序的特定算法。相反，神經(jīng)網(wǎng)絡中的數(shù)學是一個框架，使網(wǎng)絡能夠根據(jù)訓練數(shù)據(jù)創(chuàng)建定制的計算模型。

我們了解允許神經(jīng)網(wǎng)絡學習和實現(xiàn)其所需功能的數(shù)學框架，但實際的信號處理算法特定于訓練數(shù)據(jù)、學習率、初始權(quán)重值和其他因素。

與 FIR 濾波器不同，神經(jīng)網(wǎng)絡取決于許多不同的因素。

這就像小時候?qū)W習語言和成人學習語言之間的區(qū)別。

一個甚至從未聽過“語法”這個詞的孩子可以重復說出正確的動詞形式，因為他或她的大腦自然地識別并保留了孩子從與他們互動的老年人那里接收到的大量語言輸入數(shù)據(jù)中包含的模式。

然而，成年人通常無法訪問所有這些輸入，并且可能不會以相同的方式吸收模式，因此我們記住并實施使我們能夠正確結(jié)合動詞和選擇時態(tài)的語言“算法”。

驗證的重要性

神經(jīng)網(wǎng)絡可以解決極其復雜的問題，因為當給定大量輸入時，它們“自然地”找到類似于兒童尋找語言模式的數(shù)學模式。但這種信號處理方法絕不是萬無一失的。

考慮說英語的孩子說“goed”而不是“went”或“holded”而不是“held”。這些被稱為過度正則化錯誤。他們已經(jīng)選擇了過去時的 -ed 模式，但出于某種原因——可能是數(shù)據(jù)不足或認知特質(zhì)——他們還沒有改進他們的語言模型來解釋過去時不規(guī)則的動詞。

當然，沒有人會因為一個四歲的孩子說“我去了公園”而責備他。但是，如果一位杰出的政治家在發(fā)表重要演講時反復說“去”、“舉行”、“發(fā)現(xiàn)”、“知道”等等，聽眾會非常不高興（或完全困惑），演講者的政治生涯可能會受到影響。戛然而止。

這些過度正則化錯誤是一個很好的例子，說明訓練有素的神經(jīng)網(wǎng)絡在實現(xiàn)所需信號處理功能的能力上可能存在意想不到的差距。盡管當我們只是在進行實驗時，微小的差距可能看起來不重要，甚至很有趣，但政客的例子提醒我們，它們在實際應用中可能是災難性的。

當網(wǎng)絡面對真實的應用程序數(shù)據(jù)時，訓練不足和過度訓練都可能導致意外和有問題的行為。有關(guān)詳細信息，請參閱第 4 部分。

現(xiàn)在我們明白了為什么驗證是神經(jīng)網(wǎng)絡開發(fā)的一個重要方面。訓練是不夠的，因為訓練數(shù)據(jù)集本身是有限的，因此網(wǎng)絡對該數(shù)據(jù)集的響應也是有限的。

此外，訓練會產(chǎn)生一個“黑匣子”計算系統(tǒng)，我們無法像典型的公式或算法那樣對其進行分析和評估。因此，我們需要驗證，我將其定義為盡一切合理努力確保網(wǎng)絡能夠成功處理典型的現(xiàn)實輸入數(shù)據(jù)，并且在出現(xiàn)非典型數(shù)據(jù)時不會產(chǎn)生驚人的故障。