作者曾經(jīng)寫(xiě)過(guò)系列文章《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)概述 》，其中在《第二章 神經(jīng)網(wǎng)絡(luò)的概念及感知機(jī)模型》，從生物和數(shù)學(xué)方面都有一定介紹。

神經(jīng)網(wǎng)絡(luò)全稱人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network, ANN），與之相對(duì)應(yīng)的是生物神經(jīng)網(wǎng)絡(luò)（Biological Neural Network, BNN），將模擬生物神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型統(tǒng)稱為人工神經(jīng)網(wǎng)絡(luò)模型。

生物神經(jīng)系統(tǒng)與生物神經(jīng)元

• 大量生物神經(jīng)元的廣泛、復(fù)雜連接，形成生物神經(jīng)網(wǎng)絡(luò)

• 實(shí)現(xiàn)各種智能活動(dòng)

智能（intelligence）

• 觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力

• 理解和各種適應(yīng)性行為的能力

• 智能是個(gè)體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力，也可以說(shuō)是個(gè)體認(rèn)識(shí)客觀事物和運(yùn)用知識(shí)解決問(wèn)題的能力

• 生物神經(jīng)元(neuron)是基本的信息處理單元

生物神經(jīng)系統(tǒng)

生物神經(jīng)元是基本的信息處理單元。

生物神經(jīng)元

• 樹(shù)突(dendrites)：接收來(lái)自外接的信息

• 細(xì)胞體(cell body)： 神經(jīng)細(xì)胞主體，信息加工

• 軸突(axon)：細(xì)胞的輸出裝置，將信號(hào)向外傳遞，與多個(gè)神經(jīng)元連接

• 突觸 （synapsse)：神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹(shù)突）傳遞信號(hào)

生物神經(jīng)元的基本特征

• 神經(jīng)元之間彼此連接

• 神經(jīng)元之間的連接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱

• 神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變：學(xué)習(xí)、遺忘、疲勞

• 神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化

• 興奮與抑制

• 信號(hào)可以起興奮作用，也可以起抑制作用

• 一個(gè)神經(jīng)元接受信號(hào)的累積效果（綜合大小，代數(shù)和）決定該神經(jīng)元的狀態(tài)(興奮、抑制)

• 每個(gè)神經(jīng)元可以有一個(gè)“閾值”

人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來(lái)模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。

人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來(lái)的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

神經(jīng)元及神經(jīng)網(wǎng)絡(luò)模型

感知機(jī)模型

• 感知機(jī)模型，其基礎(chǔ)就是單個(gè)神經(jīng)元模型

• 感知機(jī)的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)，學(xué)習(xí)的問(wèn)題歸結(jié)為求權(quán)重系數(shù)W = (w1, w2, …, wn)和閾值θ 的問(wèn)題

• 基本思想：逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸出結(jié)果和理想輸出結(jié)果之間的差別來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)重值

感知機(jī)模型

感知器模型無(wú)法解決“異或”（XOR）問(wèn)題，即感知器模型無(wú)法解決非線性可分問(wèn)題。

設(shè)激活函數(shù)f(x)為階梯函數(shù)：

階梯函數(shù)

由于單層感知器的輸出為：

y(x1,x2) = f(ω1×x1+ω2×x2-θ)

用感知器實(shí)現(xiàn)簡(jiǎn)單邏輯運(yùn)算的情況如下：

• “與”運(yùn)算（x1∧x2）

令ω1= ω2=1，θ=2，則 y=f(1×x1+1×x2-2)

顯然，當(dāng)x1和x2均為1時(shí)，y的值1；而當(dāng)x1和x2有一個(gè)為0時(shí)，y的值就為0。

• “或”運(yùn)算（x1∨x2）

令ω1= ω2=1, θ =0.5，則y = f(1×x1+1×x2-0.5)

顯然，只要x1和x2中有一個(gè)為1，則y的值就為1；只有當(dāng)x1和x2都為0時(shí)，y的值才為0。

• “非”運(yùn)算（～X1）

令ω1 =-1， ω2=0， θ=-0.5，則 y = f((-1)×x1+1×x2+0.5))

顯然，無(wú)論x2為何值，x1為1時(shí)，y的值都為0；x1為0時(shí)，y的值為1。即y總等于～x1。

• “異或”運(yùn)算（x1 XOR x2）

如果“異或”（XOR）問(wèn)題能用單層感知器解決，則ω1、 ω2 和θ 必須滿足如下方程組：

ω1+ω2-θ＜0

ω1+0-θ≥0

0+0-θ＜0

0+ω2-θ≥0

顯然，該方程組是無(wú)解，這就說(shuō)明單層感知機(jī)是無(wú)法解決異或問(wèn)題。

神經(jīng)網(wǎng)絡(luò)模型（多層感知機(jī)Multi-Layer Perception）

• 在單層感知器的輸入部分和輸出層之間加入一層或多層處理單元，就構(gòu)成了二層或多層感知器

• 多層感知器克服了單層感知器的許多缺點(diǎn)，原來(lái)一些單層感知器無(wú)法解決的問(wèn)題，在多層感知器中就可以解決。例如，應(yīng)用二層感知器就可以解決異或邏輯運(yùn)算問(wèn)題