王川: 深度學(xué)習(xí)有多深? 學(xué)了究竟有幾分? (五)
的續(xù)篇.
(1)
計(jì)算速度和數(shù)據(jù)規(guī)模的大幅度提高,也引導(dǎo)出更多算法上的改進(jìn).
在網(wǎng)絡(luò)構(gòu)架上,一些算法更多地借鑒人腦認(rèn)知的成功經(jīng)驗(yàn): 多提高效率, 少做無(wú)用功. 多閉目養(yǎng)神,少亂說(shuō)亂動(dòng). 多關(guān)注主要矛盾, 少關(guān)心細(xì)枝末節(jié).
2003年紐約大學(xué)神經(jīng)科學(xué)中心的 Peter Lennie 在論文中指出,人腦的神經(jīng)元,一般最多 1-4%的比例, 可以同時(shí)處于激活狀態(tài). 比例更高時(shí), 大腦則無(wú)法提供相應(yīng)的能量需求.
神經(jīng)網(wǎng)絡(luò)的模型中,通過(guò)所謂激勵(lì)函數(shù) (activation function), 根據(jù)上一層神經(jīng)元輸入值來(lái)計(jì)算輸出值.
最典型的傳統(tǒng)激勵(lì)函數(shù),sigmoid function, 輸出值在 0 和 1 之間, 也就意味著神經(jīng)元平均下來(lái), 每時(shí)每刻都在使用一半的力量.
這種高強(qiáng)度能量需求,對(duì)于普通生物體而言,是無(wú)法持續(xù)的.
一個(gè)有意思的比方是鱷魚.真實(shí)生活中的鱷魚, 和動(dòng)物世界的紀(jì)錄片中縱身一躍, 兇猛捕食的形象大相徑庭.
鱷魚90%的時(shí)間是一動(dòng)不動(dòng)的, (一個(gè)近距離觀察者常會(huì)把它誤認(rèn)為是石雕.) 剩下5%的時(shí)間用于求偶交配, 5%的時(shí)間用于覓食.
鱷魚的低能耗綠色生活方式,使它成為兩棲動(dòng)物界的壽星.雖然野生鱷魚的平均壽命缺乏嚴(yán)格科學(xué)的統(tǒng)計(jì),但是被捕獲后人工飼養(yǎng)的鱷魚中,有不少個(gè)體,記錄在案的壽命超過(guò)了七十歲.
(2)
2011 年, 加拿大的蒙特利爾大學(xué)學(xué)者 Xavier Glorot 和 Yoshua Bengio 發(fā)表論文, 'Deep Sparse Rectifier Neural Networks'. (深而稀疏的修正神經(jīng)網(wǎng)絡(luò)).
論文的算法中使用一種稱為'修正線性單元' (REctified Linear Unit, 又稱 RELU) 的激勵(lì)函數(shù). 用數(shù)學(xué)公式表達(dá): rectifier (x) = max (0, x ).
對(duì)于 RELU 而言, 如果輸入為負(fù)值, 輸出為零. 否則輸入和輸出相等.
換而言之,對(duì)于特定的輸入, 統(tǒng)計(jì)上有一半神經(jīng)元是沒有反應(yīng),保持沉默的.
使用 RELU 的含有三個(gè)隱層的神經(jīng)網(wǎng)絡(luò)模型,被用來(lái)測(cè)試于四個(gè)不同的經(jīng)典的圖像識(shí)別問(wèn)題. 和使用別的激勵(lì)函數(shù)的模型相比, RELU 不僅識(shí)別錯(cuò)誤率普遍更低,而且其有效性,對(duì)于神經(jīng)網(wǎng)絡(luò)是否進(jìn)行'預(yù)先訓(xùn)練'過(guò)并不敏感.
RELU 的優(yōu)勢(shì)還有下面三點(diǎn):
傳統(tǒng)的激勵(lì)函數(shù),計(jì)算時(shí)要用指數(shù)或者三角函數(shù),計(jì)算量要比簡(jiǎn)單的RELU 至少高兩個(gè)數(shù)量級(jí).
RELU 的導(dǎo)數(shù)是常數(shù), 非零即一, 不存在傳統(tǒng)激勵(lì)函數(shù)在反向傳播計(jì)算中的'梯度消失問(wèn)題'.
由于統(tǒng)計(jì)上,約一半的神經(jīng)元在計(jì)算過(guò)程中輸出為零,使用 RELU 的模型計(jì)算效率更高,而且自然而然的形成了所謂 '稀疏表征' (sparse representation), 用少量的神經(jīng)元可以高效, 靈活,穩(wěn)健地表達(dá)抽象復(fù)雜的概念.
(未完待續(xù))
===================================
點(diǎn)擊下面鏈接可看到本公眾號(hào)的說(shuō)明和歷史文章的鏈接
在投資和事業(yè)發(fā)展的路上如何集思廣益，舉重若輕？歡迎加入王川的投資俱樂部，這是一個(gè)凝聚來(lái)自世界四大洲各行各業(yè)精英的高端社區(qū)，年費(fèi)三千四百美元。有意入會(huì)者請(qǐng)和王川（微信號(hào): 9935070) 直接聯(lián)系。我和其他會(huì)員，會(huì)和你深度交流更多投資和商業(yè)的經(jīng)驗(yàn)教訓(xùn)。
作者簡(jiǎn)介：王川，投資人，中科大少年班校友，現(xiàn)
聯(lián)系客服
