為什么要引入激活函數(shù)

馬克- to-win：馬克 java社區(qū)：防盜版實名手機尾號： 73203。
馬克-to-win @ 馬克java社區(qū)：防盜版實名手機尾號：73203。根據(jù)上面的學(xué)習(xí)，我們已經(jīng)知道，當(dāng)我們接到客戶的需求，讓我們做識別，判斷或者預(yù)測時，我們需要最終交付給客戶我們的神經(jīng)網(wǎng)絡(luò)模型。其實我們千辛萬苦訓(xùn)練出來的神經(jīng)網(wǎng)絡(luò)模型，就是從輸入到輸出的一個神秘未知函數(shù)映射。在大多數(shù)情況下，我們并不知道這個真正的函數(shù)是什么，我們只是盡量去擬合它。馬克-to-win @ 馬克java社區(qū)：前面給出的例子，只是起到引入和說明的作用，所以只用了一些線性組合（說明見下）。所以無法實現(xiàn)對復(fù)雜函數(shù)的逼近。如何使我們的神經(jīng)網(wǎng)絡(luò)隨意逼近復(fù)雜函數(shù)呢？人工智能科學(xué)家們給出了答案，就像高等數(shù)學(xué)當(dāng)中，我們用泰勒級數(shù)逼近各種復(fù)雜函數(shù)一樣，引入非線性激活函數(shù)可以讓我們的神經(jīng)網(wǎng)絡(luò)隨意逼近復(fù)雜函數(shù)。




（補充）線性定義：（來自百度百科）
定義一個包含k個實數(shù)變量的集合,x1,x2,....xk,且假設(shè)已知一個k個實數(shù)權(quán)重集合w1,w2,.....wk。我們定義:
s=w1*x1+w2*x2+........wk*xk,s變量是對變量x的加權(quán)線性”混合”。因此，將s定義為變量的線性組合。