dropout到底在干什么？

馬克-to-win @ 馬克java社區(qū)：防盜版實(shí)名手機(jī)尾號(hào)：73203。我們用dropout主要是為了防止CNN過(guò)擬合。所謂過(guò)擬合就是所建的模型在訓(xùn)練樣本中表現(xiàn)得過(guò)于優(yōu)越，而在測(cè)試數(shù)據(jù)集中表現(xiàn)不佳。那既然死死的一個(gè)神經(jīng)網(wǎng)絡(luò)可能被過(guò)度訓(xùn)練，我們能不能每次訓(xùn)練時(shí)，隨機(jī)挑選一部分參數(shù)來(lái)構(gòu)成一個(gè)子網(wǎng)，將這個(gè)子網(wǎng)絡(luò)作為此次訓(xùn)練更新的目標(biāo)網(wǎng)絡(luò)。馬克-to-win @ 馬克java社區(qū)：下次挑選另外一批參數(shù)構(gòu)成子網(wǎng)來(lái)訓(xùn)練。這樣就避免了原來(lái)的整個(gè)單一網(wǎng)絡(luò)被過(guò)分?jǐn)M合到訓(xùn)練集。從現(xiàn)實(shí)來(lái)看，概率上來(lái)講，這種方法卓有成效。原因可從概率論來(lái)分析，但是凡是概率，都不是很好直接驗(yàn)證。大學(xué)學(xué)概率就這種感覺(jué)。網(wǎng)上有人居然用生物學(xué)來(lái)分析，大家可參考。