dropout到底在干什么？

馬克-to-win @ 馬克java社區(qū)：防盜版實(shí)名手機(jī)尾號：73203。我們用dropout主要是為了防止CNN過擬合。所謂過擬合就是所建的模型在訓(xùn)練樣本中表現(xiàn)得過于優(yōu)越，而在測試數(shù)據(jù)集中表現(xiàn)不佳。那既然死死的一個神經(jīng)網(wǎng)絡(luò)可能被過度訓(xùn)練，我們能不能每次訓(xùn)練時，隨機(jī)挑選一部分參數(shù)來構(gòu)成一個子網(wǎng)，將這個子網(wǎng)絡(luò)作為此次訓(xùn)練更新的目標(biāo)網(wǎng)絡(luò)。馬克-to-win @ 馬克java社區(qū)：下次挑選另外一批參數(shù)構(gòu)成子網(wǎng)來訓(xùn)練。這樣就避免了原來的整個單一網(wǎng)絡(luò)被過分?jǐn)M合到訓(xùn)練集。從現(xiàn)實(shí)來看，概率上來講，這種方法卓有成效。原因可從概率論來分析，但是凡是概率，都不是很好直接驗(yàn)證。大學(xué)學(xué)概率就這種感覺。網(wǎng)上有人居然用生物學(xué)來分析，大家可參考。