A.用Sigmoid激活函數(shù)時(shí)，如果權(quán)重初始化較大或較小時(shí)，容易出現(xiàn)梯度飽和梯度消失，可選用Tanh函數(shù)改進(jìn)
B．批規(guī)范化（batch
B.與Sigmoid函數(shù)相比，Relu較不容易使網(wǎng)絡(luò)產(chǎn)生梯度消失
D．梯度下降法實(shí)現(xiàn)簡單，當(dāng)目標(biāo)函數(shù)是凸函數(shù)時(shí)，可基于二階收斂快速到達(dá)目標(biāo)值