激活函数

PyTorch中常用的激活函数的方法示例

神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。 但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。