在神经网络中，激活函数确定给定输入集的节点输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如大多数神经网络通过某种形式的梯度下降进行了优化一样，激活函数也必须是可微的（或至少几乎是完全可微的）。另外，复杂的激活函数可能会导致梯度消失或爆炸的一些问题。因此，神经网络倾向于部署几个特定的激活函数（意识形态，S型，ReLU及其变体）。下面是26个激活函数及其一阶导数的图表。图的右侧是与神经网络有关的一些属性。 1.阶跃激活功能阶跃是理论上的，而不是实际的。它模仿了生物神经元的全有或全无的特性。它不能应用于神经网络，因为其导数为0（零点导数（未定义）除外），这意味着基于梯度的优化方法不可行。 2.通过激活功能IdenTIty的IdenTIty，节点的输入等于输出。对于基本行为是线性的（类似于线性回归）的任务，它是完美的选择。当存在非线性时，仅使用激活函数是不够的，但仍可以将其用作最终输出节点上的激活函数以执行回归任务。