本文转载自大众号“读芯术”(ID：AI_Discovery)。

神经网络和深度学习中的激活函数在激起躲藏节点以发生更抱负的输出方面起着重要作用，激活函数的首要意图是将非线性特性引进模型。

在人工神经网络中，给定一个输入或一组输入，节点的激活函数界说该节点的输出。能够将规范集成电路视为激活功用的控制器，依据输入的不同，激活功用能够“翻开”(ON)或“封闭(OFF)”。

图1：Sigmoid;图2：tanh

Sigmoid和tanh是单调、可微的激活函数，在RELU呈现前比较盛行。但是，跟着时刻的推移，这些函数会饱满，导致梯度消失。另一种常用的激活函数能够处理这一问题：直线批改单元(ReLU)。

上图中，蓝线表明直线单元(ReLU)，而绿线是ReLU的变体，称为Softplus。ReLU的其他变体包含LeakyReLU、ELU、SiLU等，用于进步某些使命的功用。

本文只考虑直线单元(ReLU)。因为默许情况下，它仍然是履行大多数深度学习使命最常用的激活函数。在用于特定意图时，其变体可能有细微的优势。

在2000年， Hahnloser等人初次将具有很强的生物学动机和数学证明的激活函数引进到一个动态网络。比较于2011年之前广泛运用的激活函数，如logistic sigmoid(创意来自于概率理论和logistic回归)及其更有用的tanh(对应函数双曲正切)比较，这初次证明了该函数能够更好地练习更深层次的网络。

截止2017年，整流器是深度神经网络中最受欢迎的激活函数。选用整流器的单元也称为整流线性单元(ReLU)。

RELU的最大问题是在点0处是不行微。而研究人员倾向于运用sigmoid和tanh这种可微函数。但是在0点可微究竟是特殊情况，所以到目前为止，ReLU仍是深度学习的最佳激活功用，需求的核算量是十分小，核算速度却很快。

在除0以外的一切点上，ReLU激活函数上都是可微的。关于大于0的值，仅考虑函数的最大值。能够这样写：

f(x)=max{0,z}

简略来说，也能够这样：

ifinput>0:returninputelse:return0

一切负数默许为0，并考虑正数的最大值。

关于神经网络的反向传达核算而言，ReLU的判别相对简略。仅有要做的假设是，在点0处的导数也被以为是0。这一般问题不大，并且在大多数情况下都ok。函数的导数便是斜率的值。负值的斜率是0.0，正值的斜率是1.0。

ReLU激活函数的首要长处是：

• 卷积层和深度学习：它们是卷积层和深度学习模型练习中最常用的激活函数。
• 核算简略：整流函数完成起来很简略，只需求一个max()函数。
• 代表性稀少性：整流器函数的一个重要长处是它能够输出一个真实的零值。
• 线性行为：当神经网络的行为是线性或挨近线性时，它更简略被优化。

但是，通过RELU单元的首要问题是一切的负值会当即变为0，这降低了模型对数据正确拟合或练习的才能。

这意味着任何给ReLU激活函数的负输入都会当行将图中的值变为0。因为没有适当地映射负值，这反过来会影响成果图。不过，运用ReLU激活函数的不同变体(如LeakyReLU和前面评论的其他函数)，能够轻松处理这个问题。

这是一个简略的介绍，帮你在深度学习技能年代了解整流线性单元及其重要性。究竟，它比一切其他激活函数更受欢迎肯定是有原因的。