这些层实现了高级激活函数,这些函数无法作为简单的底层后端函数实现。它们的操作类似于我们在核心层部分中介绍的 Activation() 层:
Activation()
LeakyReLU
ReLU
PReLU
ELU
ThresholdedReLU