激活函数-SwiGLU
SwiGLU
SiLU 函数是一种神经网络中的激活函数，全称是 Sigmoid Gated Linear Unit（Sigmoid门控线性单元）, 也被称为 Swish 函数。它由 Google Brain 在 2017 年提出，是一种非线性激活函数，能够有效地对神经网络的输入进行非线性变换。
定义
f ( x ) = x ∗ σ ( x ) f(x) = x * \sigma (x) f(x)=x∗σ(x)
其中： σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+e−x1
SiLU 函数的特点如下：
- 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
- 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
- SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
- SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重
图形如下
pytorch SILU用示例
m = nn.SiLU()
input = torch.randn(2)
output = m(input)
参考文献：
Prajit Ramachandran, Barret Zoph, and Quoc V Le. Searching for activation functions. arXiv preprint
arXiv:1710.05941, 2017.
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
18
0- 0
已为社区贡献1条内容
所有评论(0)