[版权说明]

TensorFlow 学习笔记参考： 
李嘉璇 著 TensorFlow技术解析与实战
黄文坚 唐源 著 TensorFlow实战郑泽宇 
顾思宇 著 TensorFlow实战Google深度学习框架
乐毅 王斌 著 深度学习-Caffe之经典模型详解与实战
TensorFlow中文社区 http://www.tensorfly.cn/
极客学院 著 TensorFlow官方文档中文版
TensorFlow官方文档英文版
以及各位大大的CSDN博客和Github等等...希望本系列博文没有侵犯版权！（若侵权，请联系我，邮箱：1511082629@nbu.edu.cn ） 

欢迎大家转载分享，会不定期更新。鉴于博主本人水平有限，如有问题。恳请批评指正！

激活函数（Activation Function）运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。

神经网络的数学基础是处处可微的，所以选取激活函数要保证数据输入与输出也是可微的。TensorFlow中提供哪些激活函数的API。

激活函数不会改变数据的维度，也就是输入和输出的维度是相同的。TensorFlow中有如下激活函数：

1. sigmoid 函数

{\displaystyle S(x)={\frac {1}{1+e^{-x}}}.}

优点：它输出映射在(0,1)内，单调连续，非常适合用作输出层，并且求导比较容易；

缺点：具有软饱和性，一旦输入落入饱和区，一阶导数就变得接近于0，很容易产生梯度消失。

饱和性：当|x|>c时，其中c为某常数，此时一阶导数等于0，通俗的说一阶导数就是上图中的斜率，函数越来越水平。

2. tanh函数

tanh也是传统神经网络中比较常用的激活函数，公式和函数图像如下：

tanh函数也具有软饱和性。因为它的输出是以0为中心，收敛速度比sigmoid函数要快。但是仍然无法解决梯度消失问题。

3. relu 函数

4. softplus 函数

5. leakrelu 函数

6. ELU 函数