ml/basic/deep_basic.md

# 深度学习基础

## 激活函数

### 常见的激活函数

#### 1. sigmoid函数
函数的定义$$ f(x) = \frac{1}{1 + e^{-x}} $$，其值域为 $$ (0,1) $$。 函数图像

![图像](https://img.zeekling.cn/images/2020/04/25/13354d2c03c7a7c775dd1e0acbf0c9df.png)

#### 2. tanh激活函数
函数的定义为：$$ f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$，值域为 $$ (-1,1) $$。函数图像

![pic](https://img.zeekling.cn/images/2020/04/25/79c22aa14fb2b336696b6658fff87708.png)

#### 3. Relu激活函数
函数的定义为：$$ f(x) = max(0, x) $$ ，值域为 $$ [0,+∞) $$；函数图像

![pic](https://img.zeekling.cn/images/2020/04/25/2ba84d3c3a88ae72d8d0c9221c30ff01.png)

#### 4. Leak Relu激活函数
函数定义为： $$ f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right. $$，值域为 $$ (-∞,+∞) $$。图像如下（$$ a = 0.5 $$）：

![pic](https://img.zeekling.cn/images/2020/04/25/545a4a82b1d5096578f13a0df355543c.png)

#### 5. SolftPlus 激活函数
函数的定义为：$$ f(x) = ln( 1 + e^x) $$，值域为 $$ (0,+∞) $$。图像如下

![pic](https://img.zeekling.cn/images/2020/04/25/4e7a0cc8ce6550b3adcf6c235d6da2e4.png)

#### 6. softmax激活函数
函数定义为： $$ \sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}} $$。
Softmax 多用于多分类神经网络输出。