36 lines
1.3 KiB
Markdown
36 lines
1.3 KiB
Markdown
# 深度学习基础
|
||
|
||
## 激活函数
|
||
|
||
### 常见的激活函数
|
||
|
||
#### 1. sigmoid函数
|
||
函数的定义$$ f(x) = \frac{1}{1 + e^{-x}} $$，其值域为 $$ (0,1) $$。 函数图像
|
||
|
||
|
||
|
||
#### 2. tanh激活函数
|
||
函数的定义为：$$ f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$，值域为 $$ (-1,1) $$。函数图像
|
||
|
||
|
||
|
||
#### 3. Relu激活函数
|
||
函数的定义为：$$ f(x) = max(0, x) $$ ，值域为 $$ [0,+∞) $$；函数图像
|
||
|
||
|
||
|
||
#### 4. Leak Relu激活函数
|
||
函数定义为： $$ f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right. $$，值域为 $$ (-∞,+∞) $$。图像如下（$$ a = 0.5 $$）：
|
||
|
||
|
||
|
||
#### 5. SolftPlus 激活函数
|
||
函数的定义为：$$ f(x) = ln( 1 + e^x) $$，值域为 $$ (0,+∞) $$。图像如下
|
||
|
||
|
||
|
||
#### 6. softmax激活函数
|
||
函数定义为： $$ \sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}} $$。
|
||
Softmax 多用于多分类神经网络输出。
|
||
|