跟新图片链接
This commit is contained in:
zeek
parent
635ca681e1
commit
66b0bdb832
@ -7,28 +7,29 @@
|
|||||||
#### 1. sigmoid函数
|
#### 1. sigmoid函数
|
||||||
函数的定义$$ f(x) = \frac{1}{1 + e^{-x}} $$，其值域为 $$ (0,1) $$。 函数图像
|
函数的定义$$ f(x) = \frac{1}{1 + e^{-x}} $$，其值域为 $$ (0,1) $$。 函数图像
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### 2. tanh激活函数
|
#### 2. tanh激活函数
|
||||||
函数的定义为：$$ f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$，值域为 $$ (-1,1) $$。函数图像
|
函数的定义为：$$ f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$，值域为 $$ (-1,1) $$。函数图像
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### 3. Relu激活函数
|
#### 3. Relu激活函数
|
||||||
函数的定义为：$$ f(x) = max(0, x) $$ ，值域为 $$ [0,+∞) $$；函数图像
|
函数的定义为：$$ f(x) = max(0, x) $$ ，值域为 $$ [0,+∞) $$；函数图像
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### 4. Leak Relu激活函数
|
#### 4. Leak Relu激活函数
|
||||||
函数定义为： $$ f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right. $$，值域为 $$ (-∞,+∞) $$。图像如下（$$ a = 0.5 $$）：
|
函数定义为： $$ f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right. $$，值域为 $$ (-∞,+∞) $$。图像如下（$$ a = 0.5 $$）：
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### 5. SolftPlus 激活函数
|
#### 5. SolftPlus 激活函数
|
||||||
函数的定义为：$$ f(x) = ln( 1 + e^x) $$，值域为 $$ (0,+∞) $$。图像如下
|
函数的定义为：$$ f(x) = ln( 1 + e^x) $$，值域为 $$ (0,+∞) $$。图像如下
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### 6. softmax激活函数
|
#### 6. softmax激活函数
|
||||||
函数定义为： $$ \sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}} $$。
|
函数定义为： $$ \sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}} $$。
|
||||||
Softmax 多用于多分类神经网络输出。
|
Softmax 多用于多分类神经网络输出。
|
||||||
|
|
||||||
|
|||||||
@ -18,7 +18,7 @@
|
|||||||
在人类看来，对图片进行局部调整可能并会不影响对图的判断。然而，深度网络不仅对标准对抗攻击敏感，而且对环境的变化也会敏感。
|
在人类看来，对图片进行局部调整可能并会不影响对图的判断。然而，深度网络不仅对标准对抗攻击敏感，而且对环境的变化也会敏感。
|
||||||
下图显示了在一张丛林猴子的照片中PS上一把吉他的效果。这导致深度网络将猴子误认为人类，同时将吉他误认为鸟，大概是因为它认为
|
下图显示了在一张丛林猴子的照片中PS上一把吉他的效果。这导致深度网络将猴子误认为人类，同时将吉他误认为鸟，大概是因为它认为
|
||||||
人类比猴子更可能携带吉他，而鸟类比吉他更可能出现在附近的丛林中。
|
人类比猴子更可能携带吉他，而鸟类比吉他更可能出现在附近的丛林中。
|
||||||
|
|
||||||
|
|
||||||
图：添加遮蔽体会导致深度网络失效。左：用摩托车进行遮挡后，猴子被识别为人类。中：用自行车进行遮挡后，猴子被识别为人类，同
|
图：添加遮蔽体会导致深度网络失效。左：用摩托车进行遮挡后，猴子被识别为人类。中：用自行车进行遮挡后，猴子被识别为人类，同
|
||||||
时丛林背景导致自行车把手被误认为是鸟。右：用吉他进行遮挡后，猴子被识别为人类，而丛林把吉他变成了鸟.
|
时丛林背景导致自行车把手被误认为是鸟。右：用吉他进行遮挡后，猴子被识别为人类，而丛林把吉他变成了鸟.
|
||||||
|
|||||||
@ -8,14 +8,14 @@
|
|||||||
交叉验证法(cross validation)先将数据集D划分为k个大小相似的互斥子集。即有：$$D=D1∪D2∪...∪Dk,Di∩Dj=∅$$
|
交叉验证法(cross validation)先将数据集D划分为k个大小相似的互斥子集。即有：$$D=D1∪D2∪...∪Dk,Di∩Dj=∅$$
|
||||||
每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集
|
每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集
|
||||||
作为测试集，这样就可以获得k组训练/测试集。从而可以进行k次训练与测试，最终返回的是这k个测试结果的均值。<br>
|
作为测试集，这样就可以获得k组训练/测试集。从而可以进行k次训练与测试，最终返回的是这k个测试结果的均值。<br>
|
||||||
 <br>
|
 <br>
|
||||||
缺陷：数据集较大时，计算开销。同时留一法的估计结果也未必比其他评估方法准确。
|
缺陷：数据集较大时，计算开销。同时留一法的估计结果也未必比其他评估方法准确。
|
||||||
|
|
||||||
## 自助法
|
## 自助法
|
||||||
简单的说，它从数据集D中每次随机取出一个样本，将其拷贝一份放入新的采样数据集D′,样本放回原数据集中，重复这个过程m次，就得
|
简单的说，它从数据集D中每次随机取出一个样本，将其拷贝一份放入新的采样数据集D′,样本放回原数据集中，重复这个过程m次，就得
|
||||||
到了同样包含m个样本的数据集D′,显然D中会有一部分数据会在D′中重复出现。样本在m次采样中始终不被采样到的概率是
|
到了同样包含m个样本的数据集D′,显然D中会有一部分数据会在D′中重复出现。样本在m次采样中始终不被采样到的概率是
|
||||||
,取极限得到：<br>
|
,取极限得到：<br>
|
||||||
 <br>
|
 <br>
|
||||||
即通过自助法，初始数据集中约有36.8%样本未出现在采样数据集D′中。可将D′作为训练集，D\D′作为测试集，(\表示集合的减法)。保
|
即通过自助法，初始数据集中约有36.8%样本未出现在采样数据集D′中。可将D′作为训练集，D\D′作为测试集，(\表示集合的减法)。保
|
||||||
证了实际评估的模型与期望评估的模型都是用m个训练样本，而有数据总量约1/3的、没在训练集中出过的样本用于测试，这样的测试结
|
证了实际评估的模型与期望评估的模型都是用m个训练样本，而有数据总量约1/3的、没在训练集中出过的样本用于测试，这样的测试结
|
||||||
果，也叫做”包外估计”(out-of-bagestimate).
|
果，也叫做”包外估计”(out-of-bagestimate).
|
||||||
@ -29,45 +29,45 @@
|
|||||||
|
|
||||||
# 性能度量
|
# 性能度量
|
||||||
在预测任务中，给定样本集
|
在预测任务中，给定样本集
|
||||||
|
|
||||||
其中，yi是示例xi的真实标记。回归任务中最常用的性能度量是均方误差(mean squeared error),f(x)是机器学习预测结果<br>
|
其中，yi是示例xi的真实标记。回归任务中最常用的性能度量是均方误差(mean squeared error),f(x)是机器学习预测结果<br>
|
||||||
<br>
|
<br>
|
||||||
更一般的形式(数据分布D，概率密度函数p(x))<br>
|
更一般的形式(数据分布D，概率密度函数p(x))<br>
|
||||||
|
|
||||||
|
|
||||||
## 错误率和精度
|
## 错误率和精度
|
||||||
错误率的定义：<br>
|
错误率的定义：<br>
|
||||||
<br>
|
<br>
|
||||||
更一般的定义：<br>
|
更一般的定义：<br>
|
||||||
<br>
|
<br>
|
||||||
精度的定义：<br>
|
精度的定义：<br>
|
||||||
<br>
|
<br>
|
||||||
更一般的定义:<br>
|
更一般的定义:<br>
|
||||||
|
|
||||||
|
|
||||||
## 查准率、查全率与F1
|
## 查准率、查全率与F1
|
||||||
下表是二分类结果混淆矩阵，将判断结果分为四个类别，真正例（TP）、假正例（FP）、假反例（FN）、真反例（TN）。<br>
|
下表是二分类结果混淆矩阵，将判断结果分为四个类别，真正例（TP）、假正例（FP）、假反例（FN）、真反例（TN）。<br>
|
||||||
 <br>
|
 <br>
|
||||||
查准率：【真正例样本数】与【预测结果是正例的样本数】的比值。<br>
|
查准率：【真正例样本数】与【预测结果是正例的样本数】的比值。<br>
|
||||||
查全率：【真正例样本数】与【真实情况是正例的样本数】的比值。 <br>
|
查全率：【真正例样本数】与【真实情况是正例的样本数】的比值。 <br>
|
||||||
 <br>
|
 <br>
|
||||||
- 当曲线没有交叉的时候：外侧曲线的学习器性能优于内侧；
|
- 当曲线没有交叉的时候：外侧曲线的学习器性能优于内侧；
|
||||||
- 当曲线有交叉的时候：
|
- 当曲线有交叉的时候：
|
||||||
- 第一种方法是比较曲线下面积，但值不太容易估算；
|
- 第一种方法是比较曲线下面积，但值不太容易估算；
|
||||||
- 第二种方法是比较两条曲线的平衡点，平衡点是“查准率=查全率”时的取值，在图中表示为曲线和对角线的交点。平衡点在外侧的
|
- 第二种方法是比较两条曲线的平衡点，平衡点是“查准率=查全率”时的取值，在图中表示为曲线和对角线的交点。平衡点在外侧的
|
||||||
曲线的学习器性能优于内侧。
|
曲线的学习器性能优于内侧。
|
||||||
- 第三种方法是F1度量和Fβ度量。F1是基于查准率与查全率的调和平均定义的，Fβ则是加权调和平均。<br>
|
- 第三种方法是F1度量和Fβ度量。F1是基于查准率与查全率的调和平均定义的，Fβ则是加权调和平均。<br>
|
||||||
<br>
|
<br>
|
||||||
<br>
|
<br>
|
||||||
|
|
||||||
|
|
||||||
## ROC与AUC
|
## ROC与AUC
|
||||||
ROC曲线便是从这个角度出发来研究学习器泛化性能的有力工具。<br>
|
ROC曲线便是从这个角度出发来研究学习器泛化性能的有力工具。<br>
|
||||||
与P-R曲线使用查准率、查全率为横纵轴不同，ROC的纵轴是”真正样例（True Positive Rate，简称TPR）”，横轴是“假正例率（False
|
与P-R曲线使用查准率、查全率为横纵轴不同，ROC的纵轴是”真正样例（True Positive Rate，简称TPR）”，横轴是“假正例率（False
|
||||||
Positive Rate，简称FPR），两者分别定义为<br>
|
Positive Rate，简称FPR），两者分别定义为<br>
|
||||||
 <br>
|
 <br>
|
||||||
显示ROC的曲线图称为“ROC图”<br>
|
显示ROC的曲线图称为“ROC图”<br>
|
||||||
<br>
|
<br>
|
||||||
进行学习器比较时，与P-R如相似，若一个学习器的ROC曲线被另一个学习器的曲线“包住”，则可断言后者的性能优于前者；若两个学习
|
进行学习器比较时，与P-R如相似，若一个学习器的ROC曲线被另一个学习器的曲线“包住”，则可断言后者的性能优于前者；若两个学习
|
||||||
器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则较为合理的判断是比较ROC曲线下的面积，
|
器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则较为合理的判断是比较ROC曲线下的面积，
|
||||||
即AUC（Area Under ROC Curve）。
|
即AUC（Area Under ROC Curve）。
|
||||||
@ -77,14 +77,13 @@ Positive Rate，简称FPR），两者分别定义为<br>
|
|||||||
## 代价敏感错误率与代价曲线
|
## 代价敏感错误率与代价曲线
|
||||||
在现实任务中会遇到这样的情况：不同类型错误所造成的后果不同。以二分类任务为例，我们可根据任务领域知识设定一个“代价矩阵”，
|
在现实任务中会遇到这样的情况：不同类型错误所造成的后果不同。以二分类任务为例，我们可根据任务领域知识设定一个“代价矩阵”，
|
||||||
如下图所示，<br>
|
如下图所示，<br>
|
||||||
 <br>
|
 <br>
|
||||||
在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线（cost curve）”则可达到目的。代价曲线图的横轴是取
|
在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线（cost curve）”则可达到目的。代价曲线图的横轴是取
|
||||||
值为[0，1]的正例概率代价，<br>
|
值为[0，1]的正例概率代价，<br>
|
||||||
 <br>
|
 <br>
|
||||||
纵轴是取值为[0，1]的归一化代价<br>
|
纵轴是取值为[0，1]的归一化代价<br>
|
||||||
 <br>
|
 <br>
|
||||||
画图表示如下图所示 <br>
|
画图表示如下图所示 <br>
|
||||||
 <br>
|
 <br>
|
||||||
|
|
||||||
# 比较检验
|
|
||||||
|
|
||||||
|
|||||||
@ -18,13 +18,13 @@
|
|||||||
[https://zhuanlan.zhihu.com/p/26306568 ](https://zhuanlan.zhihu.com/p/26306568)
|
[https://zhuanlan.zhihu.com/p/26306568 ](https://zhuanlan.zhihu.com/p/26306568)
|
||||||
|
|
||||||
## 常见概率分布
|
## 常见概率分布
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
## 数值计算
|
## 数值计算
|
||||||
|
|
||||||
@ -40,4 +40,3 @@
|
|||||||
1. [https://www.jiqizhixin.com/articles/2018-01-09-6 ](https://www.jiqizhixin.com/articles/2018-01-09-6)
|
1. [https://www.jiqizhixin.com/articles/2018-01-09-6 ](https://www.jiqizhixin.com/articles/2018-01-09-6)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user