From 66b0bdb8320cb162b830f397384d86ad638d450d Mon Sep 17 00:00:00 2001
From: zeek <984294471@qq.com>
Date: Sat, 25 Apr 2020 20:00:55 +0800
Subject: [PATCH] =?UTF-8?q?=E8=B7=9F=E6=96=B0=E5=9B=BE=E7=89=87=E9=93=BE?=
=?UTF-8?q?=E6=8E=A5?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
basic/deep_basic.md | 11 ++++++-----
basic/deep_learn.md | 2 +-
basic/evaluation.md | 41 ++++++++++++++++++++---------------------
basic/math_basis.md | 15 +++++++--------
4 files changed, 34 insertions(+), 35 deletions(-)
diff --git a/basic/deep_basic.md b/basic/deep_basic.md
index a2f6c4b..b648e2a 100644
--- a/basic/deep_basic.md
+++ b/basic/deep_basic.md
@@ -7,28 +7,29 @@
#### 1. sigmoid函数
函数的定义$$ f(x) = \frac{1}{1 + e^{-x}} $$，其值域为 $$ (0,1) $$。 函数图像
-
+
#### 2. tanh激活函数
函数的定义为：$$ f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$，值域为 $$ (-1,1) $$。函数图像
-
+
#### 3. Relu激活函数
函数的定义为：$$ f(x) = max(0, x) $$ ，值域为 $$ [0,+∞) $$；函数图像
-
+
#### 4. Leak Relu激活函数
函数定义为： $$ f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right. $$，值域为 $$ (-∞,+∞) $$。图像如下（$$ a = 0.5 $$）：
-
+
#### 5. SolftPlus 激活函数
函数的定义为：$$ f(x) = ln( 1 + e^x) $$，值域为 $$ (0,+∞) $$。图像如下
-
+
#### 6. softmax激活函数
函数定义为： $$ \sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}} $$。
Softmax 多用于多分类神经网络输出。
+
diff --git a/basic/deep_learn.md b/basic/deep_learn.md
index b9ef949..3a74936 100644
--- a/basic/deep_learn.md
+++ b/basic/deep_learn.md
@@ -18,7 +18,7 @@
在人类看来，对图片进行局部调整可能并会不影响对图的判断。然而，深度网络不仅对标准对抗攻击敏感，而且对环境的变化也会敏感。
下图显示了在一张丛林猴子的照片中PS上一把吉他的效果。这导致深度网络将猴子误认为人类，同时将吉他误认为鸟，大概是因为它认为
人类比猴子更可能携带吉他，而鸟类比吉他更可能出现在附近的丛林中。
-
+
图：添加遮蔽体会导致深度网络失效。左：用摩托车进行遮挡后，猴子被识别为人类。中：用自行车进行遮挡后，猴子被识别为人类，同
时丛林背景导致自行车把手被误认为是鸟。右：用吉他进行遮挡后，猴子被识别为人类，而丛林把吉他变成了鸟.
diff --git a/basic/evaluation.md b/basic/evaluation.md
index d354979..8ee3022 100644
--- a/basic/evaluation.md
+++ b/basic/evaluation.md
@@ -8,14 +8,14 @@
交叉验证法(cross validation)先将数据集D划分为k个大小相似的互斥子集。即有：$$D=D1∪D2∪...∪Dk,Di∩Dj=∅$$
每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集
作为测试集，这样就可以获得k组训练/测试集。从而可以进行k次训练与测试，最终返回的是这k个测试结果的均值。
-
+
缺陷：数据集较大时，计算开销。同时留一法的估计结果也未必比其他评估方法准确。
## 自助法
简单的说，它从数据集D中每次随机取出一个样本，将其拷贝一份放入新的采样数据集D′,样本放回原数据集中，重复这个过程m次，就得
到了同样包含m个样本的数据集D′,显然D中会有一部分数据会在D′中重复出现。样本在m次采样中始终不被采样到的概率是
-,取极限得到：
-
+,取极限得到：
+
即通过自助法，初始数据集中约有36.8%样本未出现在采样数据集D′中。可将D′作为训练集，D\D′作为测试集，(\表示集合的减法)。保
证了实际评估的模型与期望评估的模型都是用m个训练样本，而有数据总量约1/3的、没在训练集中出过的样本用于测试，这样的测试结
果，也叫做”包外估计”(out-of-bagestimate).
@@ -29,45 +29,45 @@
# 性能度量
在预测任务中，给定样本集
-
+
其中，yi是示例xi的真实标记。回归任务中最常用的性能度量是均方误差(mean squeared error),f(x)是机器学习预测结果
-
+
更一般的形式(数据分布D，概率密度函数p(x))
-
+
## 错误率和精度
错误率的定义：
-
+
更一般的定义：
-
+
精度的定义：
-
+
更一般的定义:
-
+
## 查准率、查全率与F1
下表是二分类结果混淆矩阵，将判断结果分为四个类别，真正例（TP）、假正例（FP）、假反例（FN）、真反例（TN）。
-
+
查准率：【真正例样本数】与【预测结果是正例的样本数】的比值。
查全率：【真正例样本数】与【真实情况是正例的样本数】的比值。
-
+
- 当曲线没有交叉的时候：外侧曲线的学习器性能优于内侧；
- 当曲线有交叉的时候：
- 第一种方法是比较曲线下面积，但值不太容易估算；
- 第二种方法是比较两条曲线的平衡点，平衡点是“查准率=查全率”时的取值，在图中表示为曲线和对角线的交点。平衡点在外侧的
曲线的学习器性能优于内侧。
- 第三种方法是F1度量和Fβ度量。F1是基于查准率与查全率的调和平均定义的，Fβ则是加权调和平均。
- 
- 
+ 
+ 
## ROC与AUC
ROC曲线便是从这个角度出发来研究学习器泛化性能的有力工具。
与P-R曲线使用查准率、查全率为横纵轴不同，ROC的纵轴是”真正样例（True Positive Rate，简称TPR）”，横轴是“假正例率（False
Positive Rate，简称FPR），两者分别定义为
-
+
显示ROC的曲线图称为“ROC图”
-
+
进行学习器比较时，与P-R如相似，若一个学习器的ROC曲线被另一个学习器的曲线“包住”，则可断言后者的性能优于前者；若两个学习
器的ROC曲线发生交叉，则难以一般性的断言两者孰优孰劣。此时如果一定要进行比较，则较为合理的判断是比较ROC曲线下的面积，
即AUC（Area Under ROC Curve）。
@@ -77,14 +77,13 @@ Positive Rate，简称FPR），两者分别定义为
## 代价敏感错误率与代价曲线
在现实任务中会遇到这样的情况：不同类型错误所造成的后果不同。以二分类任务为例，我们可根据任务领域知识设定一个“代价矩阵”，
如下图所示，
-
+
在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线（cost curve）”则可达到目的。代价曲线图的横轴是取
值为[0，1]的正例概率代价，
-
+
纵轴是取值为[0，1]的归一化代价
-
+
画图表示如下图所示
-
+
-# 比较检验
diff --git a/basic/math_basis.md b/basic/math_basis.md
index 1303b66..4e3f889 100644
--- a/basic/math_basis.md
+++ b/basic/math_basis.md
@@ -18,13 +18,13 @@
[https://zhuanlan.zhihu.com/p/26306568 ](https://zhuanlan.zhihu.com/p/26306568)
## 常见概率分布
-
-
-
-
-
-
-
+
+
+
+
+
+
+
## 数值计算
@@ -40,4 +40,3 @@
1. [https://www.jiqizhixin.com/articles/2018-01-09-6 ](https://www.jiqizhixin.com/articles/2018-01-09-6)
-