ml/regression/README.md

## 回归问题

## 线性回归
### 统计量：描述数据特征
#### 集中趋势衡量
- 均值（平均数、平均值）
- 中位数：排序，求中间数
- 众数：出现次数最多的数

#### 离散程度衡量
- 方差
- 标准差

### 简单线性回归
- 一个字变量、一个应变量

### 非线性回归
- 概率

## 逻辑回归
### 激活函数
#### Sigmoid函数
Sigmoid函数的定义:
![Sigmoid函数](http://index.zeekling.cn/gogsPics/ml/regression/0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg)
;导数为:
![sigmoid函数导数](http://index.zeekling.cn/gogsPics/ml/regression/64380cd7912397dde41ab3095182b2b7d0a2875f.jpg)

### 梯度上升算法
![梯度上升算法](http://index.zeekling.cn/gogsPics/ml/regression/20170415112712137.png)

此式便是梯度上升算法的更新规则，α是学习率，决定了梯度上升的快慢。可以看到与线性回归类似，只是增加了特征到结果
的映射函数。

### 梯度下降算法


### 非线性回归问题



### 回归中的相关度和决定系数

#### 皮尔逊相关系数（Pearson Correlation Coefficient）

1. 衡量两个值线性相关强度的量
2. 取值范围:[-1,1]:正向相关：大于0，负向相关：小于 0,无相关性：=0

![计算公式](http://index.zeekling.cn/data/Pictures/gogs/ml/regression/20171113155730874.jpeg)

#### R平方值

1. 决定系数，反应因变量的全部变异能通过回归关系被自变量解释的比例
2. 如R平方为0.8，则表示回归关系可以解释因变量80%的变异；即如果自变量不变，则因变量的变异程度会减少80%
3. 简单线性回归：R^2=r*r

![ss](http://index.zeekling.cn/data/Pictures/gogs/ml/regression/20171113155750424.jpeg)
![多元线性回归](http://index.zeekling.cn/data/Pictures/gogs/ml/regression/20171113155802833.jpeg)

##### R平方局限性
R平方随着自变量的增大会变大，R平方和样本量是有关系的。所以，需要对R平方进行修正，修正方法为：

![R平方局限性](http://index.zeekling.cn/data/Pictures/gogs/ml/regression/20171113155817281.jpeg)