deep-learn/ml
Archived
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity
This repository has been archived on 2020-04-25. You can view files and clone it, but cannot push or open issues or pull requests.
27d810c64d
ml/regression
History
zeek 27d810c64d 迁移仓库
2020-02-23 22:14:06 +08:00
..
lego 迁移仓库 2020-02-23 22:14:06 +08:00
abalone.py 迁移仓库 2020-02-23 22:14:06 +08:00
abalone.txt 迁移仓库 2020-02-23 22:14:06 +08:00
ex0.txt 迁移仓库 2020-02-23 22:14:06 +08:00
lego.py 迁移仓库 2020-02-23 22:14:06 +08:00
log_regres.py 迁移仓库 2020-02-23 22:14:06 +08:00
multiple.csv 迁移仓库 2020-02-23 22:14:06 +08:00
multipleDummy.csv 迁移仓库 2020-02-23 22:14:06 +08:00
MultipleRegDelvery.py 迁移仓库 2020-02-23 22:14:06 +08:00
MultipleRegDelveryExample.py 迁移仓库 2020-02-23 22:14:06 +08:00
README.md 迁移仓库 2020-02-23 22:14:06 +08:00
regression_old.py 迁移仓库 2020-02-23 22:14:06 +08:00
regression.py 迁移仓库 2020-02-23 22:14:06 +08:00
SimpleLinearRegression.py 迁移仓库 2020-02-23 22:14:06 +08:00
testSet.txt 迁移仓库 2020-02-23 22:14:06 +08:00
线性模型.md 迁移仓库 2020-02-23 22:14:06 +08:00

README.md

回归问题

线性回归

统计量：描述数据特征

集中趋势衡量

  • 均值（平均数、平均值）
  • 中位数：排序，求中间数
  • 众数：出现次数最多的数

离散程度衡量

  • 方差
  • 标准差

简单线性回归

  • 一个字变量、一个应变量

非线性回归

  • 概率

逻辑回归

激活函数

Sigmoid函数

Sigmoid函数的定义: Sigmoid函数 ;导数为: sigmoid函数导数

梯度上升算法

梯度上升算法

此式便是梯度上升算法的更新规则，α是学习率，决定了梯度上升的快慢。可以看到与线性回归类似，只是增加了特征到结果 的映射函数。

梯度下降算法

非线性回归问题

回归中的相关度和决定系数

皮尔逊相关系数（Pearson Correlation Coefficient）

  1. 衡量两个值线性相关强度的量
  2. 取值范围:[-1,1]:正向相关：大于0，负向相关：小于 0,无相关性：=0

计算公式

R平方值

  1. 决定系数，反应因变量的全部变异能通过回归关系被自变量解释的比例
  2. 如R平方为0.8，则表示回归关系可以解释因变量80%的变异；即如果自变量不变，则因变量的变异程度会减少80%
  3. 简单线性回归：R^2=r*r

ss 多元线性回归

R平方局限性

R平方随着自变量的增大会变大，R平方和样本量是有关系的。所以，需要对R平方进行修正，修正方法为：

R平方局限性