Linear Regression线性回归
  cuVcOEAtsyW5 2023年11月02日 79 0


​Welcome To My Blog​

Linear Regression

线性回归(Linear Regression)是一种线性模型(linear model),它将各个特征进行线性组合,实现对新输入的预测
线性回归可解释性很强,因为特征对应的权值大小直接衡量了这个特征的重要性

表示形式

设每个输入x_i都有m个特征,每个特征x_ij对应一个权值w_j

对于一个输入

Linear Regression线性回归_线性回归


现有训练集T={(x1,y1),(x2,y2),…,(xN,yN)},(xi和yi的取值范围视具体情况决定),则线性回归的形式为:

Linear Regression线性回归_线性回归_02

属性值离散

像高度,质量,速度这种属性值连续的变量,直接把其数值赋给对应的x即可
对于属性值是离散的情况
+ 如果属性的各个取值有某种顺序,也就是存在序(order)关系,那么可以通过连续化将其转化为连续值,例如高度不取连续值而是用低,中,高这三个离散值表示时,可以按低=1,中=2,高=3处理
+ 如果属性的各个取值见不存在序关系,则将其转化为向量形式,比如one-hot形式,以花的颜色为例,取值为红,黄,蓝,可以将取值编码为红=(1,0,0),黄=(0,1,0),蓝=(0,0,1)

目标函数

均方误差有很好的几何含义,它表示的是欧式距离(Euclidean distance),基于均方误差最小化来进行模型求解的方差称为”最小二乘法”(least square method).在线性回归中,最小二乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小

Linear Regression线性回归_属性值_03


L(w,b)分别对w,b求偏导,并令偏导为0可得到w,b的解析解,关于求导细节,可以看​​矩阵求导​

Linear Regression线性回归_属性值_04


参考:

周志华,机器学习


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
cuVcOEAtsyW5
最新推荐 更多