一、 中科院-正则化

logistic回归模型

我们对图1a所示的数据采用简化的线性logistic回归模型进行两分类，即

（1） 考虑一个正则化的方法，即最大化

注意只有w2被惩罚。则当C很大时，如图1(b)所示的4个决策边界中，哪条线可能是有该正则方法得到的？L2、L3和L4 可以通过正则w2得到吗？

（1）答案：

L2不可以。当正则w2时，决策边界对x2的依赖越少，因此决策边界变得更垂直。而图中的L2看起来不正则的结果更水平，因此不可能为惩罚w2得到；

L3可以。w2^2相对w1^2更小（表现为斜率更大），虽然该决策对训练数据的log概率变小（有被错分的样本）；

L4不可以，当C足够大时，我们会得到完成垂直的决策边界（线x1 = 0或x2轴）L4跑到了x2轴的另一边使得其结果比其对边的结果更差。当中等程度的正则时，我们会得到最佳的结果（w2较小）。图中L4不是最佳结果，因此不可能为惩罚w2得到。

（1）解析：

变量与某项越无关，分类边界会越平行与某项

我们 假设o是好学生，+是坏学生，x1代表游戏水平，x2代表学习水平

我们可以简单的画出一条线，将两类学生分开，这条线平行于x1我们得到结论

变量与某项越无关，分类边界会越平行与某项

L2

对于图中的L2，我们发现它比不加正则的L1还要水平，顾不可能

L4

对于L4来说，它可以为x2轴，当正则C过大时，但是L4的分类效果没有X2轴好，同时又没有X2的正则力度大，顾不可能

L3

可能