拟牛顿法分析逻辑回归

草稿牛顿 method、牛顿 method、逻辑回归中的数据可以用什么方法调整？另外，由于不需要二阶导数的信息，拟牛顿方法有时比牛顿方法更有效。常用的准牛顿方法有DFP算法和BFGS算法，这里就不赘述了，quasi 牛顿 method的思路补充如下(从简单介绍发现作者的一个pptGBDT算法的原理和系统设计，从头回顾一波相关内容，写两篇记录，从根本上来说，GBDT和XGBoost最大的区别就是使用了不同的优化方法，所以我们先从优化方法上来回顾一下。优化问题通常分为两类:在机器学习中，典型的做法是选择合适的模型，通过优化使模型的损失函数最小化。

牛顿方法虽然收敛速度快，但是每次迭代过程中计算Hesse矩阵的逆相当复杂，特别是当矩阵维数较大时，于是有了逆牛顿方法，利用正定矩阵来近似Hesse矩阵的逆。拟牛顿法和梯度下降法。由于拟牛顿方法不需要二阶导数的信息，所以有时比牛顿方法更有效。常用的准牛顿方法有DFP算法和BFGS算法。这里就不赘述了。拟牛顿方法的思路补充如下(摘自1 。决策树方法决策树在解决分类和预测方面有很大的能力，这种能力是以规则的形式表现出来的，而这些规则又表现为一系列的问题，通过不断的提问，最终可以得出需要的结果。典型的决策树在顶部有一个树根，在底部有许多树叶。它将记录分解成不同的子集，每个子集中的字段可能包含一个简单的规则。此外，决策树可以具有不同的形状，例如二叉树、三叉树或混合决策树。

神经网络的学习方法主要表现在权值的修正上。其优点是抗干扰、非线性学习和联想记忆，对于复杂情况可以得到准确的预测结果；缺点:首先不适合处理高维变量，无法观察中间的学习过程，具有“黑箱”性质，输出结果难以解释；其次，需要很长的学习时间。神经网络方法主要用于数据挖掘中的聚类技术。

1、关于LogisticRegression对于线性可分的数据集的不收敛性的分析最近在练习斯坦福cs229的题目时，遇到了一个无法理解的情况:那就是面对线性可分的数据集时，LogisticRegression算法永远不会收敛。刚认识斯坦福的时候，我觉得斯坦福的话题真的不是盖的，所以很疑惑。看了各种google的帖子，文章，幻灯片，目前有一点了解，但还没有真正理解透彻。
【拟牛顿法分析逻辑回归】
2、机器学习的分类基于学习策略的分类学习策略是指系统在学习过程中采用的推理策略。学习系统总是由学习和环境组成。环境(如书籍或老师)提供信息，学习部分实现信息转换，以可理解的形式记忆，并从中获取有用的信息。在学习过程中，学生(学习部分)使用的推理越少，他对老师(环境)的依赖就越大，老师的负担就越重。学习策略的分类标准是根据推理的多少和学生实现信息转换的难易程度来分类的。顺应从简单到复杂，从少到多的顺序分为以下六种基本类型:1)死记硬背学习者直接吸收环境提供的信息，不经过任何推理或其他知识转换。

3、逻辑回归中可以用什么方法来调整数据?就像前面GLM用于数据-3一样，所有变量都可以用于建模，并不意味着所有变量都要用，因为变量越多越容易过拟合。因此，这里使用AIC来平衡模型的精度和过拟合问题，选择合适的变量进行建模。对这部分感兴趣的，也可以回头看看之前的文章。这里的重点还是放在分析和模型的改进上。最后的结果是选择年龄、学历、婚姻状况、健康状况来建模。

4、牛顿法,拟牛顿法,共轭梯度法各自的优缺点是什么? 牛顿方法需要函数的一阶和二阶导数信息，也就是说涉及到Hesse矩阵，包括矩阵求逆运算。虽然收敛速度快，但是运算量大。拟牛顿方法采用某种方法构造类似Hesse矩阵的正定矩阵，这种构造方法的计算量小于牛顿方法；共轭梯度法的基本思想是将共轭与最速下降法相结合，利用已知点的梯度构造一组共轭方向，沿着这些方向搜索元素，找到目标函数的极小点。
5、牛顿法与拟牛顿法的区别与联系牛顿需要函数阶和二阶导数信息。Hesse矩阵包含矩阵求逆运算，但收敛速度快，计算量拟牛顿计算量是用类似Hesse矩阵的定矩阵计算的牛顿。共轭梯度的基本思想是共轭和快速下降的结合，利用已知点处的梯度构造群的共轭方向，沿群方向搜索元素，找到目标函数的极点。根据共轭方向的基本性质，收敛速度太慢。