新闻中心

机器学习为何使用广义相加模型?

1、广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。

2、相比于经典的机器学习算法，深度学习（Deep Learning，DL）或许是未来应用于基因组预测更好的选择。 传统的机器学习算法如SVM，一般是浅层模型。而深度学习除了输入和输出层，还含有多个隐藏层，模型结构的深度说明了它名字的含义。

3、一个学习算法→不同参数配置→不同模型 在实验测试中，只有数据集可用，为了对学习器的泛化误差进行评估，只能 从数据集（验证集）中分离出训练集与测试集 ，测试集用于测试学习器对新样本的判别能力， 将测试集上的“测试误差”作为泛化误差的近似 。故 测试集要尽可能与训练集互斥。

机器学习的回归分析为什么不好用?

广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。

逻辑回归的性能不是很好。第二就是容易欠拟合，一般准确度不太高。第三就是不能很好地处理大量多类特征或变量。第四个缺点就是只能处理两分类问题，且必须线性可分。第五个缺点就是对于非线性特征，需要进行转换。

是惰性算法，基本上不学习，导致预测时速度比起逻辑回归之类的算法慢。样本不平衡的时候，对稀有类别的预测准确率低。当样本不平衡时，如一个类的样本容量很大，而其他样本容量很小时，很有可能导致输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。

机器学习模型中为什么广义相加效果更好?

广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。

第三就是广义线性模型的能力局限于其特征的性质。和深度模型不同，一个广义线性模型无法学习新的特征。（2）启发式就是一个问题的实际的和非最优的解，但能从学习经验中获得足够多的进步。（3）梯度就是所有变量的偏导数的向量。在机器学习中，梯度是模型函数的偏导数向量。梯度指向最陡峭的上升路线。

广义线性模型（GLM）。这种模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵 模型，Logistic回归，softmax回归。广义线性模型GLM很简单，举个例子，药物的疗效和服用药物的剂量有关。

因此寻找反映学习机器能力更好的参数及得到更好的界，也是今后学习理论的重要研究方向之一。 结构风险最小化 由前面的结论可知，当样本数据有限时传统的机器学习方法中采用的经验风险最小化原则是不合理的。需要同时保证最小化经验风险和置信范围。

探索机器学习世界的基石，线性模型犹如一座桥梁，连接理论与实践。深入理解，首先从基本的线性回归说起，它像一个精密的尺子，通过最小化均方误差，优雅地测量属性间的关联。单变量的单元线性回归轻而易举，而多元线性回归则将这一原理扩展到多元世界的复杂性中。

目的：训练数据和测试数据分别用来训练模型和测试模型预测效果。 拆分原则：一般按照8：2的比例进行拆分，80%的数据用于训练，20%的数据用来预测； 将规则排列的数据先shuffle打散之后再分割；超参数：在机器学习算法模型执行之前需要指定的参数。（调参调的就是超参数） 如kNN算法中的k。

机器学习中为什么使用广义相关?

1、广义加性模型（GAM）（Hastie，1984）使用光滑函数（如样条曲线）作为回归模型中的预测因子。这些模型是严格可加的，这意味着我们不能像正常回归那样使用交互项，但是我们可以通过重新参数化作为一个更光滑的模型来实现同样的效果。

2、第三就是广义线性模型的能力局限于其特征的性质。和深度模型不同，一个广义线性模型无法学习新的特征。（2）启发式就是一个问题的实际的和非最优的解，但能从学习经验中获得足够多的进步。（3）梯度就是所有变量的偏导数的向量。在机器学习中，梯度是模型函数的偏导数向量。梯度指向最陡峭的上升路线。

3、计算机科学：在计算机科学中，变分分析和广义微分被用来解决优化问题，例如在机器学习和数据挖掘中。它们也被用来解决图像处理和模式识别中的问题。生物学：在生物学中，变分分析和广义微分被用来描述生物系统的动态行为，例如在生态学和遗传学中。它们也被用来解决生物信息学和系统生物学中的问题。

4、综述：广义的分布外检测（异常检测、开集识别、OOD检测） 分布外检测（Out-Of-Distribution，OOD）对于确保机器学习系统的可靠性和安全性至关重要。

5、机器学习：广义上的智慧源泉机器学习（Machine Learning）是一个包容性极强的领域，旨在通过算法帮助机器自主学习解决问题，无需程序员明确编程。它包含了众多算法，如支持向量机（SVM）、K近邻（KNN）、K均值（K-Means）、随机森林（RandomForest）、逻辑回归（Logistic Regression）以及神经网络。

6、最小二乘法：矩阵广义逆是最小二乘法中求解正规方程组的关键工具。通过计算矩阵的广义逆，我们可以找到一个向量，使得该向量与原矩阵相乘后的结果与目标向量之间的误差最小。这种方法在数据分析、信号处理和机器学习等领域中被广泛使用。系统辨识：在控制系统和信号处理中，矩阵广义逆用于系统辨识。