广义回归，也称为惩罚回归和正则化回归。广义回归使用的是参数化建模方法，比如广义线性模型（GLM），通常加入正则化（如 L1/L2 惩罚）对模型的复杂度进行约束，避免过度拟合，保留对结果最有贡献的变量，有良好的可解释性。

与经典普通最小二乘法（OLS）回归同属于回归建模方法。与 OLS 相同，其基础也是基于 P 值的假设检验方法。首先，广义回归算法会不断探索不同的路径，直至找到最优解，其次，它可以通过惩罚和正则化来缓解过度拟合（正则化是对洗漱估计进行约束的过程）。广义回归有很多类型，如 LASSO、岭回归和弹性网络。模型的输出是得到一组权重明确的预测因素，适合解释每个变量的边际影响。优点是，适合因果推断，对线性关系敏感，适合连续型或逻辑型输出。缺点是：假设变量间关系固定，可能忽略交互作用。

决策树（Decision Tree），简称 DT，基于 if-else 的规则生成模型，核心思想是通过递归分割数据，追求节点纯度（如基尼系数或信息熵最小化）。原理是，通过不断分裂数据集来使每个子集中的样本“更纯”，通常基于信息增益或基尼指数。当继续分裂不再提升预测效果时，树就会停止分裂（即“饱和”）。优势是，可以用尽量少的变量，就能做出识别决策。执行速度快，结构清晰，非常适合规则提取和快速决策。决策树的输出是一个属性规则集，可能忽略次要变量。优点是：可以自动捕捉变量间交互作用，对非线性关系和异常值鲁棒性。缺点是：容易过拟合；规则可能不稳定。