LightGBM 教程：Python 梯度提升库详解、调参、实战案例

什么是 LightGBM

LightGBM（Light Gradient Boosting Machine）是微软研究院开发的一款高性能梯度提升库。该框架是梯度提升算法的进化版本，针对大规模数据处理进行了优化，相比传统实现方式，能显著提升训练速度。

LightGBM 的核心目标是解决在大型数据集上训练模型时遇到的扩展性和性能问题。通过创新的算法设计以及内存与计算层面的优化，该库成功实现了这一目标。

LightGBM 采用 leaf-wise（按叶子节点）的决策树生长方式，这与传统的 level-wise（按层级）策略截然不同。传统算法逐层构建树，而 LightGBM 会选择损失函数下降潜力最大的叶子节点进行分裂。

这种方法能以更少的迭代次数获得更好的模型质量，但在处理小数据集时需要谨慎，因为存在过拟合风险。

GOSS 是一种智能的训练样本采样方法，其依据是梯度的大小。算法会保留所有梯度较大的样本（即模型预测效果较差的样本），并仅随机选择部分梯度较小的样本。

这种方法在保持模型质量的同时，大幅减少了训练所需的数据量，从而显著加速了训练过程。

EFB 通过将互斥特征（即很少同时取非零值的特征）捆绑成单个“特征包”，来解决特征空间高维的问题。这对于存在大量零值的稀疏数据尤为有效。

该优化能在不损失信息的前提下大幅减少特征数量，从而加速训练并降低内存消耗。