LightGBM: تعلم، ضبط، أمثلة Python

ما هو LightGBM

LightGBM (Light Gradient Boosting Machine) هي مكتبة عالية الأداء لتعزيز التدرج، طورها فريق Microsoft Research. يمثل هذا الإطار تطورًا لخوارزميات تعزيز التدرج، محسّنًا للعمل مع كميات كبيرة من البيانات ويوفر تسريعًا كبيرًا مقارنة بالتطبيقات التقليدية.

الهدف الرئيسي لـ LightGBM هو حل مشكلات قابلية التوسع والأداء التي تظهر عند تدريب النماذج على مجموعات بيانات ضخمة. تحقق المكتبة هذا الهدف من خلال أساليب خوارزمية مبتكرة وتحسينات على مستوى الذاكرة والحسابات.

الهندسة والابتكارات الرئيسية

استراتيجية بناء الأشجار Leaf-wise

يستخدم LightGBM نهج leaf-wise لبناء أشجار القرار، والذي يختلف جوهريًا عن استراتيجية level-wise التقليدية. بينما تبني الخوارزميات العادية الأشجار مستوى تلو الآخر، يختار LightGBM الورقة ذات الإمكانية الأعلى لتقليل دالة الخسارة ويقوم بتقسيمها فقط.

يسمح هذا النهج بتحقيق جودة نموذج أفضل بعدد أقل من التكرارات، لكنه يتطلب الحذر عند العمل مع مجموعات بيانات صغيرة بسبب خطر الإفراط في التجهيز (Overfitting).

GOSS (Gradient-based One-Side Sampling)

GOSS هي طريقة ذكية لأخذ عينات من أمثلة التدريب تعتمد على حجم التدرجات. تحتفظ الخوارزمية بجميع الأمثلة ذات التدرجات الكبيرة (التي يتنبأ بها النموذج بشكل أسوأ) وتختار عشوائيًا جزءًا فقط من الأمثلة ذات التدرجات الصغيرة.

يقلل هذا النهج بشكل كبير من حجم البيانات اللازمة للتدريب مع الحفاظ على جودة النموذج، مما يؤدي إلى تسريع عملية التدريب بشكل ملحوظ.

EFB (Exclusive Feature Bundling)

يحل EFB مشكلة الأبعاد العالية لمساحة الميزات من خلال دمج الميزات المتنافية (التي نادرًا ما تأخذ قيمًا غير صفرية في نفس الوقت) في "حزم" واحدة. هذا فعال بشكل خاص للبيانات المتناثرة حيث العديد من الميزات لها قيم صفرية.

يسمح هذا التحسين بتقليل عدد الميزات بشكل كبير دون فقدان المعلومات، مما يسرع التدريب ويقلل استهلاك الذاكرة.

مقارنة مع الخوارزميات الأخرى

LightGBM vs XGBoost

المعيار	LightGBM	XGBoost
سرعة التدريب	أسرع بكثير	أبطأ مع البيانات الكبيرة
استخدام الذاكرة	استهلاك أقل	أكثر استهلاكًا للموارد
الميزات الفئوية	دعم مدمج	يتطلب ترميزًا مسبقًا
استراتيجية البناء	Leaf-wise	Level-wise
الدقة	عالية	عالية
خطر الإفراط في التجهيز	أعلى مع البيانات الصغيرة	أقل
دعم GPU	مدمج	يتطلب إعدادًا إضافيًا

LightGBM vs CatBoost

المعيار	LightGBM	CatBoost
معالجة الفئات	جيدة	ممتازة
السرعة	سريعة جدًا	سريعة
ضبط المعلمات	يتطلب ضبطًا دقيقًا	يعمل "مباشرة من الصندوق"
الإفراط في التجهيز	ميل للإفراط	مقاوم للإفراط
التوثيق	جيد	ممتاز