قاموس الذكاء الاصطناعي
القاموس الكامل للذكاء الاصطناعي
انحدار تدرجي دفعة مصغرة
متغير من الانحدار التدرجي العشوائي (SGD) يستخدم مجموعة فرعية صغيرة من البيانات (دفعة) لحساب التدرج في كل تكرار، مما يوفر حلاً وسطًا بين الانحدار التدرجي العشوائي النقي والانحدار التدرجي الدفعي.
الزخم
تقنية لتسريع الانحدار التدرجي العشوائي (SGD) تضيف جزءًا من متجه التحديث السابق إلى المتجه الحالي للتغلب على التذبذبات وتسريع التقارب في الاتجاهات ذات الصلة.
جدول معدل التعلم
استراتيجية تعدل معدل التعلم ديناميكيًا أثناء التدريب لتحسين التقارب، وتشمل أساليب التضاؤل التدريجي، والتضاؤل الأسي، والتخميد الجيبي.
مشكلة تضخم التدرج
مشكلة حيث تصبح التدرجات كبيرة بشكل مفرط أثناء التدريب، مما يؤدي إلى تحديثات غير مستقرة للمعلمات وتباعد خوارزمية التعلم.
الحد الأدنى المحلي
نقطة في فضاء المعلمات حيث تصل دالة الخسارة إلى قيمة دنيا في جوار محلي، ولكن ليس بالضرورة الحد الأدنى الشامل.
الحد الأمثل الشامل
نقطة في فضاء المعلمات حيث تصل دالة الخسارة إلى أدنى قيمة لها عبر النطاق بأكمله، وتمثل الحل الأمثل لمشكلة التحسين.
انحدار نيستيروف المتسارع
متغير محسّن من الزخم يحسب التدرج عند موقع متوقع بدلاً من الموقع الحالي، مما يوفر تقاربًا أسرع نظريًا.