انحدار مزدوج - ويكيبيديا

مثال على ظاهرة "الانحدار المضاعف" في شبكة عصبية مكونة من طبقتين: مع زيادة نسبة المعاملات إلى نقاط البيانات، ينخفض خطأ الاختبار في البداية، ثم يرتفع، ثم ينخفض مرة أخرى. يشير الخط العمودي إلى "حد العتبة التداخلية"، وهو الحدود الفاصلة بين المنطقة غير المكتفية بالمعاملات (حيث يكون عدد نقاط البيانات أكبر من عدد المعاملات) والمنطقة المفرطة في المعاملات (حيث يكون عدد المعاملات أكبر من عدد نقاط البيانات). [1]

يُشير مصطلح الانحدار المضاعف في الإحصاء وتعلم الآلة إلى الظاهرة التي يكون فيها للنموذج الذي يحتوي على عدد قليل من المعلمات، وكذلك النموذج الذي يحتوي على عدد كبير جدًا من المعلمات، خطأ اختبار صغير. ومع ذلك، فإن النموذج الذي يكون فيه عدد المعلمات قريبًا من عدد نقاط البيانات المستخدمة لتدريبه يظهر خطأً كبيرًا.[2] تُعتبر هذه الظاهرة مفاجئة لأنها تتناقض مع الافتراضات التقليدية المتعلقة بالإفراط في التخصيص في تعلم الآلة الكلاسيكي. [1]

مراجع

[عدل]
  1. ^ ا ب Schaeffer, Rylan; Khona, Mikail; Robertson, Zachary; Boopathy, Akhilan; Pistunova, Kateryna; Rocks, Jason W.; Fiete, Ila Rani; Koyejo, Oluwasanmi (24 Mar 2023). "Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle" (بالإنجليزية). arXiv:2303.14151v1 [cs.LG].
  2. ^ "Deep Double Descent". OpenAI (بالإنجليزية). 5 Dec 2019. Archived from the original on 2022-01-27. Retrieved 2022-08-12.