על סמך הראיות הקיימות, לא ניתן לקבוע מהו המאמר שבו הופיע לראשונה התנאי (PL^\circ).
הערה: להלן סקירה רחבה על תנאי PL הרגיל, שמדגימה את ההקשר הרחב יותר של שאלה זו.
תנאי PL הוא מושג מרכזי בתורת האופטימיזציה. זהו תנאי מתמטי על פונקציה המאפשר להבטיח התכנסות ליניארית (קצב שיפור מהיר) של אלגוריתם הגרדיאנט דיסנט, וזאת מבלי לדרוש שהפונקציה תהיה קמורה ממש (Strongly Convex).
התנאי אומר, במילים פשוטות, שאם ערך הפונקציה בנקודה מסוימת רחוק מהערך המינימלי שלה, אז הגרדיאנט (שיפוע הפונקציה) באותה נקודה חייב להיות גדול מספיק. זהו מעין "מד-מרחק" שמבטיח שהאלגוריתם יתקדם במהירות לעבר נקודת המינימום .
| מאפיין | הסבר |
|---|---|
| חוזק התנאי | חלש יותר מקמירות ממש (Strong Convexity), אך עדיין חזק מספיק כדי להבטיח התכנסות מהירה . |
| תחולה | הפונקציה אינה חייבת להיות קמורה כלל. די בכך שהיא גזירה (differentiable) . |
| יתרון מרכזי | מתאים לניתוח מודלים מודרניים בלמידת מכונה שהם לרוב לא-קמורים . |
הסימונים הבאים חוזרים על עצמם במאמרים:
חשבו על הליכה בערפל סמיך לעבר העמק הנמוך ביותר. תנאי PL מבטיח שכל עוד אתם רחוקים מהעמק (הערך המינימלי), השיפוע מתחת לרגליכם יהיה תלול מספיק (גרדיאנט גדול), מה שמנחה אתכם ביעילות לעבר המטרה .
על סמך הראיות הקיימות, לא ניתן לקבוע מהו המאמר שבו הופיע לראשונה התנאי (PL^\circ).
הערה: להלן סקירה רחבה על תנאי PL הרגיל, שמדגימה את ההקשר הרחב יותר של שאלה זו.
תנאי PL הוא מושג מרכזי בתורת האופטימיזציה. זהו תנאי מתמטי על פונקציה המאפשר להבטיח התכנסות ליניארית (קצב שיפור מהיר) של אלגוריתם הגרדיאנט דיסנט, וזאת מבלי לדרוש שהפונקציה תהיה קמורה ממש (Strongly Convex).
התנאי אומר, במילים פשוטות, שאם ערך הפונקציה בנקודה מסוימת רחוק מהערך המינימלי שלה, אז הגרדיאנט (שיפוע הפונקציה) באותה נקודה חייב להיות גדול מספיק. זהו מעין "מד-מרחק" שמבטיח שהאלגוריתם יתקדם במהירות לעבר נקודת המינימום .
| מאפיין | הסבר |
|---|---|
| חוזק התנאי | חלש יותר מקמירות ממש (Strong Convexity), אך עדיין חזק מספיק כדי להבטיח התכנסות מהירה . |
| תחולה | הפונקציה אינה חייבת להיות קמורה כלל. די בכך שהיא גזירה (differentiable) . |
| יתרון מרכזי | מתאים לניתוח מודלים מודרניים בלמידת מכונה שהם לרוב לא-קמורים . |
הסימונים הבאים חוזרים על עצמם במאמרים:
חשבו על הליכה בערפל סמיך לעבר העמק הנמוך ביותר. תנאי PL מבטיח שכל עוד אתם רחוקים מהעמק (הערך המינימלי), השיפוע מתחת לרגליכם יהיה תלול מספיק (גרדיאנט גדול), מה שמנחה אתכם ביעילות לעבר המטרה .