ניתוח לא-חלק ותת-הדיפרנציאל של קלארק: כללי חשבון, מאמרים קלאסיים וספרות עדכנית

1. הרעיון הבסיסי של ניתוח לא-חלק

החשבון הדיפרנציאלי הקלאסי יעיל לפונקציות חלקות (smooth), אך פונקציות רבות וחשובות הן לא-חלקות (nonsmooth). דוגמאות נפוצות:

• f(x)=|x|
• f(x)=max_i f_i(x)
• פונקציות מרחק
• פונקציות ערך באופטימיזציה ובקרה
• פונקציות אובדן מסוג ReLU (יחידה ליניארית מתוקנת)

במקום לבקש נגזרת אחת, הניתוח הלא-חלק מבקש קבוצה של נגזרות מוכללות.^EE

עבור פונקציה ליפשיץ-מקומית f: R^n -> R, קלארק הציג נגזרות כיווניות מוכללות וגרדיאנטים מוכללים ככלים לאופטימיזציה לא-חלקה.^LE

2. נגזרת כיוונית מוכללת של קלארק

עבור f ליפשיץ-מקומית, הנגזרת הכיוונית של קלארק בנקודה x בכיוון v היא:^E

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

נקודות מפתח:

• מיועדת לפונקציות ליפשיץ-מקומיות לא-חלקות.^EE
• בתיאוריה הסטנדרטית של קלארק, היא הומוגנית חיובית ותת-חיבורית (subadditive) ב-v.^LE
• היא גדולה או שווה לנגזרת הכיוונית הרגילה, כאשר שתיהן מוגדרות.^E
• היא לוכדת את הגידול הכיווני המקומי הגרוע ביותר ליד x.^EE

3. תת-הדיפרנציאל של קלארק

תת-הדיפרנציאל של קלארק מוגדר בדרך כלל על ידי:^E

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> for all v in R^n }.

תיאור שקוף נוסף עבור פונקציות ליפשיץ-מקומיות הוא שתת-הדיפרנציאל של קלארק הוא הקמור (convex hull) של גבולות של גרדיאנטים קלאסיים קרובים, כאשר הפונקציה גזירה.^EE

∂C f(x) = co { limits of ∇f(x_k): x_k -> x, f differentiable at x_k }.

תכונות עיקריות:

• ∂C f(x) היא נגזרת מוכללת ערכית-קבוצתית לפונקציות ליפשיץ-מקומיות.^EE
• בתיאוריה הסטנדרטית של קלארק (במימד סופי), ∂C f(x) אינה ריקה, קומפקטית וקמורה עבור f ליפשיץ-מקומית.^EE
• אם f גזירה ברציפות ליד x, תת-הדיפרנציאל של קלארק מצטמצם לגרדיאנט הרגיל:^EE

∂C f(x) = {∇f(x)}.

• אם f קמורה, תת-הדיפרנציאל של קלארק מזדהה עם תת-הדיפרנציאל הרגיל מניתוח קמור בהגדרות הסטנדרטיות.^LE

דוגמה:

f(x) = |x|.

אז

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

זו הדוגמה הבסיסית המראה כיצד 'פינה' מיוצגת על ידי קטע שלם של שיפועים אפשריים.^EE

4. כללי חשבון לתת-הדיפרנציאל של קלארק

יהיו f, g: R^n -> R פונקציות ליפשיץ-מקומיות ליד x. כללי החשבון של קלארק הם חלק מרכזי בתורת האופטימיזציה הלא-חלקה.^LEE

כלל הסכום

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

תחת תנאי רגולריות נוספים, עשוי להתקיים שוויון.^LE

כפל בסקלר

עבור סקלר a,

∂C(a f)(x) = a ∂C f(x).

אם a < 0, הקבוצה משתקפת.^E

כלל המכפלה

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

זהו אחד מכללי ההכלה הסטנדרטיים בחשבון תת-הדיפרנציאל של קלארק.^LE

כלל המנה

אם g(x) ≠ 0 ו-g חסומה הרחק מאפס ליד x, כלל המנה הסטנדרטי הוא:^E

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

כלל השרשרת

אם F: R^n -> R^m גזירה במובן חזק (strictly differentiable) ב-x ו-φ: R^m -> R ליפשיץ-מקומית ליד F(x), כלל השרשרת של קלארק הוא בדרך כלל הכלה מהסוג הבא:^LE

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

אם φ רגולרית במובן של קלארק, קיימות צורות חזקות יותר.^LE

כלל המקסימום

אם

f(x) = max { f1(x),..., fm(x) },

כאשר כל fi היא ליפשיץ-מקומית, נגדיר את קבוצת האינדקסים הפעילים

I(x) = { i: fi(x) = f(x) }.

אז כלל המקסימום של קלארק נותן הכלה מהצורה הבאה:^LE

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

אם fi הן חלקות, זה הופך ל:^E

∂C f(x) ⊂ co { ∇fi(x): i in I(x) }.

עבור פונקציות מקסימום סטנדרטיות רבות, מתקיים שוויון תחת הנחות רגולריות מתאימות.^LE

כלל פרמה (Fermat) לאופטימיזציה לא-חלקה

אם x הוא מינימום מקומי של f ליפשיץ-מקומית, אז תנאי פרמה הלא-חלק הוא:^LE

0 ∈ ∂C f(x).

זהו האנלוג הלא-חלק לתנאי ∇f(x)=0.^LE

5. מאמרים וספרים קלאסיים

• עבודתו של F. H. Clarke על גרדיאנטים מוכללים היא המקור היסודי לנגזרות המוכללות של קלארק בניתוח לא-חלק.^E

• נגזרות כיווניות מוכללות וגרדיאנטים מוכללים של קלארק נדונים בספרות האופטימיזציה הלא-חלקה במימד סופי, כולל עבודתו של Hiriart-Urruty.^L

• עבודתו של Rockafellar על תת-גרדיאנטים מוכללים בתכנות מתמטי היא קו יסוד נוסף; המאמר המצוטט מתאר את היסודות של תורת הנגזרות הכיווניות המוכללות ותת-הגרדיאנטים.^S

• עבודתו של Hiriart-Urruty במימד סופי דנה בנגזרות הכיווניות של קלארק, בגרדיאנטים המוכללים של קלארק, בכללי חשבון וביישומים לאופטימיזציה לא-חלקה.^L

6. כיוונים בספרות העדכנית

• מחקר עדכני באופטימיזציה לא-חלקה ממשיך להשתמש באובייקטים מסוג קלארק וברגיעונים קשורים; לדוגמה, מאמר מ-2025 חוקר מהירות התכנסות תוך שימוש בתת-הדיפרנציאל של גולדשטיין (Goldstein subdifferential), המתואר כגרסה מורכבת (relaxed) של תת-הדיפרנציאל של קלארק המופיעה במספר אלגוריתמים.^L

• נגזרות כיווניות מוכללות של קלארק ממשיכות להופיע בתנאי אופטימליות לבעיות אופטימיזציה של קבוצות; מאמר מ-2025 חוקר פתרונות מינימליים חלשים בקירוב תוך שימוש בנגזרת מוכללת חדשה מסוג קלארק.^A

• פרסומים עדכניים של Rockafellar מצביעים על עבודה מתמשכת בניתוח ערכי-קבוצתי ולא-חלק, כולל עבודה מ-2025 הקשורה לחשבון הווריאציות.^S

7. מסלול קריאה מומלץ

1. התחילו עם הנגזרת הכיוונית המוכללת ותת-הדיפרנציאל של קלארק.^LEE
2. למדו את כללי החשבון המרכזיים: סכום, מכפלה, שרשרת, מקסימום ופרמה.^LE
3. למדו תת-דיפרנציאלים קמורים והשוו אותם לתת-הדיפרנציאל של קלארק.^LS
4. עברו לניתוח וריאציוני (variational analysis): קונוסים נורמליים, קודריבטיבים ומסגרות בידול מוכללות רחבות יותר.^SS
5. קראו מאמרי אופטימיזציה עדכניים המשתמשים בתת-דיפרנציאלים של קלארק או גולדשטיין באלגוריתמים.^L

רשימת קריאה ראשונית מעשית:

• עבודתו של Clarke על גרדיאנטים מוכללים ונגזרות מוכללות של קלארק.^E
• עבודתו של Hiriart-Urruty על נגזרות מוכללות ואופטימיזציה לא-חלקה.^L
• Rockafellar, "Generalized Subgradients in Mathematical Programming."^S
• מאמרים עדכניים המשתמשים בתת-דיפרנציאלים מסוג Goldstein או Clarke באלגוריתמים ותנאי אופטימליות לאופטימיזציה לא-חלקה.^LA