ניתוח לא-חלק ותת-הדיפרנציאל של קלארק: כללי חשבון, מאמרים קלאסיים וספרות עדכנית

1. הרעיון הבסיסי של ניתוח לא-חלק

החשבון הדיפרנציאלי הקלאסי יעיל לפונקציות חלקות (smooth), אך פונקציות רבות וחשובות הן לא-חלקות (nonsmooth). דוגמאות נפוצות:

• f(x)=|x|

• f(x)=max_i f_i(x)

• פונקציות מרחק
• פונקציות ערך באופטימיזציה ובקרה
• פונקציות אובדן מסוג ReLU (יחידה ליניארית מתוקנת)

במקום לבקש נגזרת אחת, הניתוח הלא-חלק מבקש קבוצה של נגזרות מוכללות.

עבור פונקציה ליפשיץ-מקומית

f: R^n -> R

2. נגזרת כיוונית מוכללת של קלארק

עבור f ליפשיץ-מקומית, הנגזרת הכיוונית של קלארק בנקודה x בכיוון v היא:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

נקודות מפתח:

• מיועדת לפונקציות ליפשיץ-מקומיות לא-חלקות.
• בתיאוריה הסטנדרטית של קלארק, היא הומוגנית חיובית ותת-חיבורית (subadditive) ב-v.
• היא גדולה או שווה לנגזרת הכיוונית הרגילה, כאשר שתיהן מוגדרות.
• היא לוכדת את הגידול הכיווני המקומי הגרוע ביותר ליד x.

3. תת-הדיפרנציאל של קלארק

תת-הדיפרנציאל של קלארק מוגדר בדרך כלל על ידי:

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> for all v in R^n }.

תיאור שקוף נוסף עבור פונקציות ליפשיץ-מקומיות הוא שתת-הדיפרנציאל של קלארק הוא הקמור (convex hull) של גבולות של גרדיאנטים קלאסיים קרובים, כאשר הפונקציה גזירה.

∂C f(x) = co { limits of ∇f(x_k): x_k -> x, f differentiable at x_k }.

תכונות עיקריות:

• ∂C f(x)

  היא נגזרת מוכללת ערכית-קבוצתית לפונקציות ליפשיץ-מקומיות.
• בתיאוריה הסטנדרטית של קלארק (במימד סופי),

  ∂C f(x)

  אינה ריקה, קומפקטית וקמורה עבור f ליפשיץ-מקומית.
• אם f גזירה ברציפות ליד x, תת-הדיפרנציאל של קלארק מצטמצם לגרדיאנט הרגיל:

∂C f(x) = {∇f(x)}.

• אם f קמורה, תת-הדיפרנציאל של קלארק מזדהה עם תת-הדיפרנציאל הרגיל מניתוח קמור בהגדרות הסטנדרטיות.

דוגמה:

f(x) = |x|.

אז

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

זו הדוגמה הבסיסית המראה כיצד 'פינה' מיוצגת על ידי קטע שלם של שיפועים אפשריים.

4. כללי חשבון לתת-הדיפרנציאל של קלארק

יהיו

f, g: R^n -> R

כלל הסכום

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

תחת תנאי רגולריות נוספים, עשוי להתקיים שוויון.

כפל בסקלר

עבור סקלר a,

∂C(a f)(x) = a ∂C f(x).

אם

a < 0

כלל המכפלה

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

זהו אחד מכללי ההכלה הסטנדרטיים בחשבון תת-הדיפרנציאל של קלארק.

כלל המנה

אם

g(x) ≠ 0

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

כלל השרשרת

אם

F: R^n -> R^m

φ: R^m -> R

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

אם φ רגולרית במובן של קלארק, קיימות צורות חזקות יותר.

כלל המקסימום

אם

f(x) = max { f1(x),..., fm(x) },

כאשר כל fi היא ליפשיץ-מקומית, נגדיר את קבוצת האינדקסים הפעילים

I(x) = { i: fi(x) = f(x) }.

אז כלל המקסימום של קלארק נותן הכלה מהצורה הבאה:

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

אם fi הן חלקות, זה הופך ל:

∂C f(x) ⊂ co { ∇fi(x): i in I(x) }.

עבור פונקציות מקסימום סטנדרטיות רבות, מתקיים שוויון תחת הנחות רגולריות מתאימות.

כלל פרמה (Fermat) לאופטימיזציה לא-חלקה

אם x הוא מינימום מקומי של f ליפשיץ-מקומית, אז תנאי פרמה הלא-חלק הוא:

0 ∈ ∂C f(x).

זהו האנלוג הלא-חלק לתנאי ∇f(x)=0.

5. מאמרים וספרים קלאסיים

• עבודתו של F. H. Clarke על גרדיאנטים מוכללים היא המקור היסודי לנגזרות המוכללות של קלארק בניתוח לא-חלק.

• נגזרות כיווניות מוכללות וגרדיאנטים מוכללים של קלארק נדונים בספרות האופטימיזציה הלא-חלקה במימד סופי, כולל עבודתו של Hiriart-Urruty.

• עבודתו של Rockafellar על תת-גרדיאנטים מוכללים בתכנות מתמטי היא קו יסוד נוסף; המאמר המצוטט מתאר את היסודות של תורת הנגזרות הכיווניות המוכללות ותת-הגרדיאנטים.

• עבודתו של Hiriart-Urruty במימד סופי דנה בנגזרות הכיווניות של קלארק, בגרדיאנטים המוכללים של קלארק, בכללי חשבון וביישומים לאופטימיזציה לא-חלקה.

6. כיוונים בספרות העדכנית

• מחקר עדכני באופטימיזציה לא-חלקה ממשיך להשתמש באובייקטים מסוג קלארק וברגיעונים קשורים; לדוגמה, מאמר מ-2025 חוקר מהירות התכנסות תוך שימוש בתת-הדיפרנציאל של גולדשטיין (Goldstein subdifferential), המתואר כגרסה מורכבת (relaxed) של תת-הדיפרנציאל של קלארק המופיעה במספר אלגוריתמים.

• נגזרות כיווניות מוכללות של קלארק ממשיכות להופיע בתנאי אופטימליות לבעיות אופטימיזציה של קבוצות; מאמר מ-2025 חוקר פתרונות מינימליים חלשים בקירוב תוך שימוש בנגזרת מוכללת חדשה מסוג קלארק.

• פרסומים עדכניים של Rockafellar מצביעים על עבודה מתמשכת בניתוח ערכי-קבוצתי ולא-חלק, כולל עבודה מ-2025 הקשורה לחשבון הווריאציות.

7. מסלול קריאה מומלץ

1. התחילו עם הנגזרת הכיוונית המוכללת ותת-הדיפרנציאל של קלארק.
2. למדו את כללי החשבון המרכזיים: סכום, מכפלה, שרשרת, מקסימום ופרמה.
3. למדו תת-דיפרנציאלים קמורים והשוו אותם לתת-הדיפרנציאל של קלארק.
4. עברו לניתוח וריאציוני (variational analysis): קונוסים נורמליים, קודריבטיבים ומסגרות בידול מוכללות רחבות יותר.
5. קראו מאמרי אופטימיזציה עדכניים המשתמשים בתת-דיפרנציאלים של קלארק או גולדשטיין באלגוריתמים.

רשימת קריאה ראשונית מעשית:

• עבודתו של Clarke על גרדיאנטים מוכללים ונגזרות מוכללות של קלארק.
• עבודתו של Hiriart-Urruty על נגזרות מוכללות ואופטימיזציה לא-חלקה.
• Rockafellar, "Generalized Subgradients in Mathematical Programming."
• מאמרים עדכניים המשתמשים בתת-דיפרנציאלים מסוג Goldstein או Clarke באלגוריתמים ותנאי אופטימליות לאופטימיזציה לא-חלקה.