Icke-slät analys: Clarkes subdifferential, räkneregler och ny litteratur

Klassisk kalkyl fungerar bra för släta funktioner, men många viktiga funktioner är icke-släta, till exempel:

• f(x)=|x| (beloppsfunktionen)
• f(x)=max_i f_i(x) (maximumfunktioner)
• avståndsfunktioner
• värdefunktioner inom optimering och reglerteknik
• ReLU-liknande styckvis linjära förlustfunktioner inom maskininlärning

Istället för att fråga efter en enda derivata, frågar icke-slät analys efter en mängd av generaliserade derivator.^EE

För en lokalt Lipschitz-funktion f: R^n -> R införde Clarke generaliserade riktningsderivator och generaliserade gradienter som verktyg för icke-slät optimering.^LE

2. Clarkes generaliserade riktningsderivata

För lokalt Lipschitz f skrivs Clarkes riktningsderivata i x i riktning v vanligen som:^E

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Viktiga punkter:

• Den är konstruerad för lokalt Lipschitz-funktioner som inte är släta.^EE
• Den är positivt homogen och subadditiv i v i standardteorin.^LE
• Den är vanligtvis större än, eller lika med, den vanliga riktningsderivatan när båda betraktas i jämförbara sammanhang.^E
• Den fångar det värsta lokala riktningstillväxten nära x.^EE

3. Clarkes subdifferential

Clarkes subdifferential definieras vanligen som:^E

∂C f(x) = { ξ i R^n: f°(x; v) >= <ξ, v> för alla v i R^n }.

En ekvivalent standardbeskrivning för lokalt Lipschitz f är att Clarkes subdifferential är det konvexa höjet av gränsvärden av närliggande klassiska gradienter där funktionen är differentierbar.^EE

∂C f(x) = co { gränsvärden av ∇f(x_k): x_k -> x, f differentierbar i x_k }.

Här betecknar co konvext höjje.

Viktiga egenskaper:

• ∂C f(x) är en generaliserad derivata (mängdvärd) för lokalt Lipschitz-funktioner.^EE
• I standardteorin i ändlig dimension är ∂C f(x) icke-tom, kompakt och konvex för lokalt Lipschitz f.^EE
• Om f är kontinuerligt differentierbar nära x, reduceras Clarkes subdifferential till den vanliga gradienten.^EE

∂C f(x) = {∇f(x)}.

• Om f är konvex, sammanfaller Clarkes subdifferential med den vanliga konvexa analysens subdifferential i standardsammanhang.^LE

Exempel:

f(x) = |x|.

Då är

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Detta är det klassiska exemplet som visar hur ett hörn representeras av ett helt intervall av möjliga lutningar.^EE

4. Räkneregler för Clarkes subdifferential

Låt f, g: R^n -> R vara lokalt Lipschitz nära x. Dessa räkneregler är centrala inom icke-slät optimeringsteori.^LEE

Summaregel

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Under ytterligare regularitetsvillkor kan likhet gälla.^LE

Skalär multiplikation

För skalär a,

∂C(a f)(x) = a ∂C f(x).

Om a < 0 reflekteras mängden.^E

Produktregel

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Detta är en inklusionsregel av standardtyp inom Clarkes subdifferentialkalkyl.^LE

Kvotregel

Om g(x) ≠ 0 och g är avgränsad från noll nära x, har standardkvotregeln formen:^E

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Kedjeregel

Om F: R^n -> R^m är strikt differentierbar i x och φ: R^m -> R är lokalt Lipschitz nära F(x), är Clarkes kedjeregel vanligen en inklusion av följande typ:^LE

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Om φ är reguljär i Clarkes mening finns starkare former.^LE

Maximumregel

Om

f(x) = max { f1(x),..., fm(x) },

där varje fi är lokalt Lipschitz, definiera den aktiva indexmängden

I(x) = { i: fi(x) = f(x) }.

Då ger standardmaximumregeln en inklusion av följande form:^LE

∂C f(x) ⊂ co ⋃_{i i I(x)} ∂C fi(x).

Om fi är släta blir detta:^E

∂C f(x) ⊂ co { ∇fi(x): i i I(x) }.

För många standardmaximumfunktioner gäller likhet under lämpliga regularitetsantaganden.^LE

Fermatregel för icke-slät optimering

Om x är en lokal minimipunkt för den lokalt Lipschitz-funktionen f, gäller det icke-släta Fermatvillkoret:^LE

0 ∈ ∂C f(x).

Detta är den icke-släta analogen till ∇f(x)=0.^LE

5. Klassiska arbeten och böcker

• F. H. Clarkes arbete om generaliserade gradienter är en grundläggande källa för Clarkes generaliserade derivator i icke-slät analys.^E

• Clarkes generaliserade riktningsderivator och gradienter diskuteras i litteraturen om icke-slät optimering i ändlig dimension, bland annat i arbete av Hiriart-Urruty.^L

• Rockafellars arbete om generaliserade subgradienter inom matematisk programmering är en annan grundläggande linje; den citerade artikeln beskriver grunderna för generaliserade riktningsderivator och subgradienter.^S

• Hiriart-Urrutys arbete i ändlig dimension diskuterar Clarkes riktningsderivator, generaliserade gradienter, räkneregler och tillämpningar inom icke-slät optimering.^L

6. Nyare forskningsinriktningar

• Modern forskning om icke-slät optimering fortsätter att använda Clarkes objekt och relaterade förenklingar. Till exempel studerar ett arbete från 2025 konvergenshastigheten för Goldsteins subdifferential, som beskrivs som en relaxerad version av Clarkes subdifferential som används i flera algoritmer.^L

• Clarkes generaliserade riktningsderivator förekommer fortfarande i optimalitetsvillkor för mängdoptimeringsproblem. Ett arbete från 2025 studerar approximativa svaga minimala lösningar med hjälp av en ny typ av Clarkes generaliserad derivata.^A

• Nyare publikationer av Rockafellar indikerar pågående arbete inom mängdvärd och icke-slät analys, inklusive arbete från 2025 kopplat till variationskalkyl.^S

7. Rekommenderad läsordning

1. Börja med Clarkes generaliserade riktningsderivata och subdifferential.^LEE
2. Lär dig de grundläggande räknereglerna: summa, produkt, kedja, maximum och Fermatregeln.^LE
3. Studera konvexa subdifferentialer och jämför dem med Clarkes subdifferentialer.^LS
4. Gå vidare till variationsanalys: normala koner, koderrivator och bredare ramverk för generaliserad differentiering.^SS
5. Läs moderna optimeringsartiklar som använder Clarkes eller Goldsteins subdifferentialer i algoritmer.^L

En praktisk första läslista:

• Clarkes arbete om generaliserade gradienter och derivator.^E
• Hiriart-Urrutys arbete om generaliserade derivator och icke-slät optimering.^L
• Rockafellars "Generalized Subgradients in Mathematical Programming."^S
• Nyare artiklar som använder Goldsteins eller Clarks subdifferentialer i icke-släta optimeringsalgoritmer och optimalitetsvillkor.^LA