Nonsmooth analyse: Når almindelig differentialregning ikke slår til

Nonsmooth analyse udvider differentialregningen til funktioner, der ikke er klassisk differentiable – især lokalt Lipschitz-funktioner, som ofte optræder i optimering, matematisk programmering og mængde/vektoroptimering. Det centrale objekt i Clarke's teori er Clarke's generaliserede gradient/subdifferential, som erstatter en enkelt gradient med en mængdeværdi generaliseret afledt, der fanger grænseorienteret gradientadfærd.

Jeg forsøgte at inspicere den vedhæftede fil getPDF.jsp(nonsmooth).pdf, men teksten var ikke læsbar/søgbar i værktøjet, så resuméet nedenfor er baseret på standardteori og de angivne litteraturkilder.

1. Grundlæggende idé bag nonsmooth analyse

• Klassisk differentialregning fungerer godt for glatte funktioner, men mange vigtige funktioner er ikke glatte, for eksempel:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • afstandsfunktioner
  • værdifunktioner i optimering/kontrol
  • ReLU-type stykkevise lineære tabsfunktioner

• I stedet for at spørge efter én afledt, spørger nonsmooth analyse efter en mængde af generaliserede afledte.

• For en lokalt Lipschitz-funktion f: R^n -> R introducerede Clarke retningsafledte og generaliserede gradienter som værktøj til nonsmooth optimering.

2. Clarke's generaliserede retningsafledte

For lokalt Lipschitz f skrives Clarke's retningsafledte i x i retning v typisk som:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Vigtige punkter:

• Den er designet til lokalt Lipschitz nonsmooth funktioner.
• Den er positivt homogen og subadditiv i v i standard Clarke-teori.
• Den er normalt større end eller lig med den almindelige retningsafledte, når begge betragtes i sammenlignelige sammenhænge.
• Den fanger den værste lokale retningsbestemte vækst nær x.

3. Clarke-subdifferentialet

Clarke-subdifferentialet defineres ofte som:

∂C f(x) = { ξ i R^n: f°(x; v) >= <ξ, v> for alle v i R^n }.

En tilsvarende standardbeskrivelse for lokalt Lipschitz f er, at Clarke-subdifferentialet er den konvekse hylster af grænser af nærliggende klassiske gradienter, hvor funktionen er differentiabel.

∂C f(x) = co { grænser af ∇f(x_k): x_k -> x, f differentiabel i x_k }.

Her betyder co konveks hylster.

Vigtige egenskaber:

• ∂C f(x) er en mængdeværdi generaliseret afledt for lokalt Lipschitz-funktioner.
• I standard endelig-dimensional Clarke-teori er ∂C f(x) ikke-tom, kompakt og konveks for lokalt Lipschitz f.
• Hvis f er kontinuert differentiabel nær x, reduceres Clarke-subdifferentialet til den almindelige gradient.

∂C f(x) = {∇f(x)}.

• Hvis f er konveks, stemmer Clarke-subdifferentialet overens med det sædvanlige konvekse analyse-subdifferential i standardindstillinger.

Eksempel:

f(x) = |x|.

Så

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Dette er det klassiske grundlæggende eksempel, der viser, hvordan et knæk repræsenteres af et helt interval af mulige hældninger.

4. Calculus-regler for Clarke-subdifferentialet

Lad f, g: R^n -> R være lokalt Lipschitz nær x; Clarke's calculus-regler er en central del af nonsmooth optimeringsteori.

Sumregel

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Under yderligere regularitetsbetingelser kan lighed gælde.

Skalarmultiplikation

For skalar a,

∂C(a f)(x) = a ∂C f(x).

Hvis a < 0, reflekteres mængden.

Produktregel

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Dette er en af standardinklusionstyperne i Clarke-subdifferential-calculus.

Kvotientregel

Hvis g(x) ≠ 0 og g er afgrænset væk fra nul nær x, har standardkvotientreglen formen:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Kæderegel

Hvis F: R^n -> R^m er strengt differentiabel i x og φ: R^m -> R er lokalt Lipschitz nær F(x), er Clarke's kæderegel typisk formuleret som en inklusion af følgende type:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Hvis φ er regulær i Clarke's forstand, findes stærkere former.

Max-regel

Hvis

f(x) = max { f1(x),..., fm(x) },

hvor hver fi er lokalt Lipschitz, defineres det aktive indekssæt

I(x) = { i: fi(x) = f(x) }.

Så giver standard Clarke max-reglen en inklusion af følgende form:

∂C f(x) ⊂ co ⋃_{i i I(x)} ∂C fi(x).

Hvis fi er glatte, bliver det:

∂C f(x) ⊂ co { ∇fi(x): i i I(x) }.

For mange standard max-funktioner gælder lighed under passende regularitetsantagelser.

Fermat-regel for nonsmooth optimering

Hvis x er et lokalt minimum for lokalt Lipschitz f, er den nonsmooth Fermat-betingelse:

0 ∈ ∂C f(x).

Dette er nonsmooth-analogen til ∇f(x)=0.

5. Klassiske artikler og bøger

• F. H. Clarke's arbejde med generaliserede gradienter er en grundlæggende kilde for Clarke's generaliserede afledte i nonsmooth analyse.

• Clarke's generaliserede retningsafledte og generaliserede gradienter diskuteres i den endelig-dimensionale nonsmooth optimeringslitteratur, herunder arbejde af Hiriart-Urruty.

• Rockafellar's arbejde med generaliserede subgradienter i matematisk programmering er en anden grundlæggende linje; den citerede artikel skitserer grundlaget for generaliserede retningsafledte og subgradienter.

• Hiriart-Urrutys endelig-dimensionale arbejde diskuterer Clarke's retningsafledte, Clarke's generaliserede gradienter, calculus-regler og anvendelser til nonsmooth optimering.

6. Nyere litteraturretninger

• Nyere nonsmooth optimeringsforskning fortsætter med at bruge Clarke-type objekter og relaterede afslapninger; for eksempel studerer en artikel fra 2025 konvergenshastighed ved hjælp af Goldstein-subdifferentialet, beskrevet som en afslappet version af Clarke-subdifferentialet, der bruges i flere algoritmer.

• Clarke's generaliserede retningsafledte fortsætter med at optræde i optimalitetsbetingelser for sætoptimeringsproblemer; en artikel fra 2025 studerer approksimative svage minimalløsninger ved hjælp af en ny type Clarke-generaliseret afledt.

• Nyere Rockafellar-publikationer indikerer fortsat arbejde i mængdeværdi og nonsmooth analyse, herunder arbejde fra 2025 forbundet med variationsregning.

7. God læsevej

1. Start med Clarke's generaliserede retningsafledte og subdifferential.
2. Lær de centrale calculus-regler: sum, produkt, kæde, max og Fermat-regler.
3. Studér konvekse subdifferentialer og sammenlign dem med Clarke-subdifferentialer.
4. Gå videre til variationsanalyse: normalkegler, koderivater og bredere generaliserede differentieringsrammer.
5. Læs nyere optimeringsartikler, der bruger Clarke- eller Goldstein-subdifferentialer i algoritmer.

En praktisk første læseliste kunne være:

• Clarke's arbejde med generaliserede gradienter og Clarke's generaliserede afledte.
• Hiriart-Urrutys arbejde med generaliserede afledte og nonsmooth optimering.
• Rockafellars "Generalized Subgradients in Mathematical Programming."
• Nyere artikler, der bruger Goldstein- eller Clarke-type subdifferentialer i nonsmooth optimeringsalgoritmer og optimalitetsbetingelser.