1. Grunnleggende idé bak ikke-glatt analyse

• Klassisk kalkulus fungerer utmerket for glatte funksjoner, men mange viktige funksjoner er ikke-glatte, for eksempel:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • Avstandsfunksjoner
  • Verdifunksjoner i optimalisering/regulering
  • ReLU-type stykkevis-lineære tapsfunksjoner

• I stedet for å spørre etter én derivert, spør ikke-glatt analyse etter et sett med generaliserte deriverte.

• For en lokalt Lipschitz-funksjon f: R^n -> R introduserte Clarke generaliserte retningsderiverte og generaliserte gradienter som verktøy for ikke-glatt optimalisering.

2. Clarke-generaliserte retningsderiverte

For lokalt Lipschitz f, skrives Clarke-retningsderiverte ved x i retning v vanligvis som:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Sentrale punkter:

• Den er designet for lokalt Lipschitz ikke-glatte funksjoner.
• Den er positivt homogen og subadditiv i v i standard Clarke-teori.
• Den er vanligvis større enn eller lik den ordinære retningsderiverte når begge vurderes i sammenlignbare sammenhenger.
• Den fanger opp verste-tilfelle lokal retningsvekst nær x.

3. Clarke-subdifferensialet

Clarke-subdifferensialet er vanligvis definert som:

∂C f(x) = { ξ i R^n: f°(x; v) >= <ξ, v> for alle v i R^n }.

En ekvivalent standard beskrivelse for lokalt Lipschitz f er at Clarke-subdifferensialet er den konvekse hylsen av grenser for naboklassiske gradienter der funksjonen er deriverbar.

∂C f(x) = co { grenser av ∇f(x_k): x_k -> x, f deriverbar ved x_k }.

Her betyr co konveks hylse.

Sentrale egenskaper:

• ∂C f(x) er en mengdeverdig generalisert derivert for lokalt Lipschitz-funksjoner.
• I standard endelig-dimensjonal Clarke-teori er ∂C f(x) ikke-tom, kompakt og konveks for lokalt Lipschitz f.
• Hvis f er kontinuerlig deriverbar nær x, reduseres Clarke-subdifferensialet til den ordinære gradienten.

∂C f(x) = {∇f(x)}.

• Hvis f er konveks, er Clarke-subdifferensialet enig med det vanlige konvekse subdifferensialet i standard sammenhenger.

Eksempel:

f(x) = |x|.

Da er

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Dette er det grunnleggende eksemplet på hvordan et hjørne representeres av et helt intervall med mulige stigningstall.

4. Kalkulusregler for Clarke-subdifferensialet

La f, g: R^n -> R være lokalt Lipschitz nær x; Clarke-kalkulusreglene er en sentral del av ikke-glatt optimaliseringsteori.

Sumregel

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Under tilleggsregularitetsbetingelser kan likhet gjelde.

Skalarmultiplikasjon

For skalar a,

∂C(a f)(x) = a ∂C f(x).

Hvis a < 0, reflekteres mengden.

Produktregel

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Dette er en av standard inklusjonstype kalkulusregler i Clarke-subdifferensialkalkulus.

Kvotientregel

Hvis g(x) ≠ 0 og g er avgrenset borte fra null nær x, har standard kvotientregel formen:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Kjederegel

Hvis F: R^n -> R^m er strengt deriverbar ved x og φ: R^m -> R er lokalt Lipschitz nær F(x), oppgis Clarke-kjederegelen vanligvis som en inklusjon av følgende type:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Hvis φ er regulær i Clarkes forstand, er sterkere former tilgjengelige.

Maksregel

Hvis

f(x) = max { f1(x),..., fm(x) },

hvor hver fi er lokalt Lipschitz, definer den aktive indeksmengden

I(x) = { i: fi(x) = f(x) }.

Da gir standard Clarke-maksregel en inklusjon av følgende form:

∂C f(x) ⊂ co ⋃_{i i I(x)} ∂C fi(x).

Hvis fi er glatte, blir dette:

∂C f(x) ⊂ co { ∇fi(x): i i I(x) }.

For mange standard maks-funksjoner gjelder likhet under passende regularitetsantagelser.

Fermat-regel for ikke-glatt optimalisering

Hvis x er et lokalt minimumspunkt for lokalt Lipschitz f, er den ikke-glatte Fermat-betingelsen:

0 ∈ ∂C f(x).

Dette er den ikke-glatte analogen til ∇f(x)=0.

5. Klassiske artikler og bøker

• F. H. Clarkes arbeid om generaliserte gradienter er en grunnleggende kilde for Clarke-generaliserte deriverte i ikke-glatt analyse.

• Clarke-generaliserte retningsderiverte og generaliserte gradienter diskuteres i den endelig-dimensjonale ikke-glatt optimaliseringslitteraturen, inkludert arbeid av Hiriart-Urruty.

• Rockafellars arbeid om generaliserte subgradienter i matematisk programmering er en annen grunnleggende linje; den siterte artikkelen skisserer grunnleggende prinsipper for generaliserte retningsderiverte og subgradienter.

• Hiriart-Urrutys endelig-dimensjonale arbeid diskuterer Clarke-retningsderiverte, Clarke-generaliserte gradienter, kalkulusregler og anvendelser på ikke-glatt optimalisering.

6. Nyere litteratur og retninger

• Nyere forskning innen ikke-glatt optimalisering fortsetter å bruke Clarke-type objekter og beslektede relakseringer; for eksempel studerer en artikkel fra 2025 konvergenshastighet ved hjelp av Goldstein-subdifferensialet, beskrevet som en relaksert versjon av Clarke-subdifferensialet brukt i flere algoritmer.

• Clarke-generaliserte retningsderiverte fortsetter å dukke opp i optimalitetsbetingelser for mengdeoptimaliseringsproblemer; en artikkel fra 2025 studerer approksimative svake minimale løsninger ved hjelp av en ny Clarke-type generalisert derivert.

• Nylige publikasjoner av Rockafellar indikerer pågående arbeid innen mengdeverdig og ikke-glatt analyse, inkludert arbeid fra 2025 knyttet til variasjonsregning.

7. God lesevei

1. Start med Clarkes generaliserte retningsderiverte og subdifferensial.
2. Lær kjernekalkulusreglene: sum, produkt, kjede, maks og Fermat-regler.
3. Studer konvekse subdifferensialer og sammenlign dem med Clarke-subdifferensialer.
4. Gå videre til variasjonsanalyse: normalkjegler, koderiverte og bredere generaliserte differensieringsrammeverk.
5. Les nyere optimaliseringsartikler som bruker Clarke- eller Goldstein-subdifferensialer i algoritmer.

En praktisk førsteleseliste vil være:

• Clarkes arbeid om generaliserte gradienter og Clarke-generaliserte deriverte.
• Hiriart-Urrutys arbeid om generaliserte deriverte og ikke-glatt optimalisering.
• Rockafellars "Generalized Subgradients in Mathematical Programming."
• Nyere artikler som bruker Goldstein- eller Clarke-type subdifferensialer i ikke-glatt optimaliseringsalgoritmer og optimalitetsbetingelser.

1. Grunnleggende idé bak ikke-glatt analyse

• Klassisk kalkulus fungerer utmerket for glatte funksjoner, men mange viktige funksjoner er ikke-glatte, for eksempel:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • Avstandsfunksjoner
  • Verdifunksjoner i optimalisering/regulering
  • ReLU-type stykkevis-lineære tapsfunksjoner

• I stedet for å spørre etter én derivert, spør ikke-glatt analyse etter et sett med generaliserte deriverte.

• For en lokalt Lipschitz-funksjon f: R^n -> R introduserte Clarke generaliserte retningsderiverte og generaliserte gradienter som verktøy for ikke-glatt optimalisering.

2. Clarke-generaliserte retningsderiverte

For lokalt Lipschitz f, skrives Clarke-retningsderiverte ved x i retning v vanligvis som:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Sentrale punkter:

• Den er designet for lokalt Lipschitz ikke-glatte funksjoner.
• Den er positivt homogen og subadditiv i v i standard Clarke-teori.
• Den er vanligvis større enn eller lik den ordinære retningsderiverte når begge vurderes i sammenlignbare sammenhenger.
• Den fanger opp verste-tilfelle lokal retningsvekst nær x.

3. Clarke-subdifferensialet

Clarke-subdifferensialet er vanligvis definert som:

∂C f(x) = { ξ i R^n: f°(x; v) >= <ξ, v> for alle v i R^n }.

En ekvivalent standard beskrivelse for lokalt Lipschitz f er at Clarke-subdifferensialet er den konvekse hylsen av grenser for naboklassiske gradienter der funksjonen er deriverbar.

∂C f(x) = co { grenser av ∇f(x_k): x_k -> x, f deriverbar ved x_k }.

Her betyr co konveks hylse.

Sentrale egenskaper:

• ∂C f(x) er en mengdeverdig generalisert derivert for lokalt Lipschitz-funksjoner.
• I standard endelig-dimensjonal Clarke-teori er ∂C f(x) ikke-tom, kompakt og konveks for lokalt Lipschitz f.
• Hvis f er kontinuerlig deriverbar nær x, reduseres Clarke-subdifferensialet til den ordinære gradienten.

∂C f(x) = {∇f(x)}.

• Hvis f er konveks, er Clarke-subdifferensialet enig med det vanlige konvekse subdifferensialet i standard sammenhenger.

Eksempel:

f(x) = |x|.

Da er

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Dette er det grunnleggende eksemplet på hvordan et hjørne representeres av et helt intervall med mulige stigningstall.

4. Kalkulusregler for Clarke-subdifferensialet

La f, g: R^n -> R være lokalt Lipschitz nær x; Clarke-kalkulusreglene er en sentral del av ikke-glatt optimaliseringsteori.

Sumregel

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Under tilleggsregularitetsbetingelser kan likhet gjelde.

Skalarmultiplikasjon

For skalar a,

∂C(a f)(x) = a ∂C f(x).

Hvis a < 0, reflekteres mengden.

Produktregel

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Dette er en av standard inklusjonstype kalkulusregler i Clarke-subdifferensialkalkulus.

Kvotientregel

Hvis g(x) ≠ 0 og g er avgrenset borte fra null nær x, har standard kvotientregel formen:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Kjederegel

Hvis F: R^n -> R^m er strengt deriverbar ved x og φ: R^m -> R er lokalt Lipschitz nær F(x), oppgis Clarke-kjederegelen vanligvis som en inklusjon av følgende type:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Hvis φ er regulær i Clarkes forstand, er sterkere former tilgjengelige.

Maksregel

Hvis

f(x) = max { f1(x),..., fm(x) },

hvor hver fi er lokalt Lipschitz, definer den aktive indeksmengden

I(x) = { i: fi(x) = f(x) }.

Da gir standard Clarke-maksregel en inklusjon av følgende form:

∂C f(x) ⊂ co ⋃_{i i I(x)} ∂C fi(x).

Hvis fi er glatte, blir dette:

∂C f(x) ⊂ co { ∇fi(x): i i I(x) }.

For mange standard maks-funksjoner gjelder likhet under passende regularitetsantagelser.

Fermat-regel for ikke-glatt optimalisering

Hvis x er et lokalt minimumspunkt for lokalt Lipschitz f, er den ikke-glatte Fermat-betingelsen:

0 ∈ ∂C f(x).

Dette er den ikke-glatte analogen til ∇f(x)=0.

5. Klassiske artikler og bøker

• F. H. Clarkes arbeid om generaliserte gradienter er en grunnleggende kilde for Clarke-generaliserte deriverte i ikke-glatt analyse.

• Clarke-generaliserte retningsderiverte og generaliserte gradienter diskuteres i den endelig-dimensjonale ikke-glatt optimaliseringslitteraturen, inkludert arbeid av Hiriart-Urruty.

• Rockafellars arbeid om generaliserte subgradienter i matematisk programmering er en annen grunnleggende linje; den siterte artikkelen skisserer grunnleggende prinsipper for generaliserte retningsderiverte og subgradienter.

• Hiriart-Urrutys endelig-dimensjonale arbeid diskuterer Clarke-retningsderiverte, Clarke-generaliserte gradienter, kalkulusregler og anvendelser på ikke-glatt optimalisering.

6. Nyere litteratur og retninger

• Nyere forskning innen ikke-glatt optimalisering fortsetter å bruke Clarke-type objekter og beslektede relakseringer; for eksempel studerer en artikkel fra 2025 konvergenshastighet ved hjelp av Goldstein-subdifferensialet, beskrevet som en relaksert versjon av Clarke-subdifferensialet brukt i flere algoritmer.

• Clarke-generaliserte retningsderiverte fortsetter å dukke opp i optimalitetsbetingelser for mengdeoptimaliseringsproblemer; en artikkel fra 2025 studerer approksimative svake minimale løsninger ved hjelp av en ny Clarke-type generalisert derivert.

• Nylige publikasjoner av Rockafellar indikerer pågående arbeid innen mengdeverdig og ikke-glatt analyse, inkludert arbeid fra 2025 knyttet til variasjonsregning.

7. God lesevei

1. Start med Clarkes generaliserte retningsderiverte og subdifferensial.
2. Lær kjernekalkulusreglene: sum, produkt, kjede, maks og Fermat-regler.
3. Studer konvekse subdifferensialer og sammenlign dem med Clarke-subdifferensialer.
4. Gå videre til variasjonsanalyse: normalkjegler, koderiverte og bredere generaliserte differensieringsrammeverk.
5. Les nyere optimaliseringsartikler som bruker Clarke- eller Goldstein-subdifferensialer i algoritmer.

En praktisk førsteleseliste vil være:

• Clarkes arbeid om generaliserte gradienter og Clarke-generaliserte deriverte.
• Hiriart-Urrutys arbeid om generaliserte deriverte og ikke-glatt optimalisering.
• Rockafellars "Generalized Subgradients in Mathematical Programming."
• Nyere artikler som bruker Goldstein- eller Clarke-type subdifferensialer i ikke-glatt optimaliseringsalgoritmer og optimalitetsbetingelser.