Nehladká analýza a Clarkův subdiferenciál: Průvodce teorií, výpočetními pravidly a literaturou

1. Základní myšlenka nehladké analýzy

• Klasický diferenciální počet funguje skvěle pro hladké funkce, ale mnoho důležitých funkcí je nehladkých, například:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • funkce vzdálenosti
  • hodnotové funkce v optimalizaci a řízení
  • po částech lineární ztrátové funkce typu ReLU

• Místo jedné derivace se nehladká analýza ptá na množinu zobecněných derivací.

• Pro lokálně lipschitzovskou funkci f: R^n -> R zavedl Clarke zobecněné směrové derivace a zobecněné gradienty jako nástroje pro nehladkou optimalizaci.

2. Clarkův zobecněný směrový derivát

Pro lokálně lipschitzovskou f se Clarkův směrový derivát v bodě x ve směru v obvykle zapisuje jako:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Klíčové body:

• Je navržen pro lokálně lipschitzovské nehladké funkce.
• Je pozitivně homogenní a subaditivní v v ve standardní Clarkově teorii.
• Obvykle je větší nebo roven obyčejnému směrovému derivátu, pokud jsou oba uvažovány ve srovnatelných podmínkách.
• Zachycuje nejhorší možné lokální směrové chování funkce v okolí x.

3. Clarkův subdiferenciál

Clarkův subdiferenciál je běžně definován jako:

∂C f(x) = { ξ v R^n: f°(x; v) >= <ξ, v> pro všechna v v R^n }.

Ekvivalentní standardní popis pro lokálně lipschitzovskou f říká, že Clarkův subdiferenciál je konvexní obal limit gradientů z okolních bodů, kde je funkce diferencovatelná.

∂C f(x) = co { limity ∇f(x_k): x_k -> x, f diferencovatelná v x_k }.

Zde co znamená konvexní obal.

Klíčové vlastnosti:

• ∂C f(x) je množinová zobecněná derivace pro lokálně lipschitzovské funkce.
• Ve standardní konečně-dimenzionální Clarkově teorii je ∂C f(x) neprázdná, kompaktní a konvexní pro lokálně lipschitzovskou f.
• Pokud je f spojitě diferencovatelná v okolí x, pak Clarkův subdiferenciál splývá s obyčejným gradientem.

∂C f(x) = {∇f(x)}.

• Pokud je f konvexní, Clarkův subdiferenciál souhlasí s obvyklým subdiferenciálem z konvexní analýzy ve standardních podmínkách.

Příklad:

f(x) = |x|.

Potom

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Toto je standardní základní příklad ukazující, jak je „roh" funkce reprezentován celým intervalem možných směrnic.

4. Výpočetní pravidla pro Clarkův subdiferenciál

Nechť f, g: R^n -> R jsou lokálně lipschitzovské v okolí x; Clarkova výpočetní pravidla jsou ústřední součástí teorie nehladké optimalizace.

Pravidlo pro součet

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Za dalších podmínek regularity může platit rovnost.

Násobení skalárem

Pro skalár a,

∂C(a f)(x) = a ∂C f(x).

Pokud a < 0, množina se zrcadlí.

Pravidlo pro součin

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Toto je jedno ze standardních inkluzivních výpočetních pravidel v Clarkově subdiferenciálním počtu.

Pravidlo pro podíl

Pokud g(x) ≠ 0 a g je v okolí x omezená od nuly, standardní pravidlo pro podíl má tvar:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Řetězové pravidlo

Pokud je F: R^n -> R^m striktně diferencovatelná v x a φ: R^m -> R je lokálně lipschitzovská v okolí F(x), Clarkovo řetězové pravidlo je obvykle formulováno jako inkluze následujícího typu:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Pokud je φ regulární v Clarkově smyslu, jsou k dispozici silnější tvary.

Pravidlo pro maximum

Pokud

f(x) = max { f1(x),..., fm(x) },

kde každé fi je lokálně lipschitzovské, definujeme indexovou množinu aktivních omezení

I(x) = { i: fi(x) = f(x) }.

Pak standardní Clarkovo pravidlo pro maximum dává inkluzi následujícího tvaru:

∂C f(x) ⊂ co ⋃_{i v I(x)} ∂C fi(x).

Pokud jsou fi hladké, stane se z toho:

∂C f(x) ⊂ co { ∇fi(x): i v I(x) }.

Pro mnoho standardních funkcí maxima platí rovnost za vhodných předpokladů regularity.

Fermatovo pravidlo pro nehladkou optimalizaci

Pokud je x lokálním minimizérem lokálně lipschitzovské f, pak nehladká Fermatova podmínka zní:

0 ∈ ∂C f(x).

Toto je nehladká obdoba podmínky ∇f(x)=0.

5. Klasické práce a knihy

• Práce F. H. Clarka o zobecněných gradientech je základním zdrojem pro Clarkovy zobecněné derivace v nehladké analýze.

• Clarkovy zobecněné směrové derivace a zobecněné gradienty jsou diskutovány v literatuře o konečně-dimenzionální nehladké optimalizaci, včetně prací Hiriart-Urrutyho.

• Rockafellarova práce o zobecněných subgradientech v matematickém programování je další základní linií; citovaný článek nastiňuje základy teorie zobecněných směrových derivací a subgradientů.

• Hiriart-Urrutyho konečně-dimenzionální práce pojednává o Clarkových směrových derivacích, Clarkových zobecněných gradientech, výpočetních pravidlech a aplikacích v nehladké optimalizaci.

6. Směry v nejnovější literatuře

• Současný výzkum nehladké optimalizace nadále používá Clarkovy objekty a příbuzná relaxace; například článek z roku 2025 studuje rychlost konvergence pomocí Goldsteinova subdiferenciálu, který je popisován jako relaxovaná verze Clarkova subdiferenciálu používaná v několika algoritmech.

• Clarkovy zobecněné směrové derivace se nadále objevují v podmínkách optimality pro problémy optimalizace množin; článek z roku 2025 studuje aproximativně slabá minimální řešení pomocí nového Clarkova typu zobecněné derivace.

• Nedávné Rockafellarovy publikace naznačují pokračující práci v množinové a nehladké analýze, včetně práce z roku 2025 spojené s variačním počtem.

7. Dobrá cesta ke studiu

1. Začněte s Clarkovým zobecněným směrovým derivátem a subdiferenciálem.
2. Naučte se základní výpočetní pravidla: součet, součin, řetězové pravidlo, pravidlo pro maximum a Fermatovo pravidlo.
3. Studujte konvexní subdiferenciály a porovnejte je s Clarkovými subdiferenciály.
4. Přesuňte se k variační analýze: normální kužely, kodiferencály a širší rámce zobecněné diferenciace.
5. Čtěte nedávné články o optimalizaci používající Clarkovy nebo Goldsteinovy subdiferenciály v algoritmech.

Praktický první seznam četby by byl:

• Clarkova práce o zobecněných gradientech a Clarkových zobecněných derivacích.
• Hiriart-Urrutyho práce o zobecněných derivacích a nehladké optimalizaci.
• Rockafellarův „Generalized Subgradients in Mathematical Programming".
• Nedávné články používající Goldsteinovy nebo Clarkovy subdiferenciály v nehladkých optimalizačních algoritmech a podmínkách optimality.