Analiza Niesmooth: Rachunek Różniczkowy Clarke'a Krok po Kroku

Poniższe podsumowanie opiera się na standardowej teorii oraz dostarczonych źródłach literaturowych.

1. Podstawowa idea analizy niesmooth

• Klasyczny rachunek różniczkowy działa doskonale dla funkcji gładkich, ale wiele ważnych funkcji jest nieróżniczkowalnych, np.:
  • f(x)=|x| (wartość bezwzględna)
  • f(x)=max_i f_i(x) (maksimum skończonej rodziny funkcji)
  • funkcje odległości
  • funkcje wartości w optymalizacji i sterowaniu
  • funkcje straty typu ReLU w uczeniu maszynowym
• Zamiast jednej pochodnej, analiza niesmooth bada zbiór uogólnionych pochodnych .
• Dla funkcji lokalnie lipschitzowskiej f: R^n → R, Clarke wprowadził uogólnioną pochodną kierunkową i uogólniony gradient jako narzędzia optymalizacji niesmooth .

2. Uogólniona pochodna kierunkowa Clarke'a

Dla lokalnie lipschitzowskiej f, pochodna kierunkowa Clarke'a w punkcie x w kierunku v jest zdefiniowana jako :

f°(x; v) = limsup_{y → x, t ↓ 0} [f(y + t v) - f(y)] / t.

Najważniejsze cechy:

• Przeznaczona dla funkcji lokalnie lipschitzowskich i nieróżniczkowalnych .
• Jest dodatnio jednorodna i podaddytywna względem v w standardowej teorii Clarke'a .
• Zazwyczaj jest większa lub równa zwykłej pochodnej kierunkowej .
• Oddaje „najgorszy” lokalny wzrost kierunkowy w pobliżu x .

3. Subdyferencjał Clarke'a

Subdyferencjał Clarke'a definiuje się jako :

∂C f(x) = { ξ ∈ R^n: f°(x; v) ≥ ⟨ξ, v⟩ dla wszystkich v ∈ R^n }.

Równoważnie, dla funkcji lokalnie lipschitzowskiej f, subdyferencjał Clarke'a to otoczka wypukła granic klasycznych gradientów z punktów, w których funkcja jest różniczkowalna :

∂C f(x) = co { lim ∇f(x_k): x_k → x, f różniczkowalna w x_k }.

gdzie co oznacza otoczkę wypukłą.

Kluczowe własności:

• ∂C f(x) jest zbiorem – uogólnioną pochodną dla funkcji lokalnie lipschitzowskich .
• W standardowej, skończenie wymiarowej teorii, ∂C f(x) jest niepusty, zwarty i wypukły .
• Jeśli f jest ciągle różniczkowalna w otoczeniu x, to ∂C f(x) = {∇f(x)} .
• Jeśli f jest wypukła, subdyferencjał Clarke'a pokrywa się ze znanym z analizy wypukłej subdyferencjałem .

Przykład:

f(x) = |x|.

Wtedy:

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Ten przykład pokazuje, jak „załamanie” funkcji w zerze jest reprezentowane przez cały przedział możliwych nachyleń .

4. Reguły rachunku różniczkowego dla subdyferencjału Clarke'a

Niech f, g: R^n → R będą lokalnie lipschitzowskie w otoczeniu x. Reguły rachunku Clarke'a stanowią rdzeń teorii optymalizacji niesmooth .

Reguła sumy

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Przy dodatkowych warunkach regularności może zachodzić równość .

Mnożenie przez skalar

Dla skalara a:

∂C(a f)(x) = a ∂C f(x).

Jeśli a < 0, zbiór ulega odbiciu względem początku układu .

Reguła iloczynu

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Jest to standardowa reguła w postaci inkluzji .

Reguła ilorazu

Jeśli g(x) ≠ 0 i g jest oddalony od zera w otoczeniu x:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Reguła łańcuchowa

Jeśli F: R^n → R^m jest ściśle różniczkowalna w x, a φ: R^m → R lokalnie lipschitzowska w otoczeniu F(x), to :

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Jeśli φ jest regularna w sensie Clarke'a, możliwe są mocniejsze wersje .

Reguła maksimum

Jeśli:

f(x) = max { f1(x),..., fm(x) },

gdzie każde fi jest lokalnie lipschitzowskie, definiujemy zbiór indeksów aktywnych:

I(x) = { i: fi(x) = f(x) }.

Wówczas standardowa reguła maksimum Clarke'a daje inkluzję :

∂C f(x) ⊂ co ⋃_{i∈I(x)} ∂C fi(x).

Dla gładkich fi :

∂C f(x) ⊂ co { ∇fi(x): i ∈ I(x) }.

Dla wielu typowych funkcji regularnych zachodzi równość .

Reguła Fermata (warunek konieczny minimum)

Jeśli x jest lokalnym minimum funkcji lokalnie lipschitzowskiej f, to :

0 ∈ ∂C f(x).

Jest to niesmooth odpowiednik warunku ∇f(x)=0 .

5. Klasyczne prace i książki

• F.H. Clarke – prace o uogólnionych gradientach są fundamentem analizy niesmooth .
• Hiriart-Urruty – artykuły o pochodnych kierunkowych Clarke'a i rachunku różniczkowym w skończenie wymiarowej optymalizacji niesmooth .
• Rockafellar – prace o uogólnionych subgradientach w programowaniu matematycznym .

6. Najnowsze kierunki badań (2025)

• Badania nad tempem zbieżności algorytmów z wykorzystaniem subdyferencjału Goldsteina – złagodzonej wersji subdyferencjału Clarke'a .
• Uogólnione pochodne kierunkowe Clarke'a w warunkach optymalności dla problemów optymalizacji zbiorów .
• Nowe prace Rockafellara z 2025 roku dotyczące rachunku wariacyjnego i analizy zbiorów .

7. Sugerowana ścieżka nauki

1. Zapoznaj się z uogólnioną pochodną kierunkową i subdyferencjałem Clarke'a .
2. Naucz się podstawowych reguł rachunku: suma, iloczyn, łańcuchowa, maksimum i reguła Fermata .
3. Porównaj subdyferencjał wypukły i Clarke'a .
4. Przejdź do analizy wariacyjnej: stożki normalne, koderivatywy .
5. Przeczytaj najnowsze prace optymalizacyjne używające subdyferencjałów Clarke'a lub Goldsteina .

Podstawowa lista lektur:

• Clarke, prace o uogólnionych gradientach .
• Hiriart-Urruty, o pochodnych uogólnionych i optymalizacji niesmooth .
• Rockafellar, „Generalized Subgradients in Mathematical Programming” .
• Najnowsze artykuły o algorytmach i warunkach optymalności .