1. Основна ідея негладкого аналізу

• Класичне числення добре працює для гладких функцій, але багато важливих функцій є негладкими, наприклад:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • функції відстані
  • функції значення (value functions) в оптимізації/керуванні
  • кусково-лінійні функції втрат типу ReLU

• Замість однієї похідної негладкий аналіз розглядає множину узагальнених похідних.

• Для локально ліпшицевої функції f: R^n -> R Кларк запровадив узагальнену похідну за напрямом та узагальнений градієнт як інструменти для негладкої оптимізації.

2. Узагальнена похідна Кларка за напрямом

Для локально ліпшицевої f узагальнена похідна Кларка за напрямом у точці x у напрямі v визначається як:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Ключові моменти:

• Визначена для локально ліпшицевих негладких функцій.
• Є додатно однорідною та субадитивною за v у стандартній теорії Кларка.
• Зазвичай більша або дорівнює звичайній похідній за напрямом, коли обидві існують.
• Відображає «найгірший» локальний ріст функції в околі точки x.

3. Субдиференціал Кларка

Субдиференціал Кларка визначається як:

∂C f(x) = { ξ ∈ R^n: f°(x; v) ≥ <ξ, v> для всіх v ∈ R^n }.

Еквівалентний опис для локально ліпшицевих f: це опукла оболонка границь градієнтів у точках, де функція диференційовна:

∂C f(x) = co { границі ∇f(x_k): x_k → x, f диференційовна в x_k }.

Тут co позначає опуклу оболонку.

Ключові властивості:

• ∂C f(x) — це множинне узагальнення похідної для локально ліпшицевих функцій.
• Для локально ліпшицевої f субдиференціал Кларка є непорожньою, компактною та опуклою множиною.
• Якщо f неперервно диференційовна поблизу x, то субдиференціал Кларка зводиться до звичайного градієнта: ∂C f(x) = {∇f(x)}.
• Для опуклих функцій субдиференціал Кларка збігається зі звичайним субдиференціалом опуклого аналізу.

Приклад:

f(x) = |x|.

Тоді

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Це класичний приклад, що показує, як «кут» функції представляється цілим інтервалом можливих нахилів.

4. Обчислювальні правила для субдиференціала Кларка

Нехай f, g: R^n → R — локально ліпшицеві поблизу x. Правила Кларка є центральною частиною теорії негладкої оптимізації.

Правило суми

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

За додаткових умов регулярності може виконуватися рівність.

Множення на скаляр

Для скаляра a:

∂C(a f)(x) = a ∂C f(x).

Якщо a < 0, множина віддзеркалюється.

Правило добутку

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Це один зі стандартних результатів типу включень у численні Кларка.

Правило частки

Якщо g(x) ≠ 0 і g відокремлена від нуля поблизу x:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Правило ланцюга

Якщо F: R^n → R^m є строго диференційовною в x, а φ: R^m → R — локально ліпшицевою поблизу F(x), то правило ланцюга Кларка має вигляд включення:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Якщо φ є регулярною за Кларком, доступні сильніші форми.

Правило максимуму

Якщо

f(x) = max { f1(x), ..., fm(x) },

де кожна fi локально ліпшицева, то для множини активних індексів I(x) = { i: fi(x) = f(x) } виконується:

∂C f(x) ⊂ co ⋃_{i ∈ I(x)} ∂C fi(x).

Якщо всі fi гладкі, то:

∂C f(x) ⊂ co { ∇fi(x): i ∈ I(x) }.

За певних умов регулярності може виконуватися рівність.

Правило Ферма для негладкої оптимізації

Якщо x — точка локального мінімуму локально ліпшицевої функції f, то виконується необхідна умова:

0 ∈ ∂C f(x).

Це негладкий аналог класичної умови ∇f(x)=0.

5. Класичні роботи та книги

• Роботи Ф. Г. Кларка про узагальнені градієнти є фундаментальними для цієї галузі.
• Узагальнені похідні Кларка та узагальнені градієнти детально розглядаються в літературі з негладкої оптимізації, зокрема в роботах Ж.-Б. Іріар-Уррюті.
• Роботи Р. Т. Рокафеллара про узагальнені субградієнти в математичному програмуванні є ще одним фундаментальним напрямком.
• Праця Іріар-Уррюті обговорює похідні Кларка за напрямом, узагальнені градієнти, обчислювальні правила та застосування до негладкої оптимізації в скінченновимірному випадку.

6. Сучасні напрямки досліджень (остання література)

• Сучасні дослідження з негладкої оптимізації продовжують використовувати об'єкти типу Кларка та пов'язані релаксації. Наприклад, робота 2025 року досліджує швидкість збіжності з використанням субдиференціала Ґольдштайна, який описується як релаксована версія субдиференціала Кларка, що використовується в кількох алгоритмах.
• Узагальнені похідні Кларка за напрямом продовжують з'являтися в умовах оптимальності для задач множинної оптимізації; робота 2025 року досліджує наближені слабкі мінімальні розв'язки з використанням нового типу узагальненої похідної Кларка.
• Нещодавні публікації Рокафеллара вказують на продовження роботи в галузі множинного та негладкого аналізу, включаючи роботу 2025 року, пов'язану з варіаційним численням.

7. Рекомендована послідовність вивчення

1. Почніть з узагальненої похідної Кларка за напрямом та субдиференціала.
2. Вивчіть основні обчислювальні правила: суми, добутку, ланцюга, максимуму та правило Ферма.
3. Ознайомтеся з субдиференціалами опуклих функцій та порівняйте їх із субдиференціалами Кларка.
4. Перейдіть до варіаційного аналізу: нормальні конуси, копохідні та ширші рамки узагальненого диференціювання.
5. Прочитайте сучасні роботи з оптимізації, які використовують субдиференціали Кларка або Ґольдштайна в алгоритмах.

Практичний список першочергового читання:

• Роботи Кларка про узагальнені градієнти.
• Робота Іріар-Уррюті про узагальнені похідні та негладку оптимізацію.
• Рокафеллара «Узагальнені субградієнти в математичному програмуванні».
• Сучасні статті з використанням субдиференціалів типу Ґольдштайна або Кларка в алгоритмах та умовах оптимальності.

1. Основна ідея негладкого аналізу

• Класичне числення добре працює для гладких функцій, але багато важливих функцій є негладкими, наприклад:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • функції відстані
  • функції значення (value functions) в оптимізації/керуванні
  • кусково-лінійні функції втрат типу ReLU

• Замість однієї похідної негладкий аналіз розглядає множину узагальнених похідних.

• Для локально ліпшицевої функції f: R^n -> R Кларк запровадив узагальнену похідну за напрямом та узагальнений градієнт як інструменти для негладкої оптимізації.

2. Узагальнена похідна Кларка за напрямом

Для локально ліпшицевої f узагальнена похідна Кларка за напрямом у точці x у напрямі v визначається як:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Ключові моменти:

• Визначена для локально ліпшицевих негладких функцій.
• Є додатно однорідною та субадитивною за v у стандартній теорії Кларка.
• Зазвичай більша або дорівнює звичайній похідній за напрямом, коли обидві існують.
• Відображає «найгірший» локальний ріст функції в околі точки x.

3. Субдиференціал Кларка

Субдиференціал Кларка визначається як:

∂C f(x) = { ξ ∈ R^n: f°(x; v) ≥ <ξ, v> для всіх v ∈ R^n }.

Еквівалентний опис для локально ліпшицевих f: це опукла оболонка границь градієнтів у точках, де функція диференційовна:

∂C f(x) = co { границі ∇f(x_k): x_k → x, f диференційовна в x_k }.

Тут co позначає опуклу оболонку.

Ключові властивості:

• ∂C f(x) — це множинне узагальнення похідної для локально ліпшицевих функцій.
• Для локально ліпшицевої f субдиференціал Кларка є непорожньою, компактною та опуклою множиною.
• Якщо f неперервно диференційовна поблизу x, то субдиференціал Кларка зводиться до звичайного градієнта: ∂C f(x) = {∇f(x)}.
• Для опуклих функцій субдиференціал Кларка збігається зі звичайним субдиференціалом опуклого аналізу.

Приклад:

f(x) = |x|.

Тоді

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Це класичний приклад, що показує, як «кут» функції представляється цілим інтервалом можливих нахилів.

4. Обчислювальні правила для субдиференціала Кларка

Нехай f, g: R^n → R — локально ліпшицеві поблизу x. Правила Кларка є центральною частиною теорії негладкої оптимізації.

Правило суми

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

За додаткових умов регулярності може виконуватися рівність.

Множення на скаляр

Для скаляра a:

∂C(a f)(x) = a ∂C f(x).

Якщо a < 0, множина віддзеркалюється.

Правило добутку

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Це один зі стандартних результатів типу включень у численні Кларка.

Правило частки

Якщо g(x) ≠ 0 і g відокремлена від нуля поблизу x:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Правило ланцюга

Якщо F: R^n → R^m є строго диференційовною в x, а φ: R^m → R — локально ліпшицевою поблизу F(x), то правило ланцюга Кларка має вигляд включення:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Якщо φ є регулярною за Кларком, доступні сильніші форми.

Правило максимуму

Якщо

f(x) = max { f1(x), ..., fm(x) },

де кожна fi локально ліпшицева, то для множини активних індексів I(x) = { i: fi(x) = f(x) } виконується:

∂C f(x) ⊂ co ⋃_{i ∈ I(x)} ∂C fi(x).

Якщо всі fi гладкі, то:

∂C f(x) ⊂ co { ∇fi(x): i ∈ I(x) }.

За певних умов регулярності може виконуватися рівність.

Правило Ферма для негладкої оптимізації

Якщо x — точка локального мінімуму локально ліпшицевої функції f, то виконується необхідна умова:

0 ∈ ∂C f(x).

Це негладкий аналог класичної умови ∇f(x)=0.

5. Класичні роботи та книги

• Роботи Ф. Г. Кларка про узагальнені градієнти є фундаментальними для цієї галузі.
• Узагальнені похідні Кларка та узагальнені градієнти детально розглядаються в літературі з негладкої оптимізації, зокрема в роботах Ж.-Б. Іріар-Уррюті.
• Роботи Р. Т. Рокафеллара про узагальнені субградієнти в математичному програмуванні є ще одним фундаментальним напрямком.
• Праця Іріар-Уррюті обговорює похідні Кларка за напрямом, узагальнені градієнти, обчислювальні правила та застосування до негладкої оптимізації в скінченновимірному випадку.

6. Сучасні напрямки досліджень (остання література)

• Сучасні дослідження з негладкої оптимізації продовжують використовувати об'єкти типу Кларка та пов'язані релаксації. Наприклад, робота 2025 року досліджує швидкість збіжності з використанням субдиференціала Ґольдштайна, який описується як релаксована версія субдиференціала Кларка, що використовується в кількох алгоритмах.
• Узагальнені похідні Кларка за напрямом продовжують з'являтися в умовах оптимальності для задач множинної оптимізації; робота 2025 року досліджує наближені слабкі мінімальні розв'язки з використанням нового типу узагальненої похідної Кларка.
• Нещодавні публікації Рокафеллара вказують на продовження роботи в галузі множинного та негладкого аналізу, включаючи роботу 2025 року, пов'язану з варіаційним численням.

7. Рекомендована послідовність вивчення

1. Почніть з узагальненої похідної Кларка за напрямом та субдиференціала.
2. Вивчіть основні обчислювальні правила: суми, добутку, ланцюга, максимуму та правило Ферма.
3. Ознайомтеся з субдиференціалами опуклих функцій та порівняйте їх із субдиференціалами Кларка.
4. Перейдіть до варіаційного аналізу: нормальні конуси, копохідні та ширші рамки узагальненого диференціювання.
5. Прочитайте сучасні роботи з оптимізації, які використовують субдиференціали Кларка або Ґольдштайна в алгоритмах.

Практичний список першочергового читання:

• Роботи Кларка про узагальнені градієнти.
• Робота Іріар-Уррюті про узагальнені похідні та негладку оптимізацію.
• Рокафеллара «Узагальнені субградієнти в математичному програмуванні».
• Сучасні статті з використанням субдиференціалів типу Ґольдштайна або Кларка в алгоритмах та умовах оптимальності.