Негладкий анализ и субдифференциал Кларка: от основ до современной литературы

Я попытался проанализировать приложенный файл getPDF.jsp(nonsmooth).pdf, но его текст оказался нечитаемым, поэтому ниже приведено изложение на основе стандартной теории и предоставленных литературных источников.

1. Основная идея негладкого анализа

• Классическое исчисление хорошо работает для гладких функций, но многие важные функции являются негладкими, например:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • функции расстояния
  • функции ценности в задачах оптимизации и управления
  • кусочно-линейные функции потерь типа ReLU

• Вместо одной производной негладкий анализ предлагает множество обобщённых производных .

• Для локально липшицевых функций f: R^n -> R Кларк ввёл обобщённые производные по направлению и обобщённые градиенты как инструменты для негладкой оптимизации .

2. Обобщённая производная Кларка по направлению

Для локально липшицевой f производная Кларка по направлению в точке x в направлении v обычно записывается так :

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Ключевые моменты:

• Определена для локально липшицевых негладких функций .
• Положительно однородна и субаддитивна по v в стандартной теории Кларка .
• Обычно больше или равна обычной производной по направлению, когда обе рассматриваются в сопоставимых условиях .
• Отражает наихудший локальный рост функции вблизи точки x .

3. Субдифференциал Кларка

Субдифференциал Кларка обычно определяется так :

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> для всех v in R^n }.

Эквивалентное стандартное описание для локально липшицевых f :

∂C f(x) = co { пределы ∇f(x_k): x_k -> x, f дифференцируема в x_k }.

Здесь co означает выпуклую оболочку.

Ключевые свойства:

• ∂C f(x) — многозначная обобщённая производная для локально липшицевых функций .
• В стандартной конечномерной теории Кларка ∂C f(x) непусто, компактно и выпукло для локально липшицевых f .
• Если f непрерывно дифференцируема вблизи x, субдифференциал Кларка сводится к обычному градиенту :

∂C f(x) = {∇f(x)}.

• Если f выпукла, субдифференциал Кларка совпадает с обычным субдифференциалом выпуклого анализа .

Пример:

f(x) = |x|.

Тогда

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Это стандартный базовый пример, показывающий, как точка излома представляется целым интервалом возможных наклонов .

4. Правила исчисления для субдифференциала Кларка

Пусть f, g: R^n -> R локально липшицевы вблизи x; правила исчисления Кларка — центральная часть теории негладкой оптимизации .

Правило суммы

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

При дополнительных условиях регулярности может выполняться равенство .

Умножение на скаляр

Для скаляра a:

∂C(a f)(x) = a ∂C f(x).

Если a < 0, множество отражается .

Правило произведения

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Это одно из стандартных правил включения в исчислении субдифференциала Кларка .

Правило частного

Если g(x) ≠ 0 и g ограничена от нуля вблизи x, то :

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Цепное правило

Если F: R^n -> R^m строго дифференцируема в x, а φ: R^m -> R локально липшицева вблизи F(x), то цепное правило Кларка обычно формулируется как включение :

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Если φ регулярна по Кларку, возможны более сильные формулировки .

Правило максимума

Пусть

f(x) = max { f1(x),..., fm(x) },

где каждая fi локально липшицева. Определим множество активных индексов

I(x) = { i: fi(x) = f(x) }.

Тогда правило максимума Кларка даёт включение :

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

Если fi гладкие, то :

∂C f(x) ⊂ co { ∇fi(x): i in I(x) }.

Для многих стандартных функций максимума равенство выполняется при соответствующих предположениях регулярности .

Условие Ферма для негладкой оптимизации

Если x — точка локального минимума локально липшицевой f, то негладкое условие Ферма :

0 ∈ ∂C f(x).

Это негладкий аналог условия ∇f(x)=0 .

5. Классические работы и книги

• Работы Ф. Х. Кларка по обобщённым градиентам являются основополагающими для обобщённых производных Кларка в негладком анализе .

• Обобщённые производные Кларка по направлению и обобщённые градиенты рассматриваются в литературе по конечномерной негладкой оптимизации, в том числе в работах Хириарт-Уррути .

• Работы Рокафеллара по обобщённым субградиентам в математическом программировании представляют собой ещё одно фундаментальное направление; цитируемая статья излагает основы обобщённых производных по направлению и субградиентов .

• Работа Хириарт-Уррути по конечномерным задачам освещает производные Кларка по направлению, обобщённые градиенты Кларка, правила исчисления и приложения к негладкой оптимизации .

6. Современные направления исследований

• Современные исследования по негладкой оптимизации продолжают использовать объекты типа Кларка и родственные релаксации; например, работа 2025 года изучает скорость сходимости с использованием субдифференциала Гольдштейна, который описывается как релаксированная версия субдифференциала Кларка, применяемая в нескольких алгоритмах .

• Обобщённые производные Кларка по направлению продолжают появляться в условиях оптимальности для задач оптимизации множеств; работа 2025 года исследует приближённые слабые минимальные решения с использованием новой обобщённой производной типа Кларка .

• Недавние публикации Рокафеллара указывают на продолжающуюся работу в области многозначного и негладкого анализа, включая работу 2025 года, связанную с вариационным исчислением .

7. Рекомендуемый порядок изучения

1. Начните с обобщённой производной Кларка по направлению и субдифференциала .
2. Изучите основные правила исчисления: суммы, произведения, цепное правило, правило максимума и условие Ферма .
3. Изучите субдифференциалы выпуклых функций и сравните их с субдифференциалами Кларка .
4. Перейдите к вариационному анализу: нормальные конусы, кодифференциалы и более широкие框架 обобщённого дифференцирования .
5. Читайте современные работы по оптимизации, использующие субдифференциалы Кларка или Гольдштейна в алгоритмах .

Практический начальный список для чтения:

• Работы Кларка по обобщённым градиентам и обобщённым производным Кларка .
• Работа Хириарт-Уррути по обобщённым производным и негладкой оптимизации .
• Рокафеллар, «Обобщённые субградиенты в математическом программировании» .
• Недавние работы, использующие субдифференциалы Гольдштейна или Кларка в алгоритмах негладкой оптимизации и условиях оптимальности .