ทำความรู้จัก Nonsmooth Analysis และกฎแคลคูลัสของ Clark Subdifferential

ทำความรู้จัก Nonsmooth Analysis

Nonsmooth Analysis คือการขยายขอบเขตของแคลคูลัสเชิงอนุพันธ์ (Differential Calculus) ไปสู่ฟังก์ชันที่ไม่สามารถหาอนุพันธ์ได้ในแบบดั้งเดิม โดยเฉพาะฟังก์ชันที่เรียกว่า Locally Lipschitz Function

ฟังก์ชันเหล่านี้พบได้บ่อยมากในชีวิตจริงและในงานด้านวิศวกรรม เช่น:

• ฟังก์ชันค่าสัมบูรณ์

  f(x) = |x|

  ซึ่งมีมุมแหลมที่จุด 0
• ฟังก์ชันค่าสูงสุด

  f(x) = max_i f_i(x)

• ฟังก์ชันระยะทาง (Distance Functions)
• ฟังก์ชันค่าเสียหายในปัญหาการควบคุมและการหาค่าเหมาะที่สุด
• ฟังก์ชัน ReLU และ Piecewise-Linear Losses ใน Deep Learning

แทนที่จะหาค่าอนุพันธ์เพียงค่าเดียว Nonsmooth Analysis จะถามหา เซตของอนุพันธ์ทั่วไป (a Set of Generalized Derivatives)

Clarke Generalized Directional Derivative

สำหรับฟังก์ชัน f ที่เป็น Locally Lipschitz อนุพันธ์เชิงทิศทางแบบทั่วไปของ Clarke (Clarke Directional Derivative) ที่จุด x ในทิศทาง v นิยามโดย :

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

ประเด็นสำคัญ:

• ออกแบบมาเพื่อฟังก์ชันที่ไม่เรียบแต่เป็น Locally Lipschitz
• มีคุณสมบัติเป็น Positive Homogeneous และ Subadditive ในทิศทาง v
• ส่วนใหญ่แล้วจะมีค่ามากกว่าหรือเท่ากับอนุพันธ์เชิงทิศทางแบบธรรมดา
• มันจับอัตราการเติบโตเฉพาะที่ในทิศทางแย่ที่สุด (Worst-case Local Directional Growth) ใกล้ ๆ จุด x

Clarke Subdifferential

Clarke Subdifferential หรือ Clarke Generalized Gradient นิยามโดย :

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> สำหรับทุก v in R^n }.

สำหรับฟังก์ชัน Locally Lipschitz นั้นก็สามารถอธิบายได้อีกแบบว่าเป็น Convex Hull ของลิมิตของเกรเดียนต์คลาสสิก ของจุดใกล้เคียงที่มีอนุพันธ์ :

∂C f(x) = co { limits of ∇f(x_k): x_k -> x, f differentiable at x_k }.

โดย co หมายถึง Convex Hull

คุณสมบัติสำคัญ:

• ∂C f(x)

  เป็นอนุพันธ์ทั่วไปแบบ Set-Valued สำหรับ Locally Lipschitz Functions
• ในทฤษฎี Clarke แบบ Finite-Dimensional

  ∂C f(x)

  จะ ไม่เป็นเซตว่าง มีขอบเขต (Compact) และเป็น Convex
• ถ้า f มีอนุพันธ์ต่อเนื่อง (Continuously Differentiable) ใกล้ x แล้ว Clarke Subdifferential จะลดรูปเป็น Gradient ธรรมดา:

  ∂C f(x) = {∇f(x)}

• ถ้า f เป็นฟังก์ชัน Convex Clarke Subdifferential จะตรงกับ Subdifferential ทั่วไปใน Convex Analysis

ตัวอย่างสุดคลาสสิก:

f(x) = |x|

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

ที่จุด 0 (มุมแหลม) Clarke Subdifferential จะเป็นช่วง

[-1, 1]

กฎแคลคูลัสของ Clarke Subdifferential

ให้

f, g: R^n -> R

กฎผลบวก (Sum Rule)

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

ภายใต้เงื่อนไขความสม่ำเสมอเพิ่มเติม อาจได้ว่าเท่ากัน

กฎการคูณด้วยสเกลาร์ (Scalar Multiplication)

∂C(a f)(x) = a ∂C f(x).

กฎผลคูณ (Product Rule)

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

กฎผลหาร (Quotient Rule)

ถ้า

g(x) ≠ 0

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

กฎลูกโซ่ (Chain Rule)

ถ้า

F: R^n -> R^m

φ: R^m -> R

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

กฎค่าสูงสุด (Max Rule)

ถ้า

f(x) = max { f1(x),..., fm(x) }

I(x) = { i: fi(x) = f(x) }

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

กฎของแฟร์มาต์สำหรับ Nonsmooth Optimization

ถ้า x เป็นจุดหาค่าต่ำสุดเฉพาะที่ของฟังก์ชัน Locally Lipschitz f แล้ว :

0 ∈ ∂C f(x).

ซึ่งคือเงื่อนไขแบบไม่เรียบที่เทียบเท่ากับ ∇f(x)=0 ในแคลคูลัสทั่วไป

เอกสารคลาสสิกและหนังสือสำคัญ

• F. H. Clarke เป็นผู้บุกเบิกแนวคิด Generalized Gradient โดยผลงานเรื่อง "Generalized Gradients and Applications" (1975) เป็นรากฐานของทฤษฎีนี้
• Jean-Baptiste Hiriart-Urruty มีงานสำคัญในปี 1982 เรื่อง "Generalized derivatives and nonsmooth optimization, a finite..." ซึ่งอธิบาย Clarke Directional Derivative, Clarke Generalized Gradient และกฎแคลคูลัสต่าง ๆ
• R. T. Rockafellar มีผลงานคลาสสิก "Generalized Subgradients in Mathematical Programming" ที่อธิบายทฤษฎี Generalized Directional Derivatives และ Subgradients

งานวิจัยล่าสุด (2025)

ทฤษฎีของ Clarke ยังคงถูกใช้และพัฒนาอย่างต่อเนื่อง:

• Goldstein Subdifferential: งานวิจัยในปี 2025 ศึกษาเรื่องความเร็วการลู่เข้าของอัลกอริทึม โดยใช้ Goldstein Subdifferential ซึ่งเป็นเวอร์ชันที่ "ผ่อนปรน" (Relaxed) ของ Clarke Subdifferential
• Set Optimization: งานวิจัยในเดือนตุลาคม 2025 ใช้ Clarke-type Generalized Derivative แบบใหม่เพื่อศึกษาเงื่อนไขหาค่าเหมาะที่สุดสำหรับ Set Optimization Problems
• งานของ Rockafellar (2025): ยังคงมีผลงานตีพิมพ์เกี่ยวกับ Set-Valued and Nonsmooth Analysis ที่เชื่อมโยงกับ Calculus of Variations

เส้นทางการเรียนรู้ที่แนะนำ

1. เริ่มจาก Clarke Generalized Directional Derivative และ Subdifferential
2. เรียนรู้กฎแคลคูลัสหลัก: Sum, Product, Chain, Max, Fermat Rules
3. ศึกษา Convex Subdifferentials เปรียบเทียบกับ Clarke Subdifferentials
4. ต่อยอดสู่ Variational Analysis: Normal Cones, Coderivatives
5. อ่านงานวิจัยล่าสุดที่ใช้ Clarke หรือ Goldstein Subdifferential ในอัลกอริทึม