1. Ý tưởng cơ bản của giải tích phi trơn

• Phép tính vi phân cổ điển hoạt động tốt với các hàm trơn, nhưng nhiều hàm quan trọng lại không trơn (nonsmooth), ví dụ:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • Các hàm khoảng cách (distance functions)
  • Hàm giá trị trong tối ưu hóa/điều khiển
  • Các hàm mất mát piecewise-linear như ReLU trong học máy

• Thay vì tìm một đạo hàm duy nhất, giải tích phi trơn tìm kiếm một tập hợp các đạo hàm suy rộng.

• Đối với một hàm Lipschitz địa phương f: R^n -> R, Clarke đã giới thiệu đạo hàm có hướng suy rộng (generalized directional derivative) và gradient suy rộng (generalized gradient) làm công cụ cho tối ưu hóa phi trơn.

2. Đạo hàm có hướng suy rộng Clarke

Với hàm f Lipschitz địa phương, đạo hàm có hướng Clarke tại điểm x theo hướng v thường được viết là:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Các điểm chính:

• Được thiết kế cho các hàm phi trơn Lipschitz địa phương.
• Nó thuần nhất dương và dưới cộng tính (subadditive) trong v theo lý thuyết Clarke tiêu chuẩn.
• Nó thường lớn hơn hoặc bằng đạo hàm có hướng thông thường trong các thiết lập tương đương.
• Nó nắm bắt sự tăng trưởng có hướng cục bộ trong trường hợp xấu nhất gần x.

3. Dưới vi phân Clarke

Dưới vi phân Clarke thường được định nghĩa bởi:

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> for all v in R^n }.

Một mô tả tương đương tiêu chuẩn cho hàm Lipschitz địa phương f là dưới vi phân Clarke là bao lồi (convex hull) của các giới hạn của gradient cổ điển lân cận tại những điểm hàm số khả vi.

∂C f(x) = co { limits of ∇f(x_k): x_k -> x, f differentiable at x_k }.

Trong đó co là ký hiệu bao lồi.

Các tính chất chính:

• ∂C f(x) là một đạo hàm suy rộng dạng tập hợp (set-valued) cho hàm Lipschitz địa phương.
• Trong lý thuyết Clarke hữu hạn chiều tiêu chuẩn, ∂C f(x) là tập khác rỗng, compact và lồi với hàm f Lipschitz địa phương.
• Nếu f khả vi liên tục gần x, thì dưới vi phân Clarke thu gọn thành gradient thông thường.

∂C f(x) = {∇f(x)}.

• Nếu f là hàm lồi, dưới vi phân Clarke hoàn toàn trùng khớp với dưới vi phân thông thường trong giải tích lồi trong các thiết lập tiêu chuẩn.

Ví dụ:

f(x) = |x|.

Thì

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Đây là ví dụ cơ bản cho thấy một điểm gãy (corner) được biểu diễn bằng cả một khoảng các độ dốc có thể.

4. Các quy tắc tính toán cho dưới vi phân Clarke

Cho f, g: R^n -> R là các hàm Lipschitz địa phương gần x. Các quy tắc tính toán Clarke là phần trung tâm của lý thuyết tối ưu hóa phi trơn.

Quy tắc tổng

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Dưới các điều kiện chính quy bổ sung, dấu bao hàm (⊂) có thể trở thành đẳng thức (=).

Nhân vô hướng

Với vô hướng a,

∂C(a f)(x) = a ∂C f(x).

Nếu a < 0, tập hợp sẽ bị phản xạ (reflected).

Quy tắc tích

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Đây là một trong những quy tắc tính toán dạng bao hàm tiêu chuẩn.

Quy tắc thương

Nếu g(x) ≠ 0 và g bị chặn cách xa 0 gần x, quy tắc thương có dạng:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Quy tắc hàm hợp (Chain rule)

Nếu F: R^n -> R^m khả vi chặt (strictly differentiable) tại x và φ: R^m -> R Lipschitz địa phương gần F(x), quy tắc hàm hợp Clarke thường được phát biểu dưới dạng bao hàm sau:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Nếu φ là hàm chính quy (regular) theo nghĩa của Clarke, các dạng mạnh hơn có sẵn.

Quy tắc hàm max

Nếu

f(x) = max { f1(x),..., fm(x) },

với mỗi fi là Lipschitz địa phương, định nghĩa tập chỉ số hoạt động (active index set)

I(x) = { i: fi(x) = f(x) }.

Quy tắc max Clarke tiêu chuẩn cho một bao hàm có dạng:

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

Nếu các fi là hàm trơn, điều này trở thành:

∂C f(x) ⊂ co { ∇fi(x): i in I(x) }.

Đối với nhiều hàm max tiêu chuẩn, đẳng thức xảy ra dưới các giả định chính quy phù hợp.

Quy tắc Fermat cho tối ưu hóa phi trơn

Nếu x là một điểm cực tiểu địa phương (local minimizer) của hàm f Lipschitz địa phương, thì điều kiện Fermat phi trơn là:

0 ∈ ∂C f(x).

Đây là dạng tương tự phi trơn của điều kiện ∇f(x)=0.

5. Các bài báo và sách kinh điển

• Công trình của F. H. Clarke về gradient suy rộng là nền tảng cho các đạo hàm suy rộng Clarke trong giải tích phi trơn.

• Đạo hàm có hướng suy rộng và gradient suy rộng Clarke được thảo luận trong các tài liệu tối ưu hóa phi trơn hữu hạn chiều, bao gồm công trình của Hiriart-Urruty.

• Công trình của Rockafellar về dưới gradient suy rộng (generalized subgradients) trong quy hoạch toán học là một hướng nền tảng khác.

6. Các hướng nghiên cứu gần đây

• Nghiên cứu tối ưu hóa phi trơn gần đây tiếp tục sử dụng các đối tượng kiểu Clarke: một bài báo năm 2025 nghiên cứu tốc độ hội tụ bằng cách sử dụng dưới vi phân Goldstein, được mô tả như một phiên bản nới lỏng của dưới vi phân Clarke, được sử dụng trong một số thuật toán.

• Đạo hàm có hướng suy rộng Clarke tiếp tục xuất hiện trong các điều kiện tối ưu cho các bài toán tối ưu hóa tập hợp; một bài báo năm 2025 nghiên cứu các nghiệm tối thiểu yếu xấp xỉ sử dụng một đạo hàm suy rộng kiểu Clarke mới.

• Các ấn phẩm gần đây của Rockafellar cho thấy công việc liên tục trong giải tích phi trơn và giải tích đa trị, bao gồm công trình năm 2025 liên quan đến phép tính biến phân.

7. Lộ trình đọc hiệu quả

1. Bắt đầu với đạo hàm có hướng suy rộng và dưới vi phân Clarke.
2. Học các quy tắc tính toán cốt lõi: tổng, tích, hàm hợp, max và quy tắc Fermat.
3. Nghiên cứu dưới vi phân lồi và so sánh chúng với dưới vi phân Clarke.
4. Chuyển sang giải tích biến phân (variational analysis): nón pháp tuyến, đối đạo hàm (coderivatives), và các khung khổ đạo hàm suy rộng rộng hơn.
5. Đọc các bài báo tối ưu hóa gần đây sử dụng dưới vi phân Clarke hoặc Goldstein trong các thuật toán.

Danh sách đọc thực tế ban đầu nên bao gồm:

• Công trình của Clarke về gradient suy rộng và đạo hàm suy rộng Clarke.
• Công trình của Hiriart-Urruty về đạo hàm suy rộng và tối ưu hóa phi trơn.
• "Generalized Subgradients in Mathematical Programming" của Rockafellar.
• Các bài báo gần đây sử dụng dưới vi phân Goldstein hoặc kiểu Clarke trong các thuật toán tối ưu hóa phi trơn và điều kiện tối ưu.

1. Ý tưởng cơ bản của giải tích phi trơn

• Phép tính vi phân cổ điển hoạt động tốt với các hàm trơn, nhưng nhiều hàm quan trọng lại không trơn (nonsmooth), ví dụ:

  • f(x)=|x|
  • f(x)=max_i f_i(x)
  • Các hàm khoảng cách (distance functions)
  • Hàm giá trị trong tối ưu hóa/điều khiển
  • Các hàm mất mát piecewise-linear như ReLU trong học máy

• Thay vì tìm một đạo hàm duy nhất, giải tích phi trơn tìm kiếm một tập hợp các đạo hàm suy rộng.

• Đối với một hàm Lipschitz địa phương f: R^n -> R, Clarke đã giới thiệu đạo hàm có hướng suy rộng (generalized directional derivative) và gradient suy rộng (generalized gradient) làm công cụ cho tối ưu hóa phi trơn.

2. Đạo hàm có hướng suy rộng Clarke

Với hàm f Lipschitz địa phương, đạo hàm có hướng Clarke tại điểm x theo hướng v thường được viết là:

f°(x; v) = limsup_{y -> x, t ↓ 0} [f(y + t v) - f(y)] / t.

Các điểm chính:

• Được thiết kế cho các hàm phi trơn Lipschitz địa phương.
• Nó thuần nhất dương và dưới cộng tính (subadditive) trong v theo lý thuyết Clarke tiêu chuẩn.
• Nó thường lớn hơn hoặc bằng đạo hàm có hướng thông thường trong các thiết lập tương đương.
• Nó nắm bắt sự tăng trưởng có hướng cục bộ trong trường hợp xấu nhất gần x.

3. Dưới vi phân Clarke

Dưới vi phân Clarke thường được định nghĩa bởi:

∂C f(x) = { ξ in R^n: f°(x; v) >= <ξ, v> for all v in R^n }.

Một mô tả tương đương tiêu chuẩn cho hàm Lipschitz địa phương f là dưới vi phân Clarke là bao lồi (convex hull) của các giới hạn của gradient cổ điển lân cận tại những điểm hàm số khả vi.

∂C f(x) = co { limits of ∇f(x_k): x_k -> x, f differentiable at x_k }.

Trong đó co là ký hiệu bao lồi.

Các tính chất chính:

• ∂C f(x) là một đạo hàm suy rộng dạng tập hợp (set-valued) cho hàm Lipschitz địa phương.
• Trong lý thuyết Clarke hữu hạn chiều tiêu chuẩn, ∂C f(x) là tập khác rỗng, compact và lồi với hàm f Lipschitz địa phương.
• Nếu f khả vi liên tục gần x, thì dưới vi phân Clarke thu gọn thành gradient thông thường.

∂C f(x) = {∇f(x)}.

• Nếu f là hàm lồi, dưới vi phân Clarke hoàn toàn trùng khớp với dưới vi phân thông thường trong giải tích lồi trong các thiết lập tiêu chuẩn.

Ví dụ:

f(x) = |x|.

Thì

∂C f(x) =
  {-1},        x < 0
  [-1, 1],     x = 0
  {1},         x > 0.

Đây là ví dụ cơ bản cho thấy một điểm gãy (corner) được biểu diễn bằng cả một khoảng các độ dốc có thể.

4. Các quy tắc tính toán cho dưới vi phân Clarke

Cho f, g: R^n -> R là các hàm Lipschitz địa phương gần x. Các quy tắc tính toán Clarke là phần trung tâm của lý thuyết tối ưu hóa phi trơn.

Quy tắc tổng

∂C(f + g)(x) ⊂ ∂C f(x) + ∂C g(x).

Dưới các điều kiện chính quy bổ sung, dấu bao hàm (⊂) có thể trở thành đẳng thức (=).

Nhân vô hướng

Với vô hướng a,

∂C(a f)(x) = a ∂C f(x).

Nếu a < 0, tập hợp sẽ bị phản xạ (reflected).

Quy tắc tích

∂C(fg)(x) ⊂ f(x) ∂C g(x) + g(x) ∂C f(x).

Đây là một trong những quy tắc tính toán dạng bao hàm tiêu chuẩn.

Quy tắc thương

Nếu g(x) ≠ 0 và g bị chặn cách xa 0 gần x, quy tắc thương có dạng:

∂C(f/g)(x) ⊂ [g(x) ∂C f(x) - f(x) ∂C g(x)] / g(x)^2.

Quy tắc hàm hợp (Chain rule)

Nếu F: R^n -> R^m khả vi chặt (strictly differentiable) tại x và φ: R^m -> R Lipschitz địa phương gần F(x), quy tắc hàm hợp Clarke thường được phát biểu dưới dạng bao hàm sau:

∂C(φ ∘ F)(x) ⊂ DF(x)^T ∂C φ(F(x)).

Nếu φ là hàm chính quy (regular) theo nghĩa của Clarke, các dạng mạnh hơn có sẵn.

Quy tắc hàm max

Nếu

f(x) = max { f1(x),..., fm(x) },

với mỗi fi là Lipschitz địa phương, định nghĩa tập chỉ số hoạt động (active index set)

I(x) = { i: fi(x) = f(x) }.

Quy tắc max Clarke tiêu chuẩn cho một bao hàm có dạng:

∂C f(x) ⊂ co ⋃_{i in I(x)} ∂C fi(x).

Nếu các fi là hàm trơn, điều này trở thành:

∂C f(x) ⊂ co { ∇fi(x): i in I(x) }.

Đối với nhiều hàm max tiêu chuẩn, đẳng thức xảy ra dưới các giả định chính quy phù hợp.

Quy tắc Fermat cho tối ưu hóa phi trơn

Nếu x là một điểm cực tiểu địa phương (local minimizer) của hàm f Lipschitz địa phương, thì điều kiện Fermat phi trơn là:

0 ∈ ∂C f(x).

Đây là dạng tương tự phi trơn của điều kiện ∇f(x)=0.

5. Các bài báo và sách kinh điển

• Công trình của F. H. Clarke về gradient suy rộng là nền tảng cho các đạo hàm suy rộng Clarke trong giải tích phi trơn.

• Đạo hàm có hướng suy rộng và gradient suy rộng Clarke được thảo luận trong các tài liệu tối ưu hóa phi trơn hữu hạn chiều, bao gồm công trình của Hiriart-Urruty.

• Công trình của Rockafellar về dưới gradient suy rộng (generalized subgradients) trong quy hoạch toán học là một hướng nền tảng khác.

6. Các hướng nghiên cứu gần đây

• Nghiên cứu tối ưu hóa phi trơn gần đây tiếp tục sử dụng các đối tượng kiểu Clarke: một bài báo năm 2025 nghiên cứu tốc độ hội tụ bằng cách sử dụng dưới vi phân Goldstein, được mô tả như một phiên bản nới lỏng của dưới vi phân Clarke, được sử dụng trong một số thuật toán.

• Đạo hàm có hướng suy rộng Clarke tiếp tục xuất hiện trong các điều kiện tối ưu cho các bài toán tối ưu hóa tập hợp; một bài báo năm 2025 nghiên cứu các nghiệm tối thiểu yếu xấp xỉ sử dụng một đạo hàm suy rộng kiểu Clarke mới.

• Các ấn phẩm gần đây của Rockafellar cho thấy công việc liên tục trong giải tích phi trơn và giải tích đa trị, bao gồm công trình năm 2025 liên quan đến phép tính biến phân.

7. Lộ trình đọc hiệu quả

1. Bắt đầu với đạo hàm có hướng suy rộng và dưới vi phân Clarke.
2. Học các quy tắc tính toán cốt lõi: tổng, tích, hàm hợp, max và quy tắc Fermat.
3. Nghiên cứu dưới vi phân lồi và so sánh chúng với dưới vi phân Clarke.
4. Chuyển sang giải tích biến phân (variational analysis): nón pháp tuyến, đối đạo hàm (coderivatives), và các khung khổ đạo hàm suy rộng rộng hơn.
5. Đọc các bài báo tối ưu hóa gần đây sử dụng dưới vi phân Clarke hoặc Goldstein trong các thuật toán.

Danh sách đọc thực tế ban đầu nên bao gồm:

• Công trình của Clarke về gradient suy rộng và đạo hàm suy rộng Clarke.
• Công trình của Hiriart-Urruty về đạo hàm suy rộng và tối ưu hóa phi trơn.
• "Generalized Subgradients in Mathematical Programming" của Rockafellar.
• Các bài báo gần đây sử dụng dưới vi phân Goldstein hoặc kiểu Clarke trong các thuật toán tối ưu hóa phi trơn và điều kiện tối ưu.