“Suy giảm quy kết”: Vì sao ảnh AI ngày càng khó lần về dữ liệu huấn luyện?

Độ chênh lệch lớn nhất giữa đầu ra gốc và các đầu ra phản thực được gọi là “bán kính phản thực” (counterfactual radius). Đây là thước đo mức độ một đơn vị dữ liệu bị loại bỏ có thể làm thay đổi kết quả.

“Suy giảm quy kết” thực sự có nghĩa gì?

Bán kính phản thực giảm khi tập dữ liệu huấn luyện lớn hơn. Nói cách khác, việc xóa một ảnh ngày càng tạo ra kết quả khó phân biệt với đầu ra ban đầu theo phép đo của nghiên cứu.

Hệ quả nghe có vẻ ngược trực giác: thêm dữ liệu huấn luyện có thể khiến một ảnh được tạo ra khó quy về bất kỳ ví dụ riêng lẻ nào hơn, ngay cả khi ví dụ đó từng nằm trong tập huấn luyện. Mô hình có thể học những đặc điểm rộng và chồng lấn từ rất nhiều nguồn, thay vì phụ thuộc vào một hình ảnh duy nhất để tạo ra một kết quả cụ thể.

Ở quy mô đủ lớn, hiện tượng này không chỉ xuất hiện với từng ảnh. Nghiên cứu cho biết việc xóa toàn bộ ảnh của một nghệ sĩ, hoặc toàn bộ ảnh chụp một người cụ thể, cũng có thể khiến mẫu được tạo ra gần như không thay đổi trong bối cảnh thử nghiệm phản thực.

Đó là lý do các nhà nghiên cứu gọi đây là “suy giảm” thay vì đơn giản là công cụ truy vết chưa đủ mạnh. Vấn đề có thể nằm ở chính mối liên hệ nhân quả: đóng góp của một nguồn riêng lẻ bị phân tán quá rộng để cô lập trong một đầu ra cụ thể.

Tác động có thể có đối với các vụ kiện bản quyền

“Suy giảm quy kết” có thể khiến một cách lập luận bản quyền cụ thể trở nên khó chứng minh hơn: cho rằng một đầu ra tranh chấp là kết quả trực tiếp của các tác phẩm thuộc về một nghệ sĩ cụ thể, hoặc của những bản sao các tác phẩm đó trong dữ liệu huấn luyện. Nếu việc xóa toàn bộ kho tác phẩm của nghệ sĩ không làm đầu ra thay đổi đáng kể, bên nguyên đơn sẽ khó lập luận rằng kho tác phẩm đó là yếu tố riêng lẻ cần thiết cho chính hình ảnh đang tranh chấp theo phép thử nhân quả này.

Điều này đáng chú ý trong các tranh chấp liên quan đến công cụ tạo ảnh thương mại và cáo buộc mô hình sao chép phong cách nghệ sĩ. Việc huấn luyện trên quy mô lớn có thể làm suy yếu câu chuyện đơn giản rằng một đầu ra dễ nhận diện là sản phẩm trực tiếp của một tác phẩm hoặc một nghệ sĩ cụ thể. Vì vậy, nghiên cứu được nhận định có thể khiến các vụ việc sở hữu trí tuệ liên quan đến hệ thống tạo ảnh trở nên phức tạp hơn.

Tuy nhiên, nghiên cứu không kết luận một công ty có vi phạm bản quyền hay không, cũng không tự tạo ra một lá chắn pháp lý. Tranh chấp bản quyền có thể liên quan đến nhiều câu hỏi khác: tác phẩm được bảo hộ có bị sao chép trong quá trình huấn luyện hay không, đầu ra có tương đồng đáng kể với tác phẩm được bảo hộ hay không, hệ thống có thể tái tạo tác phẩm dưới những câu lệnh nào, cũng như thiệt hại hoặc nghĩa vụ hợp đồng có thể phát sinh. “Không thể quy kết” về mặt kỹ thuật không đồng nghĩa với “không sao chép” về mặt pháp lý.

Vì sao nghiên cứu không chứng minh rằng AI không ghi nhớ?

Thí nghiệm kiểm tra độ nhạy của đầu ra khi các đơn vị dữ liệu huấn luyện bị loại bỏ. Nó không kiểm tra mọi cách mà mô hình có thể lưu giữ hoặc tái tạo thông tin.

Một mô hình có thể cho thấy mức phụ thuộc rất thấp vào từng ảnh riêng lẻ trong phép thử xóa dữ liệu của tổ hợp, nhưng vẫn tái tạo một tác phẩm cụ thể với một số câu lệnh hoặc điều kiện lấy mẫu nhất định. Một đầu ra cũng có thể giống tác phẩm được bảo hộ ngay cả khi không thể chứng minh một ảnh huấn luyện duy nhất là yếu tố có tính nhân quả bắt buộc để tạo ra đầu ra đó.

Nói cách khác, ba mệnh đề sau không giống nhau:

• Hình ảnh này đã ảnh hưởng đến đầu ra: phép thử xóa dữ liệu cho thấy đầu ra thay đổi ở mức đo được khi ảnh hưởng của hình ảnh bị loại bỏ.
• Mô hình đã nhìn thấy hoặc lưu giữ hình ảnh: mô hình từng được tiếp xúc với hình ảnh đó, hoặc có thể đã ghi nhớ một số đặc điểm của nó.
• Đầu ra sao chép tác phẩm được bảo hộ: đây là kết luận pháp lý và kỹ thuật cần thêm bằng chứng.

“Suy giảm quy kết” trực tiếp giải quyết câu hỏi đầu tiên. Nó không khép lại câu hỏi thứ hai hay thứ ba.

Kết quả này chưa thể áp dụng cho mô hình ngôn ngữ lớn

Nghiên cứu tập trung vào các mô hình tạo ảnh dựa trên khuếch tán và những dạng nội dung nghe nhìn liên quan. Không nên tự động suy rộng kiến trúc tổ hợp hoặc xu hướng tỷ lệ quan sát được trong nghiên cứu sang các mô hình ngôn ngữ lớn dựa trên Transformer.

Mô hình ngôn ngữ có kiến trúc, quy trình huấn luyện, cách biểu diễn token và cơ chế tạo đầu ra khác với mô hình khuếch tán. Nghiên cứu có thể gợi mở một hướng thử nghiệm cho việc truy nguyên dữ liệu trong tương lai, nhưng chưa chứng minh rằng dạng suy giảm quy kết tương tự cũng xảy ra ở các mô hình ngôn ngữ lớn.

Các bên điều tra vẫn cần xem xét gì?

Khi câu hỏi là một hệ thống AI có sao chép tác phẩm hay không, suy giảm quy kết chỉ là một mảnh ghép. Tòa án và các nhà điều tra kỹ thuật vẫn có thể cần xem xét:

• hệ thống có thể tái tạo một tác phẩm cụ thể khi sử dụng các câu lệnh được kiểm soát hay không;
• mức độ tương đồng hình ảnh giữa đầu ra và tác phẩm bị cho là đã bị sao chép;
• nguồn gốc dữ liệu, quyền tiếp cận và hồ sơ liên quan đến dữ liệu huấn luyện;
• kết quả kiểm toán mô hình và tài liệu mô tả hệ thống;
• đầu ra phản ánh một phong cách chung hay những biểu đạt được bảo hộ có thể nhận diện; và
• các tiêu chuẩn pháp lý áp dụng cho từng tranh chấp.

Bài học cốt lõi của nghiên cứu hẹp hơn — nhưng hữu ích hơn — so với nhận định rằng AI “quên” nguồn của mình. Khi các tập dữ liệu khuếch tán mở rộng, đóng góp nhân quả của từng ví dụ huấn luyện lên một đầu ra cụ thể có thể trở nên quá phân tán để phát hiện. Điều đó khiến việc truy nguồn khó hơn, nhưng không khiến việc chứng minh ghi nhớ, tái tạo hay đánh giá bản quyền trở nên bất khả thi.