Khi dữ liệu càng lớn, càng khó truy ra ảnh AI đã “học” từ hình nào

Nghiên cứu của Zheng Dai và David Gifford tại Phòng thí nghiệm Khoa học máy tính và Trí tuệ nhân tạo (CSAIL) của MIT, được công bố trên Nature Communications, mô tả một hiện tượng được gọi là “attribution decay” — có thể hiểu là sự suy giảm khả năng quy trách nhiệm.

Khi mô hình tạo ảnh được huấn luyện trên tập dữ liệu ngày càng lớn, ảnh hưởng nhân quả của bất kỳ hình ảnh đơn lẻ nào lên một đầu ra cụ thể có thể nhỏ dần, đến mức không còn đo được.

Điểm quan trọng là kết quả này nói về mức độ ảnh hưởng có thể quy cho một dữ liệu huấn luyện, chứ không chứng minh rằng hình ảnh đó chưa từng được dùng, chưa từng được lưu trong mô hình hoặc không thể được tái tạo trong những điều kiện khác.

Nhóm nghiên cứu đã kiểm tra như thế nào?

Thay vì dùng các phương pháp ước tính thông thường, các nhà nghiên cứu xây dựng một tổ hợp mô hình khuếch tán. Mỗi thành phần trong tổ hợp được huấn luyện độc lập trên một phần dữ liệu có kiểm soát.

Cách làm này cho phép họ tạo ra một phép thử phản thực tế chính xác: “Điều gì sẽ xảy ra nếu hình ảnh này không xuất hiện trong dữ liệu huấn luyện?” Để trả lời, nhóm vô hiệu hóa mọi thành phần mô hình từng tiếp xúc với hình ảnh đó, thay vì phải huấn luyện lại một mô hình khổng lồ từ đầu.

Các nhà nghiên cứu cũng so sánh tổ hợp này với 24 mô hình khuếch tán thông thường được huấn luyện trên cùng dữ liệu. Những mô hình trong tổ hợp cho kết quả tương đương trên các thước đo chất lượng hình ảnh tiêu chuẩn.

Tổng cộng, họ khảo sát 24 tổ hợp mô hình được huấn luyện trên bảy bộ sưu tập hình ảnh công khai, với quy mô từ 256 đến hơn 160.000 hình ảnh. Với mỗi đầu ra, nhóm tạo ra một “vũ trụ phản thực tế” — tập hợp các phiên bản được sinh ra sau khi lần lượt loại bỏ từng đơn vị dữ liệu ứng viên.

Mức chênh lệch lớn nhất giữa ảnh gốc và các phiên bản sau khi loại bỏ dữ liệu được gọi là “bán kính phản thực tế”. Đây là thước đo ảnh hưởng nhân quả tối đa của một đơn vị dữ liệu bị loại bỏ.

“Attribution decay” cho thấy điều gì?

Khi tập dữ liệu lớn hơn, bán kính phản thực tế giảm xuống. Nói cách khác, việc xóa một hình ảnh đơn lẻ ngày càng ít tạo ra khác biệt đáng kể đối với ảnh do mô hình sinh ra.

Ở quy mô đủ lớn, hiện tượng này có thể mở rộng từ một hình ảnh cụ thể sang cả một nhóm hình ảnh — chẳng hạn toàn bộ tác phẩm của một nghệ sĩ hoặc mọi bức ảnh mô tả một người nhất định. Khi loại bỏ toàn bộ nhóm đó, ảnh đầu ra trong nhiều trường hợp vẫn gần như không thay đổi.

Theo cách đo của nghiên cứu, nếu việc loại bỏ một đơn vị dữ liệu không làm thay đổi đầu ra, đơn vị đó không thể được quy là nguyên nhân trực tiếp tạo ra đầu ra ấy.

Điều này có ý nghĩa gì với tranh luận bản quyền?

Phát hiện trên có thể khiến một số lập luận về hành vi xâm phạm bản quyền trở nên khó chứng minh hơn trong các vụ kiện nhằm vào công ty phát triển mô hình ảnh như Midjourney, OpenAI hoặc Microsoft.

Ví dụ, nếu nguyên đơn cho rằng một hình ảnh cụ thể được tạo ra là kết quả trực tiếp từ tác phẩm của một nghệ sĩ, họ có thể gặp khó khăn khi phải chứng minh đóng góp nhân quả của nghệ sĩ đó — đặc biệt nếu việc loại bỏ toàn bộ tác phẩm của người này vẫn không làm đầu ra thay đổi đáng kể.

Tuy nhiên, nghiên cứu không quyết định kết quả pháp lý của các vụ việc này và cũng không tạo ra một quy tắc bản quyền mới. Tranh chấp còn có thể xoay quanh việc sao chép trái phép trong quá trình huấn luyện, mức độ tương đồng đáng kể giữa đầu ra và tác phẩm được bảo hộ, khả năng tiếp cận dữ liệu, thiệt hại đối với thị trường, điều khoản hợp đồng và nhiều yếu tố khác.

Những giới hạn cần lưu ý

Không đồng nghĩa với việc mô hình không ghi nhớ dữ liệu

Một đầu ra có thể không quy được cho bất kỳ hình ảnh huấn luyện đơn lẻ nào trong phép thử loại bỏ, nhưng mô hình vẫn có thể đã ghi nhớ một phần nội dung, tái tạo nội dung đó với một số câu lệnh hoặc điều kiện lấy mẫu, hoặc tạo ra hình ảnh tương đồng đáng kể với tác phẩm được bảo hộ.

Nghiên cứu đo độ nhạy nhân quả của đầu ra khi loại bỏ dữ liệu, không kiểm tra mọi dạng ghi nhớ hay mọi khả năng vi phạm bản quyền.

Chưa phải kết luận về các mô hình ngôn ngữ lớn

Nghiên cứu tập trung vào mô hình khuếch tán, loại mô hình thường được dùng để tạo hình ảnh và các nội dung nghe nhìn. Vì vậy, kỹ thuật tổ hợp và kết quả về quy mô dữ liệu này chưa thể tự động áp dụng cho các mô hình ngôn ngữ lớn dựa trên kiến trúc Transformer.

Không thay thế các loại bằng chứng khác

Trong thực tế, tòa án và các nhóm điều tra kỹ thuật vẫn có thể cần đến thử nghiệm tái tạo bằng câu lệnh, phân tích mức độ tương đồng và nguồn gốc, hồ sơ dữ liệu huấn luyện, nhật ký hệ thống, kiểm toán mô hình cùng phân tích pháp lý phù hợp.

“Attribution decay” cho thấy câu chuyện nhân quả kiểu “một nguồn dữ liệu duy nhất đã tạo ra đầu ra này” có thể trở nên khó đứng vững khi mô hình được huấn luyện ở quy mô lớn. Nhưng phát hiện đó không chứng minh rằng hành vi sao chép không thể được xác lập bằng những loại bằng chứng khác.