Transformer lặp lại phép tính, không nhất thiết lặp lại động lực

Transformer tái sử dụng phép tính và tham số của từng lớp qua nhiều trạng thái kích hoạt; điều đó không có nghĩa là mọi trạng thái đều có cùng động lực. Nói cách khác, mô hình giữ nguyên cách tính, nhưng kết quả cụ thể vẫn có thể thay đổi theo hoạt hóa đầu vào.

Ở một lớp cố định, nhiều trạng thái khác nhau được xử lý bằng cùng các ma trận chiếu Query, Key và Value, cùng phép tính attention, cùng trọng số của mạng feedforward và cùng các đường nối dư. Đây là những thành phần trong cấu trúc lớp Transformer.13 Tuy nhiên, điểm attention và những thay đổi bên trong mô hình được tính từ hoạt hóa hiện tại nên có thể khác nhau giữa các trạng thái.13

Có thể phân biệt như sau:

• Được dùng lại: Cách nối các phép tính và các tham số đã học của một lớp cụ thể. Điều này không có nghĩa các lớp khác nhau trong mô hình nhất thiết chia sẻ cùng trọng số.13
• Không mặc nhiên được dùng lại: Phản ứng cụ thể của mô hình trước một nhiễu. Query và Key được tính từ hoạt hóa hiện tại, nên tương tác giữa chúng — và tác động của cùng một nhiễu — có thể đổi theo trạng thái.13
• Một trường hợp đặc biệt: Với cấu hình Pre-LayerNorm, nếu cộng cùng một lượng vào mọi đặc trưng của một token thì phép chuẩn hóa có thể loại bỏ phần dịch chuyển đó, còn đường nối dư mang nó đi tiếp. Khi các nhánh đi qua đáp ứng đủ những điều kiện cần thiết, phản ứng nhiễu bên trong mô hình có thể giống nhau dọc theo hướng dịch chuyển này.12 Đây là hệ quả của cấu hình và điều kiện cụ thể, không phải tính chất chung của mọi Transformer.

Vì vậy, câu trả lời chính xác là: Transformer tái sử dụng các toán tử cố định qua nhiều trạng thái kích hoạt, nhưng điều đó tự nó chưa chứng minh rằng động lực gây ra bởi một nhiễu sẽ giống hệt giữa các trạng thái. Trường hợp dịch chuyển trong Pre-LayerNorm là một ví dụ cụ thể cho thấy sự giống nhau ấy có thể xuất hiện; với các hướng thay đổi trạng thái khác, cần có lập luận riêng.