Transformer ใช้โครงสร้างเดิมซ้ำแค่ไหน เมื่อสถานะภายในเปลี่ยนไป?

สิ่งที่ Transformer ใช้ซ้ำก่อนอื่นคือกฎการคำนวณ ไม่ใช่พลวัตของโมเดลที่จำเป็นต้องเหมือนเดิมทุกครั้ง ภายในชั้นที่กำหนด สถานะภายในหลายแบบจะถูกประมวลผลด้วยเมทริกซ์แปลง Query, Key และ Value ชุดเดิม กลไก Attention เดิม น้ำหนัก Feedforward ชุดเดิม และเส้นทาง Residual เดิม แต่ค่าน้ำหนัก Attention และการเปลี่ยนแปลงของสถานะที่ได้ยังขึ้นอยู่กับสถานะตั้งต้นของแต่ละครั้ง 13

จุดสำคัญคือการแยกสิ่งที่คงเดิมออกจากสิ่งที่เปลี่ยนได้:

• สิ่งที่ใช้ซ้ำแน่นอน: โครงสร้างการคำนวณและพารามิเตอร์ที่เรียนรู้แล้วของชั้นหนึ่ง ๆ คำว่า “โครงสร้างชั้นเดียวกัน” ไม่ได้แปลว่าคนละชั้นในโมเดลใช้ค่าน้ำหนักชุดเดียวกัน 13
• สิ่งที่ไม่จำเป็นต้องเหมือนเดิม: ผลตอบสนองเฉพาะจุดต่อการรบกวน เพราะ Query และ Key คำนวณจากสถานะปัจจุบัน ความสัมพันธ์ระหว่างทั้งสองจึงเปลี่ยนได้ตามสถานะ และทำให้การรบกวนแบบเดียวกันส่งผลต่างกัน 13
• กรณีพิเศษที่ให้ผลเท่ากันได้: ในโครงสร้าง Pre-LayerNorm ที่กล่าวถึงก่อนหน้า การเลื่อนค่าคุณลักษณะทุกมิติของโทเคนไปในปริมาณเท่ากันอาจถูก LayerNorm ตัดออก แล้วส่งต่อผ่านเส้นทาง Residual ภายใต้เงื่อนไขที่กำหนดไว้ก่อนหน้าสำหรับทุกแขนงที่ผ่าน ในกรณีนี้ ไม่ใช่แค่สูตรคำนวณที่เหมือนกัน แต่การตอบสนองภายในทั้งหมดต่อการรบกวนในทิศทางดังกล่าวยังคงเหมือนกันด้วย 12 นี่เป็นผลจากโครงสร้างเฉพาะนี้ ไม่ใช่คุณสมบัติทั่วไปของ Transformer ทุกแบบ

สรุปให้ตรงคำถาม: Transformer ใช้ตัวดำเนินการเดิมซ้ำกับสถานะภายในที่หลากหลาย แต่ข้อเท็จจริงนี้เพียงอย่างเดียวยังไม่พิสูจน์ว่าพลวัตของการตอบสนองจะเหมือนกันในทุกสถานะ กรณีการเลื่อนค่าใน Pre-LayerNorm แสดงให้เห็นว่าความเหมือนกันเช่นนั้นเกิดขึ้นได้อย่างไร ส่วนทิศทางอื่น ๆ ของสถานะต้องมีเหตุผลรองรับแยกกัน