SL2T ทำงานอย่างไร

ข้อมูลเทรนนิ่ง: มากกว่า 100,000 ชั่วโมง ครอบคลุม 50 ภาษามือ

SL2T ถูกเทรนด้วยวิดีโอภาษามือ มากกว่า 100,000 ชั่วโมง ที่ครอบคลุม มากกว่า 50 ภาษามือ โดยประมาณหนึ่งในสี่ของข้อมูลเป็น ASL การเทรนร่วมกันบนภาษามือ ภาษาถิ่น และระดับความชำนาญหลายแบบ ทำให้โมเดลมีประสิทธิภาพดีกว่าระบบภาษาเดียว จากการค้นพบของ Google เพราะได้เรียนรู้รูปแบบโครงสร้างร่วมกันที่ช่วยในการสรุปผล 值得注意的是 ข้อมูลการเทรน ไม่ได้รวมผู้ใช้ที่อายุต่ำกว่า 18 ปี ซึ่งอาจลดความแม่นยำสำหรับผู้ใช้ที่อายุน้อย

การติดตามจุดบนเครื่อง: มีเพียงพิกัดเท่านั้นที่ออกจากโทรศัพท์

ระบบออกแบบมาเพื่อความเป็นส่วนตัว กล้องโทรศัพท์จะรัน MediaPipe Holistic เพื่อสกัด พิกัด landmark 2 มิติสำหรับ 130 จุดสำคัญ (ใบหน้า ลำตัว มือ) ในแต่ละเฟรม หลังจากนั้นวิดีโอสดจะถูกลบทิ้งทันทีและไม่เคยออกจากเครื่อง เฉพาะพิกัดเรขาคณิตนามธรรมเหล่านี้เท่านั้นที่ถูกส่งไปยังเซิร์ฟเวอร์ของ Google เพื่อแปลผล และจะไม่มีการเก็บบันทึกข้อมูลอินพุตหรือเอาต์พุตของผู้ใช้โดยไม่ได้รับอนุญาตอย่างชัดแจ้ง การแสดงผลแบบ 2D landmark นี้ไม่สามารถติดตามจุดที่ลิ้นหรือให้ลำดับความลึก ทำให้แยกแยะระหว่างการแตะมือกับการลอยอยู่ได้ยาก ซึ่งทั้งสองอย่างมีความสำคัญใน ASL

การแปลงท่าทางเป็นข้อความโดยตรง: ไม่ต้องใช้ gloss, แปลแบบ autoregressive

SL2T ใช้ transformer ที่ปรับสภาพตามลำดับพิกัด landmark โดยตรงและสร้างข้อความภาษาอังกฤษแบบ autoregressive ต่างจากแนวทางก่อนหน้านี้ที่ต้องส่งออก gloss หรือการแสดงผลทางภาษาศาสตร์ที่เขียนด้วยมือก่อน โมเดลนี้ทำหน้าที่ แปล มากกว่า ถอดความ หมายความว่ามันสร้างข้อความภาษาอังกฤษที่เป็นธรรมชาติ ไม่ใช่การจับคู่คำต่อคำของสัญลักษณ์ ASL

ประสิทธิภาพบนมาตรวัด: ดีที่สุด แต่เป็นตัวเลขที่รายงานโดยผู้พัฒนา

บน FLEURS-ASL ซึ่งเป็นชุดข้อมูลประเมินแบบ zero-shot สำหรับภาษาที่ซับซ้อนและเป็นนามธรรม ซึ่งบันทึกในสตูดิโอโดย Certified Deaf Interpreters SL2T ได้คะแนน 70 BLEURT ซึ่ง Google กล่าวว่าสูงกว่าผลลัพธ์ที่รายงานก่อนหน้านี้มาก ผลลัพธ์มาตรวัดเพิ่มเติมได้แก่:

• 74 BLEURT ในรูปแบบ FLEURS-ASL ที่ใช้มือเดียว
• 85 BLEURT บน PRESTO-ASL ชุดข้อมูลวลีลักษณะผู้ช่วย AI
• ความแม่นยำแบบตรงทั้งหมด 64% บน FSboard ชุดข้อมูลการสะกดด้วยนิ้วที่รวบรวมจากผู้ใช้ภาษามือที่เป็นคนหูหนวกบนอุปกรณ์มือถือ

สิ่งสำคัญคือต้องทราบว่าตัวเลขเหล่านี้เป็นตัวเลขที่รายงานโดยผู้พัฒนา ยังไม่มีการประเมินจากบุคคลที่สามที่เป็นอิสระเผยแพร่ ณ วันเปิดตัว

การกำกับดูแลและข้อจำกัด: สร้างมาพร้อมกับเกราะป้องกัน

คณะกรรมการที่ปรึกษาด้าน AI ภาษามือ

Google ได้จัดตั้ง คณะกรรมการที่ปรึกษาด้าน AI ภาษามือภายนอก (AISLAC) ซึ่งรวมถึงตัวแทนจาก National Association of the Deaf (NAD), RIT/NTID, DPAN และ World Federation of the Deaf (WFD) AISLAC ร่วมเขียนรายงานผลกระทบร่วมที่กำหนดขอบเขตการทำงานและข้อจำกัดของโมเดล

บริบทการใช้งานที่ห้าม

SL2T ได้รับการออกแบบและประเมินเฉพาะสำหรับ สถานการณ์ทั่วไปที่ไม่มีความเสี่ยงสูง เช่น การป้อนข้อความ การส่งข้อความ การค้นหา และการสนทนาแบบตัวต่อตัว (เช่น ที่ร้านกาแฟหรือร้านค้าปลีก) การสนทนาที่มีความเสี่ยงสูงหรือหลายฝ่ายใน สถานพยาบาล กฎหมาย และการศึกษา อยู่นอกเหนือขอบเขต

ข้อจำกัดความรับผิดชอบตาม ADA

Google ระบุในเอกสารว่า SL2T ไม่ใช่สิ่งทดแทนบริการล่ามมืออาชีพ และไม่ควรพึ่งพาในบริบทที่ข้อผิดพลาดในการสื่อสารอาจก่อให้เกิดอันตราย

ข้อจำกัดทางเทคนิคที่ทราบ

• ประสิทธิภาพลดลงในที่แสงน้อย: ประสิทธิภาพลดลงในที่แสงน้อย เนื่องจาก MediaPipe Holistic landmarks เชื่อถือได้น้อยลง
• รองรับผู้ใช้คนเดียว: โมเดลจัดการ ผู้ใช้ภาษามือได้ครั้งละหนึ่งคน เท่านั้น ไม่สามารถแปลการสนทนาภาษามือหลายฝ่ายได้
• จำกัดคลิป 60 วินาที: แต่ละช่วงการแปลถูกจำกัดไว้ที่ประมาณ 60 วินาที ของการทำภาษามือ
• ไม่มีข้อมูลเทรนนิ่งอายุต่ำกว่า 18 ปี: โมเดลอาจแม่นยำน้อยลงสำหรับผู้ใช้ที่อายุน้อย เนื่องจากข้อมูลเทรนนิ่งไม่รวมผู้ใช้ที่อายุต่ำกว่า 18 ปี
• ข้อจำกัดของการแสดงผล 2 มิติ: ระบบ landmark ไม่สามารถติดตามการขยับลิ้นหรือให้ลำดับความลึก ทำให้แยกแยะการสัมผัสจากการลอยได้ยาก ซึ่งทั้งสองอย่างมีความสำคัญทางภาษาใน ASL

บทบาทของ Sam Sepah

Sam Sepah พนักงานหูหนวกของ Google และสมาชิกทีมภาษามือ มีบทบาทสำคัญในการพัฒนา SL2T เขาเป็นผู้เขียนร่วมในสิ่งพิมพ์ชุดข้อมูล FSboard ที่ใช้ในการประเมินโมเดล บล็อกของ Google และรายงานผลกระทบร่วมเน้นย้ำว่าทีมงานทำงานอย่างใกล้ชิดกับพนักงานหูหนวกของ Google รวมถึง Sepah ตลอดการทดสอบก่อนเปิดตัวเพื่อค้นหาพฤติกรรมของโมเดลและปัญหาอินเทอร์เฟซที่มาตรวัดเพียงอย่างเดียวไม่สามารถจับได้

SL2T ทำงานอย่างไร

ข้อมูลเทรนนิ่ง: มากกว่า 100,000 ชั่วโมง ครอบคลุม 50 ภาษามือ

SL2T ถูกเทรนด้วยวิดีโอภาษามือ มากกว่า 100,000 ชั่วโมง ที่ครอบคลุม มากกว่า 50 ภาษามือ โดยประมาณหนึ่งในสี่ของข้อมูลเป็น ASL การเทรนร่วมกันบนภาษามือ ภาษาถิ่น และระดับความชำนาญหลายแบบ ทำให้โมเดลมีประสิทธิภาพดีกว่าระบบภาษาเดียว จากการค้นพบของ Google เพราะได้เรียนรู้รูปแบบโครงสร้างร่วมกันที่ช่วยในการสรุปผล 值得注意的是 ข้อมูลการเทรน ไม่ได้รวมผู้ใช้ที่อายุต่ำกว่า 18 ปี ซึ่งอาจลดความแม่นยำสำหรับผู้ใช้ที่อายุน้อย

การติดตามจุดบนเครื่อง: มีเพียงพิกัดเท่านั้นที่ออกจากโทรศัพท์

ระบบออกแบบมาเพื่อความเป็นส่วนตัว กล้องโทรศัพท์จะรัน MediaPipe Holistic เพื่อสกัด พิกัด landmark 2 มิติสำหรับ 130 จุดสำคัญ (ใบหน้า ลำตัว มือ) ในแต่ละเฟรม หลังจากนั้นวิดีโอสดจะถูกลบทิ้งทันทีและไม่เคยออกจากเครื่อง เฉพาะพิกัดเรขาคณิตนามธรรมเหล่านี้เท่านั้นที่ถูกส่งไปยังเซิร์ฟเวอร์ของ Google เพื่อแปลผล และจะไม่มีการเก็บบันทึกข้อมูลอินพุตหรือเอาต์พุตของผู้ใช้โดยไม่ได้รับอนุญาตอย่างชัดแจ้ง การแสดงผลแบบ 2D landmark นี้ไม่สามารถติดตามจุดที่ลิ้นหรือให้ลำดับความลึก ทำให้แยกแยะระหว่างการแตะมือกับการลอยอยู่ได้ยาก ซึ่งทั้งสองอย่างมีความสำคัญใน ASL

การแปลงท่าทางเป็นข้อความโดยตรง: ไม่ต้องใช้ gloss, แปลแบบ autoregressive

SL2T ใช้ transformer ที่ปรับสภาพตามลำดับพิกัด landmark โดยตรงและสร้างข้อความภาษาอังกฤษแบบ autoregressive ต่างจากแนวทางก่อนหน้านี้ที่ต้องส่งออก gloss หรือการแสดงผลทางภาษาศาสตร์ที่เขียนด้วยมือก่อน โมเดลนี้ทำหน้าที่ แปล มากกว่า ถอดความ หมายความว่ามันสร้างข้อความภาษาอังกฤษที่เป็นธรรมชาติ ไม่ใช่การจับคู่คำต่อคำของสัญลักษณ์ ASL

ประสิทธิภาพบนมาตรวัด: ดีที่สุด แต่เป็นตัวเลขที่รายงานโดยผู้พัฒนา

บน FLEURS-ASL ซึ่งเป็นชุดข้อมูลประเมินแบบ zero-shot สำหรับภาษาที่ซับซ้อนและเป็นนามธรรม ซึ่งบันทึกในสตูดิโอโดย Certified Deaf Interpreters SL2T ได้คะแนน 70 BLEURT ซึ่ง Google กล่าวว่าสูงกว่าผลลัพธ์ที่รายงานก่อนหน้านี้มาก ผลลัพธ์มาตรวัดเพิ่มเติมได้แก่:

• 74 BLEURT ในรูปแบบ FLEURS-ASL ที่ใช้มือเดียว
• 85 BLEURT บน PRESTO-ASL ชุดข้อมูลวลีลักษณะผู้ช่วย AI
• ความแม่นยำแบบตรงทั้งหมด 64% บน FSboard ชุดข้อมูลการสะกดด้วยนิ้วที่รวบรวมจากผู้ใช้ภาษามือที่เป็นคนหูหนวกบนอุปกรณ์มือถือ

สิ่งสำคัญคือต้องทราบว่าตัวเลขเหล่านี้เป็นตัวเลขที่รายงานโดยผู้พัฒนา ยังไม่มีการประเมินจากบุคคลที่สามที่เป็นอิสระเผยแพร่ ณ วันเปิดตัว

การกำกับดูแลและข้อจำกัด: สร้างมาพร้อมกับเกราะป้องกัน

คณะกรรมการที่ปรึกษาด้าน AI ภาษามือ

Google ได้จัดตั้ง คณะกรรมการที่ปรึกษาด้าน AI ภาษามือภายนอก (AISLAC) ซึ่งรวมถึงตัวแทนจาก National Association of the Deaf (NAD), RIT/NTID, DPAN และ World Federation of the Deaf (WFD) AISLAC ร่วมเขียนรายงานผลกระทบร่วมที่กำหนดขอบเขตการทำงานและข้อจำกัดของโมเดล

บริบทการใช้งานที่ห้าม

SL2T ได้รับการออกแบบและประเมินเฉพาะสำหรับ สถานการณ์ทั่วไปที่ไม่มีความเสี่ยงสูง เช่น การป้อนข้อความ การส่งข้อความ การค้นหา และการสนทนาแบบตัวต่อตัว (เช่น ที่ร้านกาแฟหรือร้านค้าปลีก) การสนทนาที่มีความเสี่ยงสูงหรือหลายฝ่ายใน สถานพยาบาล กฎหมาย และการศึกษา อยู่นอกเหนือขอบเขต

ข้อจำกัดความรับผิดชอบตาม ADA

Google ระบุในเอกสารว่า SL2T ไม่ใช่สิ่งทดแทนบริการล่ามมืออาชีพ และไม่ควรพึ่งพาในบริบทที่ข้อผิดพลาดในการสื่อสารอาจก่อให้เกิดอันตราย

ข้อจำกัดทางเทคนิคที่ทราบ

• ประสิทธิภาพลดลงในที่แสงน้อย: ประสิทธิภาพลดลงในที่แสงน้อย เนื่องจาก MediaPipe Holistic landmarks เชื่อถือได้น้อยลง
• รองรับผู้ใช้คนเดียว: โมเดลจัดการ ผู้ใช้ภาษามือได้ครั้งละหนึ่งคน เท่านั้น ไม่สามารถแปลการสนทนาภาษามือหลายฝ่ายได้
• จำกัดคลิป 60 วินาที: แต่ละช่วงการแปลถูกจำกัดไว้ที่ประมาณ 60 วินาที ของการทำภาษามือ
• ไม่มีข้อมูลเทรนนิ่งอายุต่ำกว่า 18 ปี: โมเดลอาจแม่นยำน้อยลงสำหรับผู้ใช้ที่อายุน้อย เนื่องจากข้อมูลเทรนนิ่งไม่รวมผู้ใช้ที่อายุต่ำกว่า 18 ปี
• ข้อจำกัดของการแสดงผล 2 มิติ: ระบบ landmark ไม่สามารถติดตามการขยับลิ้นหรือให้ลำดับความลึก ทำให้แยกแยะการสัมผัสจากการลอยได้ยาก ซึ่งทั้งสองอย่างมีความสำคัญทางภาษาใน ASL

บทบาทของ Sam Sepah

Sam Sepah พนักงานหูหนวกของ Google และสมาชิกทีมภาษามือ มีบทบาทสำคัญในการพัฒนา SL2T เขาเป็นผู้เขียนร่วมในสิ่งพิมพ์ชุดข้อมูล FSboard ที่ใช้ในการประเมินโมเดล บล็อกของ Google และรายงานผลกระทบร่วมเน้นย้ำว่าทีมงานทำงานอย่างใกล้ชิดกับพนักงานหูหนวกของ Google รวมถึง Sepah ตลอดการทดสอบก่อนเปิดตัวเพื่อค้นหาพฤติกรรมของโมเดลและปัญหาอินเทอร์เฟซที่มาตรวัดเพียงอย่างเดียวไม่สามารถจับได้