SL2T工作原理

训练数据：超10万小时，50多种手语

SL2T的训练数据包括超过10万小时的手语视频，覆盖50多种手语，其中约四分之一为ASL数据 。通过在多种手语、方言和熟练度级别上联合训练，谷歌研究发现该模型优于单语言系统——因为它能学习跨手语的共享结构模式，从而提升泛化能力 。值得注意的是，训练数据有意排除了18岁以下的手语使用者，这可能会降低对年轻用户的准确度 。

设备端关键点追踪：只有坐标离开你的手机

该系统设计注重隐私。手机摄像头运行MediaPipe Holistic，逐帧提取130个关键点的2D坐标（涵盖面部、身体、手部）。原始摄像头视频随即被丢弃，永远不会离开设备 。只有这些抽象的几何坐标被发送到谷歌服务器进行翻译，未经用户明确授权，不会保留任何输入或输出的日志 。这套2D关键点表示方案不追踪舌头动作，也不提供深度排序，这使得区分手部接触与悬空的难度增加——而这两者在ASL中都至关重要 。

直接姿态到文本：无中间标注的自回归翻译

SL2T使用一个Transformer模型，直接基于关键点坐标序列生成英语文本。与早期方法不同，它不会先输出中间标注（glosses）或手工编码的语言表示 。该模型实现的是翻译而非转录——它生成的是自然英语文本，而非ASL手势的一对一映射。

基准测试表现：厂商报告的最优结果

在FLEURS-ASL（由认证聋人手语译员在录音室条件下录制的复杂抽象语言零样本评估数据集）上，SL2T获得了70 BLEURT，谷歌称这远超此前所有公开报告结果 。其他基准测试成绩包括：

• FLEURS-ASL单手变体上取得74 BLEURT
• PRESTO-ASL（AI助手短语数据集）上取得85 BLEURT
• FSboard（从移动设备上聋哑手语者处收集的手指拼写数据集）上达到64%准确匹配率

需要注意的是，这些均为厂商报告数据；截至发布日尚无独立评估公布。

治理与局限：内置安全护栏

AI手语咨询委员会（AISLAC）

谷歌召集了外部AI手语咨询委员会（AISLAC），成员包括美国国家聋人协会（NAD）、罗彻斯特理工学院国家聋人技术学院（RIT/NTID）、DPAN和**世界聋人联合会（WFD）**的代表。AISLAC共同撰写了《联合影响报告》，定义了模型的操作边界与局限性 。

禁止使用场景

SL2T明确仅针对低风险、非正式场合设计和评估，例如文本输入、消息发送、搜索查询以及一对一对话（如在咖啡馆或零售店）。医疗、法律和学术环境中的高风险或多方对话均不在适用范围之列 。

ADA声明

谷歌在其文档中指出，SL2T不能替代专业口译服务，不应在通信错误可能造成损害的场合中依赖使用 。

已知技术限制

• **弱光环境性能下降：**光线不足时，MediaPipe Holistic关键点追踪的可靠性降低 。
• 仅支持单人：模型仅能处理一名手语者，无法解读多人手语对话 。
• 60秒片段限制：单次翻译片段上限约为60秒 。
• **无18岁以下训练数据：**由于训练数据排除了18岁以下人群，模型可能对年轻用户准确度较低 。
• **2D表示局限：**关键点系统不追踪舌头动作，也不提供深度排序，使得区分接触与悬空存在困难——两者在ASL中都具有语言意义 。

聋人员工Sam Sepah的角色

Sam Sepah是一位聋人谷歌员工，也是手语团队的成员，在SL2T的开发中发挥了核心作用。他是用于模型评估的FSboard数据集论文的合著者之一 。谷歌博客和《联合影响报告》强调，团队在发布前的测试中与包括Sepah在内的聋人员工密切合作，以发现仅靠基准测试无法捕捉的模型行为和界面问题 。

SL2T工作原理

训练数据：超10万小时，50多种手语

SL2T的训练数据包括超过10万小时的手语视频，覆盖50多种手语，其中约四分之一为ASL数据 。通过在多种手语、方言和熟练度级别上联合训练，谷歌研究发现该模型优于单语言系统——因为它能学习跨手语的共享结构模式，从而提升泛化能力 。值得注意的是，训练数据有意排除了18岁以下的手语使用者，这可能会降低对年轻用户的准确度 。

设备端关键点追踪：只有坐标离开你的手机

该系统设计注重隐私。手机摄像头运行MediaPipe Holistic，逐帧提取130个关键点的2D坐标（涵盖面部、身体、手部）。原始摄像头视频随即被丢弃，永远不会离开设备 。只有这些抽象的几何坐标被发送到谷歌服务器进行翻译，未经用户明确授权，不会保留任何输入或输出的日志 。这套2D关键点表示方案不追踪舌头动作，也不提供深度排序，这使得区分手部接触与悬空的难度增加——而这两者在ASL中都至关重要 。

直接姿态到文本：无中间标注的自回归翻译

SL2T使用一个Transformer模型，直接基于关键点坐标序列生成英语文本。与早期方法不同，它不会先输出中间标注（glosses）或手工编码的语言表示 。该模型实现的是翻译而非转录——它生成的是自然英语文本，而非ASL手势的一对一映射。

基准测试表现：厂商报告的最优结果

在FLEURS-ASL（由认证聋人手语译员在录音室条件下录制的复杂抽象语言零样本评估数据集）上，SL2T获得了70 BLEURT，谷歌称这远超此前所有公开报告结果 。其他基准测试成绩包括：

• FLEURS-ASL单手变体上取得74 BLEURT
• PRESTO-ASL（AI助手短语数据集）上取得85 BLEURT
• FSboard（从移动设备上聋哑手语者处收集的手指拼写数据集）上达到64%准确匹配率

需要注意的是，这些均为厂商报告数据；截至发布日尚无独立评估公布。

治理与局限：内置安全护栏

AI手语咨询委员会（AISLAC）

谷歌召集了外部AI手语咨询委员会（AISLAC），成员包括美国国家聋人协会（NAD）、罗彻斯特理工学院国家聋人技术学院（RIT/NTID）、DPAN和**世界聋人联合会（WFD）**的代表。AISLAC共同撰写了《联合影响报告》，定义了模型的操作边界与局限性 。

禁止使用场景

SL2T明确仅针对低风险、非正式场合设计和评估，例如文本输入、消息发送、搜索查询以及一对一对话（如在咖啡馆或零售店）。医疗、法律和学术环境中的高风险或多方对话均不在适用范围之列 。

ADA声明

谷歌在其文档中指出，SL2T不能替代专业口译服务，不应在通信错误可能造成损害的场合中依赖使用 。

已知技术限制

• **弱光环境性能下降：**光线不足时，MediaPipe Holistic关键点追踪的可靠性降低 。
• 仅支持单人：模型仅能处理一名手语者，无法解读多人手语对话 。
• 60秒片段限制：单次翻译片段上限约为60秒 。
• **无18岁以下训练数据：**由于训练数据排除了18岁以下人群，模型可能对年轻用户准确度较低 。
• **2D表示局限：**关键点系统不追踪舌头动作，也不提供深度排序，使得区分接触与悬空存在困难——两者在ASL中都具有语言意义 。

聋人员工Sam Sepah的角色

Sam Sepah是一位聋人谷歌员工，也是手语团队的成员，在SL2T的开发中发挥了核心作用。他是用于模型评估的FSboard数据集论文的合著者之一 。谷歌博客和《联合影响报告》强调，团队在发布前的测试中与包括Sepah在内的聋人员工密切合作，以发现仅靠基准测试无法捕捉的模型行为和界面问题 。