AI同声传译新突破，谷歌发布Translatotron 3模型：可绕过文本转换步骤

谷歌今天发布新闻稿，正式介绍推出了名为 Translatotron 3 的新 AI 模型，无需任何并行语音数据下，可以实现语音对语音的同声传译翻译。

谷歌于 2019 年推出了 Translatotron S2ST 系统，于 2021 年 7 月推出第 2 个版本，在 2023 年 5 月 27 日发布的一篇论文中，宣布正在部署新方法，训练 Translatotron 3。

研究人员称，Translatotron 2 已经提供了卓越的翻译质量、语音鲁棒性（Robust）和语音自然度，而 Translatotron 3 实现“第一个完全无监督直接语音到语音翻译的端对端模型”。

传统上的 S2ST 通过自动语音识别 + 机器翻译 + 文本到语音合成的级联方法来解决，但 Translatotron 3 依赖一种新颖的端对端架构，直接将源语言语音映射到目标语言，而不依赖中间文本表示。

Translatotron 3 模型还可用于创建帮助有语言障碍的人的工具，或者开发更具吸引力和有效性的个性化语言学习工具。