Seed-ASR：字节跳动自动语音识别模型

 Seed-ASR，字节跳动自动语音识别模型，可将各种语音转化为文本信息，与传统 TTS 面向单一任务不同，Seed-TTS 能够建模各种声音，且允许同时从很多个维度进行操控，可识别不同语言、方言、口音，甚至吞字这类语音上的瑕疵。Seed-ASR在超过2000万小时的语音数据和近90万小时的配对ASR数据上进行了训练。不仅支持普通话，还能识别13种中国方言和7种外语以及各种口音的英语。

Seed-ASR 具有强大的上下文感知能力，能够识别在特定上下文下的语音内容。例如，模型可以利用历史对话或会议记录来更准确地识别当前语音中的人名、地名或其他上下文相关的关键词。

Seed-ASR具备强大的扩展性。这意味着它不只是一个固定的系统，而是可以根据具体需求进行定制的平台。比如说，你想让它专门识别医学术语，或者理解某种特殊口音，都可以通过微调来实现。

Seed-ASR最核心的技术就是把大语言模型融入到了语音识别中，为 Seed-ASR引入了上下文理解能力。这可不是简单地把两个系统拼在一起，而是从根本上改变了处理语音的方式。它就像是给语音识别系统装上了一个超级大脑，不仅能听，还能思考。

Seed-ASR技术亮点：

• 高精度识别：通过数十亿参数的模型处理复杂的语音输入，实现高精度识别。

• 大容量模型：使用大语言模型，提高了语音识别的准确性和上下文理解能力，好比是用"超级计算机"来帮你听写笔记，想想就觉得太酷了。

• 支持多种语言：包括普通话、13种中国方言以及多种外语，并计划扩展至40多种语言。

• 上下文感知：能够结合上下文信息，提高识别的准确性，就像你跟朋友聊天，它能听懂你们之前说过什么，然后根据这些信息更准确地理解你现在说的话。

• 分阶段训练方法：包括自监督学习、监督微调、上下文微调和强化学习，逐步增强模型能力。

Seed-ASR应用场景：

• 人机交互：提供语音输入渠道，通过实时将语音转成文字作为输入，达到和设备/硬件/应用快速、便捷交互的目的。

• 内容审核：将录音识别为文字，通过质检规则对文本进行分析，及时发现违规内容并干预处理。

• 会议访谈转写：将会议、访谈音频实时或异步识别为文字，自动切分有语音部分识别，降本增效。

• 音视频字幕：支持自动将音视频中的语音、歌词识别转换为文本，一键生成与音视频对应的字幕内容。

Seed-ASR 已在豆包 APP 中应用，被网友用在英语会话、虚拟聊天伴侣、复刻亲友声音等多个场景。面向更多企业客户，Seed-ASR 依托火山引擎， 在语音交互、内容审核、会议访谈转写、音视频字幕等场景也有落地。

截至目前，豆包大模型团队语音方向已发布 Seed-TTS 、Seed-ASR 等多项技术成果。

Seed-ASR官网：https://bytedancespeech.github.io/seedasr_tech_report/