SpeakerKit:可以快速、高效地识别音频中的不同说话人

SpeakerKit是什么?

SpeakerKit 是 Argmax 公司开发的一种 设备端说话人识别(Diarization)工具,可以快速、高效地识别音频中的不同说话人。它与 WhisperKit(一种音频转录工具)配合使用,能够生成带有说话人标签的转录文本。适用于需要快速、准确识别音频中说话人的应用场景。

SpeakerKit:可以快速、高效地识别音频中的不同说话人.jpg

SpeakerKit主要特点

速度:

  • 在 iPhone 上处理 4 分钟音频时,SpeakerKit 仅需 约 1 秒 完成说话人识别,速度远超其他同类系统。

  • 与 WhisperKit 结合使用时,转录和识别的总时间仅需 25 秒。

质量:

  • SpeakerKit 的错误率与行业领先的系统(如 Pyannote)相当,尽管其速度提升了数倍。

体积:

  • 总大小约为 10MB,便于集成到应用程序中或快速下载。

兼容性:

  • 支持 iOS 16 和 macOS 13 及更高版本的设备。

  • Android 支持正在开发中。

模块化:

  • SpeakerKit 可与 WhisperKit 配合使用,生成带有说话人标签的转录文本,也可以与其他转录引擎集成,提供了比服务器端 API 更高的灵活性。

SpeakerKit:可以快速、高效地识别音频中的不同说话人.webp

基准测试

Argmax 开发了一个名为 SDBench 的 Python 工具包,用于在 13 个广泛使用的数据集上标准化地测试说话人识别系统的性能。SDBench 的代码将开源,相关论文将于 2025 年 4 月发布。

未来规划

优化转录质量:目前SpeakerKit 的独立说话人识别质量已达到行业领先水平(通过 DER 测量)。下一步,团队将优化与 WhisperKit 的联合使用,以提升带有说话人标签的转录质量(通过 WDER 测量)。

说话人识别功能:SpeakerKit 将推出一项新功能,能够提取说话人的声纹,并在新的上下文中识别他们。

详细阅读:https://www.argmaxinc.com/blog/speakerkit

HuggingFace:https://huggingface.co/argmaxinc/speakerkit-pro

收藏
#人声分离软件

相关文章

最新工具
Atypica AI
Atypica AI

特赞科技推出的商业研究AI多智能体,只要是通过模拟真实消费者行为...

AutoCoder
AutoCoder

AIGCode推出的自称是全球首个全栈AI编程工具,它可以过自然...

Wayback Machine
Wayback Machine

一个免费的网页历史存档和查询工具,可以能保存不同时间点的网页内容...

RunningHub
RunningHub

一个基于云端ComfyUI的高可用性平台,提供在线开发工作流、发...

绘蛙AI高清修复
绘蛙AI高清修复

智能修复图片模糊问题,一键拯救渣画质,如何把图片高清修复? 去看...

Unlucid AI
Unlucid AI

一个免费无审查的 AI 工具,提供包括视频博主视频制作、图像生成...

SuperClaude
SuperClaude

SuperClaude 是一个为 Claude Code 量身打...

 WisFile
WisFile

电脑本地运行的免费 AI 工具,专门解决文件命名乱、归类杂、手动...

GreenVideo
GreenVideo

一个无次数限制的视频下载平台,免费、稳定、速度快,支持全球100...

证件星
证件星

一个在线 AI 智能证件照制作工具,小白也能轻松上手,十秒就能做...