VibeVoice-ASR¶

VibeVoice-ASR 是一个统一的语音转文本模型，旨在单次处理 60 分钟的长音频，生成包含 谁（说话人）、何时（时间戳）和什么（内容） 的结构化转录结果，并支持 自定义热词 和超过 50 种语言。

模型： VibeVoice-ASR-7B
演示： VibeVoice-ASR-Demo
报告： VibeVoice-ASR-Report
微调： finetune-guide
vLLM： vLLM-asr
Transformers： VibeVoice-ASR-HF

🔥 核心特性¶

• 🕒 60 分钟单次处理： 与将音频切成短片段（常常丢失全局上下文）的传统 ASR 模型不同，VibeVoice ASR 可在 64K token 长度内接受长达 60 分钟的连续音频输入，从而确保整小时内说话人跟踪的一致性和语义连贯性。

• 👤 自定义热词： 用户可以提供自定义热词（例如特定姓名、技术术语或背景信息）来引导识别过程，从而显著提高对领域特定内容的识别准确率。

• 📝 丰富的转录结果（谁、何时、什么）： 该模型联合执行 ASR、说话人分离和时间戳标注，生成结构化输出，标明谁在何时说了什么。

• 🌍 多语言与语码转换支持： 它支持超过 50 种语言，无需显式设置语言，并能原生处理话语内部及跨话语的语码转换。请参阅语言分布。

🏗️ 模型架构¶

演示¶

评估¶

安装¶

我们建议使用 NVIDIA Deep Learning Container 来管理 CUDA 环境。

1. 启动 docker

   # NVIDIA PyTorch Container 24.07 ~ 25.12 verified. 
   # Previous versions are also compatible.
   sudo docker run --privileged --net=host --ipc=host --ulimit memlock=-1:-1 --ulimit stack=-1:-1 --gpus all --rm -it  nvcr.io/nvidia/pytorch:25.12-py3
   
   ## If flash attention is not included in your docker environment, you need to install it manually
   ## Refer to https://github.com/Dao-AILab/flash-attention for installation instructions
   # pip install flash-attn --no-build-isolation
   

2. 从 GitHub 安装

   git clone https://github.com/microsoft/VibeVoice.git
   cd VibeVoice
   
   pip install -e .
   

使用方法¶

用法 1：启动 Gradio 演示¶

apt update && apt install ffmpeg -y # for demo

python demo/vibevoice_asr_gradio_demo.py --model_path microsoft/VibeVoice-ASR --share

用法 2：直接从文件进行推理¶

python demo/vibevoice_asr_inference_from_file.py --model_path microsoft/VibeVoice-ASR --audio_files [add an audio path here] 

微调¶

支持 LoRA（低秩适配）微调。有关详细指南，请参阅微调。

结果¶

多语言¶

语言分布¶

📄 许可证¶

本项目采用 MIT 许可证 授权。