VibeVoice-TTS¶

VibeVoice-TTS 是一个长文本、多说话人文本转语音模型，旨在从文本生成富有表现力的对话音频（例如播客）。它可以合成最长 90 分钟、最多 4 个不同说话人的语音，超越了此前许多模型通常仅支持 1–2 个说话人的限制。

模型： VibeVoice-1.5B
报告： 技术报告

🔥 主要特性¶

• ⏱️ 90 分钟长文本生成：单次即可合成最长 90 分钟的对话/单说话人语音，并全程保持说话人一致性和语义连贯性。
• 👥 多说话人支持：支持单次对话中最多 4 个不同说话人，并在长对话中实现自然的轮流说话和说话人一致性。
• 🎭 富有表现力的语音：生成富有表现力、听感自然的语音，捕捉对话动态和情感细微差别。
• 🌐 多语言支持：支持英语、中文及其他语言。

🏗️ 模型架构¶

VibeVoice-TTS 采用 next-token diffusion 框架，结合了以下技术：

• 大语言模型（LLM）：基于 Qwen2.5，理解文本上下文和对话流程
• 连续语音分词器：以 7.5 Hz 的超低帧率运行的声学和语义分词器，在高效保留音频保真度的同时提升计算效率
• 扩散头：通过基于扩散的生成来产生高保真声学细节

🎵 演示示例¶

英语

中文

跨语言

即兴演唱

4 人长对话

更多示例，请参见 项目页面。

安装与使用¶

由于被广泛滥用，已禁用。

结果¶

该模型在长文本多说话人语音生成任务上取得了先进性能。详细评估结果请参阅 论文。

🚨 提示¶

我们观察到用户在合成中文语音时可能会偶尔遇到不稳定的情况。我们的建议是：

• 即使输入中文文本，也使用英文标点，最好只用逗号和句号。
• 使用 Large 模型变体，它要稳定得多。
• 如果发现生成声音语速过快，可以尝试将文本切分为多个轮次，并使用相同的说话人标签。

我们感谢 PsiPi 分享了一种有趣的情感控制方式。详情可参见 discussion12。

常见问题¶

Q1：这是一个预训练模型吗？¶

答： 是的，这是一个预训练模型，没有进行任何后训练或针对基准测试的优化。从某种意义上说，这使得 VibeVoice 非常通用且有趣。

Q2：随机触发声音/音乐/BGM。¶

答： 正如你从我们的演示页面看到的，背景音乐或声音是自发产生的。这意味着我们无法直接控制它们是否生成。该模型是内容感知的，这些声音会根据输入文本和所选择的语音提示而触发。

以下是我们注意到的一些情况：

• 如果你使用的语音提示包含背景音乐，生成的语音也更有可能会包含背景音乐。（Large 模型在这方面相当稳定且有效——可以在演示中试试！）
• 如果语音提示是干净的（无 BGM），但输入文本包含“欢迎来到”“你好”或“然而”等开场词或短语，背景音乐仍然可能出现。
• 与说话人声音相关：使用 “Alice” 会比其他声音更容易产生随机 BGM（这是固定的）。
• 在其他场景下，Large 模型更稳定，产生意外背景音乐的概率更低。

事实上，我们特意决定不对训练数据进行降噪，因为我们认为 BGM 在恰当的时刻出现是一个有趣的功能。你可以把它看作是我们为你留下的一颗小小彩蛋。

Q3：文本归一化？¶

答： 我们在训练或推理过程中不进行任何文本归一化。我们的理念是，大语言模型应该能够自行处理复杂的用户输入。然而，由于训练数据的特性，你可能仍然会遇到一些边缘情况。

Q4：唱歌能力。¶

答： 我们的训练数据不包含任何音乐数据。唱歌能力是模型的涌现能力（这就是为什么即使是像 “See You Again” 这样的著名歌曲，它也可能跑调）。（Large 模型比 1.5B 模型更可能表现出这种能力）。

Q5：部分中文发音错误。¶

答： 我们训练集中的中文数据量远小于英文数据。此外，某些特殊字符（例如中文引号）偶尔可能会导致发音问题。

Q6：跨语言迁移的不稳定性。¶

答： 该模型确实展现出强大的跨语言迁移能力，包括保留口音的特性，但其表现可能不稳定。这是模型的一种涌现能力，我们并未专门对其进行优化。通过重复采样，有可能获得令人满意的结果。

风险与限制¶

尽管已通过各种技术努力对其进行了优化，但它仍可能产生意外、有偏见或不准确的输出。VibeVoice 继承了其基础模型（特别地，本版本中的 Qwen2.5 1.5b）所产生的任何偏见、错误或遗漏。深度伪造和虚假信息的潜在风险：高质量合成语音可能被滥用，以制造令人信服的虚假音频内容，用于冒充他人、欺诈或传播虚假信息。用户必须确保转录文本可靠、核实内容准确性，并避免以误导性方式使用生成的内容。用户应合法地使用生成的内容和部署模型，完全遵守相关司法管辖区所有适用的法律法规。在分享 AI 生成的内容时，披露 AI 的使用是最佳实践。

仅支持英文和中文：英文或中文以外的语言的转录文本可能会导致意外的音频输出。

非语音音频：该模型仅专注于语音合成，不处理背景噪音、音乐或其他音效。

重叠语音：当前模型不会显式建模或生成对话中重叠的语音片段。

我们不建议在未进行进一步测试和开发的情况下，将 VibeVoice 用于商业或现实世界应用。此模型仅供研究和开发用途。请负责任地使用。