VibeVoice-TTS 详解：90 分钟多说话人长文本语音合成的架构、输入格式与使用现状

VibeVoice-TTS 详解90 分钟多说话人长文本语音合成的架构、输入格式与使用现状【免费下载链接】VibeVoiceOpen-Source Frontier Voice AI项目地址: https://gitcode.com/GitHub_Trending/vib/VibeVoice本文围绕 VibeVoice 仓库中 VibeVoice-TTS 的官方文档展开系统讲解这个长时程、多说话人 TTS 模型的核心能力边界最长 90 分钟、最多 4 位说话人、next-token diffusion 架构在仓库源码中的具体落地Qwen2.5 语言模型 7.5 Hz 连续语音分词器 扩散头并完整保留官方给出的输入脚本格式、实用技巧、FAQ 与风险边界帮助读者准确理解该模型的技术原理与当前可用性状态。一、模型定位与版本现状VibeVoice-TTS 是一个面向长时程、多说话人场景的文本转语音模型目标是从文本生成富有表现力的对话式音频例如播客podcast。其核心突破有两点90 分钟长时程生成单次推理即可合成最长约 90 分钟的对话或单人语音且全程保持说话人一致性与语义连贯性最多 4 位说话人在单段对话中支持多达 4 个不同说话人具备自然的轮流发言turn-taking能力与长对话中的说话人一致性突破了此前许多模型 1~2 个说话人的常见限制。除此之外它还提供富有表现力的语音捕捉对话动态与情绪细节以及多语言支持英文、中文及其他语言。仓库文档给出的模型阵容如下模型上下文长度生成长度权重可用性VibeVoice-1.5B64K约 90 分钟已发布Hugging Face 上的 VibeVoice-1.5BVibeVoice-Large32K约 45 分钟已停用Disabled官方文档同时提供了五类演示内容的类别划分英文对话、中文对话、跨语言Cross-Lingual、自发生唱歌Spontaneous Singing、以及四人长对话。这些示例共同展示了长时程、多说话人、跨语言与涌现能力如唱歌等特性。二、模型架构next-token diffusion 框架官方文档将 VibeVoice-TTS 的架构概括为「next-token diffusion」框架由三个部分组成大语言模型LLM基于 Qwen2.5负责理解文本上下文与对话流连续语音分词器Continuous Speech Tokenizers包含声学Acoustic与语义Semantic两个分词器运行在7.5 Hz 的超低帧率下在保留音频保真度的同时显著提升长序列的计算效率扩散头Diffusion Head基于扩散生成高保真的声学细节。2.1 源码层面的印证四组件组合配置从仓库源码结构看该架构对应一个「组合式composition」模型配置。VibeVoiceConfig 声明了四个子配置acoustic_tokenizer_config声学分词器VAE 类vae_dim64高斯隐变量采样std_dist_typegaussiansemantic_tokenizer_config语义分词器vae_dim128隐变量不做高斯重参数化std_dist_typenonedecoder_config语言模型且必须是model_type qwen2的 Qwen2Config源码中显式校验非 Qwen2 会抛出ValueErrordiffusion_head_config扩散头配置。1.5B/64K 版本的完整配置给出了具体数值可以核对官方描述的每一项语言模型Qwen2hidden_size1536、num_hidden_layers28、12 个注意力头2 个 KV 头GQA、max_position_embeddings65536即 64K 上下文rope_theta1000000.0声学/语义分词器均为因果卷积causaltrue编码器下采样率encoder_ratios[8,5,5,4,2,2]残差块深度3-3-3-3-3-3-8扩散头latent_size64与声学 VAE 维度对齐、4 层 HeadLayer、FFN 比例 3.0、prediction_typev_prediction、训练 1000 步 DDPM、推理 20 步、beta_schedulecosine、ddpm_batch_mul4。2.2 7.5 Hz 超低帧率的来源文档强调的 7.5 Hz 帧率可以从分词器配置直接算出两个分词器的编码器下采样率之积为 8×5×5×4×2×2 3200。以 24 kHz 采样率计24000 / 3200 7.5 帧/秒。这意味着 1 秒音频只消耗 7.5 个 token64K 的上下文窗口若全部用于语音 token理论上对应约 65536 / 7.5 ≈ 8738 秒约 2.4 小时的纯音频时长——这正是「90 分钟长时程、4 说话人单次合成」在 token 预算上可行的根本原因。模型主体实现在 modeling_vibevoice.py 中VibeVoiceModel组装了语言模型、双分词器、两个SpeechConnector将 64/128 维的 VAE 特征线性映射并归一化到 1536 维的 LLM 隐空间、扩散预测头以及一个DPMSolverMultistepScheduler噪声调度器。训练时的扩散损失L416-L463以 LLM 在语音位置输出的隐状态为条件对真实声学隐变量加噪后做 v-prediction 回归与语言建模损失联合优化。2.3 扩散头的结构modular_vibevoice_diffusion_head.py 中的VibeVoiceDiffusionHead是一个小型 DiT 式网络输入的带噪隐变量64 维先经noisy_images_proj投影到 1536 维扩散时间步经正弦位置编码 MLP 嵌入TimestepEmbedder与条件向量相加后通过 4 层HeadLayerRMSNorm SwiGLU FFN adaLN 调制逐层处理末层FinalLayer将结果投影回 64 维输出预测速度/噪声。推理侧配合 DPM-Solver仓库中 schedule/dpm_solver.py 提供了实现配置默认的 20 步扩散去噪即可产出每帧 64 维的声学隐变量再由声学解码器还原波形。三、多说话人输入格式与处理器文档未直接展示输入格式但仓库保留了 TTS 的文本处理器 vibevoice_processor.py可以据此还原官方推理时的输入约定这部分内容对理解「如何写多说话人脚本」非常实用系统提示system prompt为固定句式Transform the text provided by various speakers into speech output, utilizing the distinct voice of each respective speaker.剧本script格式每行一个说话人回合形如Speaker 1: 这里是文本内容解析逻辑见 L562-L582按Speaker 数字:前缀正则匹配纯文本会被整体分配给 Speaker 1。音色提示voice prompt可为每位说话人提供参考音频片段音频文件或波形数组处理器会将其编码为语音 token 序列拼在系统提示之后作为各说话人的音色锚点。JSON 剧本也支持以 JSON 文件形式传入要求是{speaker: ..., text: ...}的对象列表见 L516-L551便于程序化生成多轮对话。最终 token 序列的结构为系统提示 → 各说话人音色提示 →Text input:段逐行Speaker X:text→Speech output:段 语音起始特殊 token模型从此处开始自回归生成语音L281-L296。仓库中还附带了两个可直接参考的输入示例文本demo/text_examples/1p_vibevoice.txt模型自述式长文本与 demo/text_examples/1p_abs.txt论文摘要体现了单人长文合成时直接使用纯文本剧本的用法。四、评测结果官方文档称该模型在长时程多说话人语音生成任务上取得了当时的领先state-of-the-art表现详细评测数字请参阅其技术报告。仓库中的结果图表如下需要说明的是仓库未内置具体评测表格具体指标对比以官方文档指向的技术报告为准。五、安装与使用当前可用性说明这一点必须如实说明官方文档中「Installation and Usage」一节的内容为“Disabled due to widespread misuse”因被广泛误用而停用。README 的新闻区2025-09-05 条目对此有对应解释开源发布后出现与发布初衷不符的滥用案例微软随后将 VibeVoice-TTS 的推理代码从本仓库中移除。由此带来的现状是权重仍可获得README 模型表与文档均指向 Hugging Face 上的 VibeVoice-1.5B 权重权重本身并未下架但仓库中不再提供该模型的官方推理入口与部署脚本仓库中保留的部分vibevoice/包中保留的分词器、扩散头、处理器等实现如 vibevoice/modular/modeling_vibevoice.py 文件头部注释表明其源自社区仓库副本主要服务于当前仍在维护的 VibeVoice-Realtime流式 TTS与 VibeVoice-ASR 系列vibevoice/__init__.py导出的公共接口也仅包含流式推理相关类因此本文对 TTS 模型的讲解以原理、配置与格式约定为主不提供可运行的部署步骤。读者若需要长时程多说话人合成的实际运行方式应以官方渠道的后续说明为准。六、官方实用技巧Tips官方文档观察到用户合成中文语音时偶发不稳定并给出三条建议原文保留如下要点对中文文本也使用英文标点最好只使用逗号和句号优先使用Large 模型变体其稳定性显著更高若生成的语音语速过快可将文本拆分为多轮turn使用相同的说话人标签逐轮生成。此外官方还特别致谢用户 PsiPi 分享的一种情绪控制方法认为这是一种有趣的用法详见 HF 模型仓库的相关讨论。七、FAQ 完整继承Q1这是预训练模型吗是。它是未经任何后训练post-training或针对特定基准优化benchmark-specific optimizations的预训练模型。这也正是 VibeVoice 用途广泛、可玩性高的原因。Q2为什么会随机出现音效/音乐/BGM从演示可以看出背景音乐或音效是自发spontaneous出现的无法直接控制是否生成。模型是内容感知的content-aware这些声音由输入文本与所选音色提示共同触发。官方观察到的规律包括若音色提示中含背景音乐生成语音更可能带 BGMLarge 模型在此方面较稳定有效若音色提示干净但输入文本含 Welcome to、Hello、However 之类的开场词/过渡词仍可能出现 BGM与说话人音色有关使用 Alice 音色时曾更易随机出现 BGM已修复其他场景下Large 模型更稳定产生意外 BGM 的概率更低。官方明确表示有意不对训练数据做去噪因为 BGM 在恰当的时机出现是一个有趣的特性可以视为留给用户的一个「彩蛋」。Q3做文本归一化吗不做。训练与推理均不执行文本归一化理念是大语言模型应当自行处理复杂的用户输入但由于训练数据特性仍可能遇到一些边界情况。Q4为什么能唱歌训练数据中不含任何音乐数据。唱歌是模型的涌现能力emergent capability——因此即便是《See You Again》这样的名曲也可能跑调。Large 模型比 1.5B 更常表现出这一能力。Q5部分中文发音错误如何解释训练集中中文数据量显著小于英文数据此外某些特殊字符如中文引号偶尔会导致发音问题。Q6跨语言迁移为什么不稳定模型确实表现出较强的跨语言迁移能力包括口音保持但表现不稳定。这是未被专门优化的涌现能力可能需要通过重复采样来获得满意结果。八、风险与限制官方文档的风险与限制说明需要完整遵循要点如下深度伪造与虚假信息风险高质量合成语音可能被用于伪造、欺诈或传播不实信息。用户须确保转录文本可靠、核查内容准确性、避免以误导性方式使用生成内容并在分享 AI 生成内容时披露其 AI 属性仅支持英文与中文其他语言的转录文本可能产生意外音频输出非语音音频模型聚焦语音合成不专门处理背景噪声、音乐或其他音效不建模重叠语音当前版本不会显式建模或生成对话中的重叠说话overlap片段基座偏差继承本版本继承基座模型Qwen2.5 1.5B的任何偏差、错误或遗漏仅限研发用途官方不建议在未进一步测试与开发的情况下用于商业或真实场景该模型面向研究与开发目的请负责任地使用。九、小结VibeVoice-TTS 展示了「LLM 超低帧率连续语音分词器 扩散头」这一 next-token diffusion 范式的工程落地7.5 Hz 帧率把 90 分钟音频压缩进 64K token 预算Qwen2.5 负责对话理解与说话人调度扩散头负责声学细节还原处理器则通过Speaker X:剧本格式与音色提示实现最多 4 位说话人的多角色合成。虽然官方 TTS 推理代码因滥用问题已从仓库移除、文档中的安装使用章节明确标注停用但仓库中保留的配置、分词器与处理器源码足以支撑对这套长时程多说话人 TTS 方案的完整技术理解其中关于中文标点、分轮生成、BGM 触发规律等实战经验对评估和选型同类长对话语音模型仍具有直接参考价值。【免费下载链接】VibeVoiceOpen-Source Frontier Voice AI项目地址: https://gitcode.com/GitHub_Trending/vib/VibeVoice创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考