语音助手正在经历范式转变。对比传统ASR→LLM→TTS级联流水线与端到端语音语言模型，分析各自优劣势、延迟差异和信息保留能力，展望语音大模型的技术路线。
语音大模型
端到端语音语言模型、语音Token化、GPT-4o语音模式、全双工对话、延迟优化与评估
文章列表
- 11
- 12大模型处理音频的关键是token化。详解音频离散化方法、EnCodec/SACodec编解码、多码本策略设计，以及不同tokenizer对下游任务性能的影响。
- 13GPT-4o实现了~232ms端到端语音延迟。深入分析其原生多模态处理架构（非ASR→LLM→TTS流水线）、情感表达机制、打断处理策略，并与Google Gemini实时语音、Claude语音进行对比。
- 14全双工是自然语音交互的圣杯。详解FLAIR（全双工潜在内部推理）、SHANKS（同时听和思考）等突破性工作，以及如何模拟人类“边听边想”的认知过程。
- 15深度剖析三个代表性端到端语音语言模型：Moshi（全双工口语对话）、Voila（语音角色扮演）、VocalNet-M2（多码本多token预测）。对比架构设计、训练策略和推理性能。
- 16详解阿里Qwen3-Omni（原生音频输入输出）、SpeechGPT等语音多模态大模型。探讨音频与文本的融合策略、多模态训练方法，以及语音理解与视觉理解的统一架构。
- 17延迟决定用户体验。详解流式处理架构、推测解码（speculative decoding）、模型量化（4-bit）、边缘-云协同推理等优化手段，以及各环节的延迟瓶颈分析。
- 18语音助手不能只是冷冰冰的机器。详解风格控制技术、情感嵌入方法、韵律建模（F0、能量、时长），以及多风格TTS如何让AI表达喜怒哀乐。
- 19语音助手需要服务全球用户。详解SeamlessM4T（101种语言语音到语音翻译）、MMS（1000+语言ASR）、低资源语言支持方案，以及统一多语言模型的训练挑战。
- 20评估是进步的前提。详解VoiceAssistant-Eval基准（10497样本，13任务类别），WER/BLEU之外的评估维度，全双工对话的特殊评估挑战，以及构建综合评测体系的实践。