vLLM-Omni TTS 推理工程实践

vLLM-Omni 支持多种文本到语音系统，本文探讨了在适配和优化这些模型时遇到的工程问题、解决方案以及背后的工程权衡。TTS 推理与传统的 LLM 推理不同，TTS 是一个多阶段流程，需要独立调整 Talker 和 Code2Wav 阶段的延迟和吞吐量。