logo

语音合成TTS原理:文本如何变成波形

作者:十万个为什么2026.11.18 11:58浏览量:1

简介:本文用可理解的方式讲清语音合成TTS原理与文本转语音链路:先通过文本规整、分词、音素/音节/词级标注整理语言学信息,再由声学模型预测声学特征,并由声码器生成波形。文章给出步骤、配置、示例与排查方法,帮助开发者理解自然度影响因素,并定位发音、韵律与杂音问题。

一、结论先行:TTS不是“读字”,而是“理解并生成”

语音合成(Text-to-Speech,TTS),也常被称为文本转语音,它的核心不是简单地把每个字符读出来,而是先理解文本要表达什么、应该怎么发音,再生成可听声音。

从工程链路看,语音合成通常可以拆成两个阶段:

  1. 前端理解层:对文本做规整、分词、音素/音节/词级标注,形成语言学信息。
  2. 后端生成层:由声学模型预测声学特征,再由声码器将特征转换为波形。

在经典级联 TTS 中,前端标注是否完整、是否准确,会直接影响合成自然度;在端到端神经网络 TTS 中,声学模型、声码器、训练数据与音色建模对音质同样关键。随着技术发展,传统前端标注与端到端模型的边界越来越模糊,很多系统会混合使用规则、词典和神经网络。

因此,理解 TTS 不应只停留在“把文字转成声音”,而应看到从文本输入到波形输出之间的一系列处理步骤。

二、适用场景与读者

语音合成已经广泛应用于有声阅读、智能客服、导航播报、无障碍阅读、视频配音、教学课件等场景。

本文适合以下读者:

  • 刚接触语音技术的开发者,希望建立 TTS 的基本认知。
  • 需要评估是否引入语音合成能力的技术负责人。
  • 希望理解合成自然度、发音准确性、韵律表现影响因素的工程师。
  • 需要排查发音错误、机械感、杂音等问题的调试人员。

如果要将合成语音用于公开传播场景,还应注意相关深度合成内容标识与合规要求。

三、前置准备

开始之前,建议具备以下基础:

  • 发音常识:了解单词、音节、音素、重音、停顿等基本概念。
  • 编程或命令行基础:能阅读简单脚本或伪代码即可,本文不绑定特定框架。
  • 声学常识:理解声音是波形信号,采样率、幅度、频率范围等概念有助于后续理解。
  • 数据意识:TTS 系统通常需要文本语料;若训练模型,还需要配套音频和标注数据。

四、语音合成的两个阶段

语音合成的输入是文本,输出是波形。完整链路看起来很长,但可以从宏观上分为两个阶段。

1. 前端:从文本中提取语言学信息

这一阶段主要解决“要说什么、怎么读、怎么断句”的问题。常见任务包括:

  • 文本规整:把数字、符号、缩写等转换成可朗读形式。
  • 分词:把文本切分为词或子词单元。
  • 音素标注:把词转换为音素,并标注上下文。
  • 音节标注:标注音节数量与位置。
  • 词级标注:标注词性、句子位置、韵律边界等。

2. 后端:从声学特征到波形

这一阶段主要解决“声音听起来是什么样”的问题。通常包括:

  • 声学模型:根据前端标注预测声学特征,例如 mel 频谱、基频、时长、能量等。
  • 声码器:将声学特征转换为最终波形。

这里需要特别区分:声学模型负责预测声学特征,声码器负责生成波形。二者不是同一个环节。

五、实施步骤:文本如何逐步变成波形

步骤一:文本规整(Text Normalization)

做什么:

把不规范、含符号、数字、缩写的原始文本,展开为可朗读的标准文本,并保留标点或停顿标记。

例如:

  • 1989 可规整为“一九八九”或英文 nineteen eighty nine
  • $100 可规整为 one hundred dollars
  • 3.14 可规整为 three point one four

为什么:

机器不会自动理解数字、日期、金额、缩写该怎么读。如果不做规整,可能把符号直接跳过,或者把数字误读。

注意:

标点是后续停顿与韵律边界判断的重要依据,不应简单删除。逗号、句号、问号等可能影响断句、语气和语速变化。

步骤二:分词(Tokenization)

做什么:

按语言规则将文本切分为词或子词单元,明确句子由哪些语言单位构成。

为什么:

后续音素、音节、词级标注通常以词或子词为基础。词边界如果切错,可能影响词性、多音字判断和韵律建模。

注意:

英文通常可以按空格及标点切分,中文则需要分词工具,并结合词典与上下文处理歧义切分。例如“研究生命起源”可能因为不同切分方式产生不同理解。

步骤三:音素级别标注

做什么:

把每个词进一步拆解为音素序列,并标注每个音素的上下文,例如前一个音素、后一个音素。

为什么:

同一个音素在不同前后音环境下,实际发音可能发生变化,这就是协同发音。标注上下文可以帮助后端判断当前音素应该如何调整发音,使声音更自然。

注意:

需要音素表或发音词典,用于完成字母到音素的映射。多音字、连读、重音位置都会影响音素选择。

步骤四:音节级与词级标注

做什么:

  • 音节级:标注每个词由几个音节组成,当前处于第几个音节。
  • 词级:标注词性、在句子中的位置、是否短语边界、是否韵律边界等。

为什么:

音节结构影响节奏和时长,词性会影响重音与语调。这些信息共同构成语音的韵律表现,也就是合成音是否自然、是否接近真人说话。

注意:

中文场景下,音节和词级标注通常依赖分词质量;多音字也需要结合上下文消歧。还可以进一步做韵律边界标注,例如停顿、语调短语,为后续韵律建模提供依据。

步骤五:声学模型预测与声码器生成波形

做什么:

在完成前端标注后,进入后端生成阶段:

  1. 声学模型根据文本标注预测声学特征,例如 mel 谱、基频、时长、能量等。
  2. 声码器根据声学特征生成最终波形。

为什么:

这是“语言学信息”转化为“可听声音”的关键桥梁。

注意:

不同实现路线的自然度、计算开销、可控性差异较大,需要在音质、成本和响应速度之间权衡。

六、配置说明与常见参数

在实际系统中,通常需要配置以下通用参数:

  • 采样率:决定可表示的频率范围。根据奈奎斯特定理,最高可表示频率约为采样率的一半。常见采样率包括 16kHz、24kHz、44.1kHz。
  • 音素表/发音词典:决定文本到音素的映射规则,是发音准确性的基础。
  • 语言与音色:不同语言需要匹配对应的标注规则、音素表和音频模型。
  • 语速与音调:影响韵律表现,可作为常见可调项。
  • 采样率一致性:输出采样率应与模型训练或预期采样率保持一致,否则可能导致变速变调,例如语速异常或音高异常。

如果发音词典不完整,生僻词、专名、缩写可能读错。如果采样率与模型不匹配,常见表现不是单纯音色异常,而是语速、音高或整体节奏异常。

七、最小可复现示例

为了理解前端标注是否生效,可以使用一个简单的开源语音合成工具做最小验证。以下示例使用 espeak-ng,常见版本如 1.50 及以上,具体以系统包管理器提供版本为准。

安装示例:

  1. # Ubuntu/Debian
  2. sudo apt update
  3. sudo apt install espeak-ng
  4. # macOS
  5. brew install espeak-ng

数字规整示例:

  1. espeak-ng -w normalize.wav "It costs $100 in 1989."

预期通常读作类似:

It costs one hundred dollars in nineteen eighty-nine.

这个例子用于检查数字、金额和年份是否被正确展开。

多音字上下文示例:

  1. espeak-ng -w read.wav "I read books every day. He read the book yesterday."

预期第一个 read 接近 /riːd/,第二个 read 接近 /rɛd/。如果两个读音没有区分,说明多音字上下文处理可能不准确。

这个示例不是完整产品方案,但能快速观察文本规整、分词、音素转换是否生效。

八、通用伪代码示意

以下伪代码仅用于说明链路,不代表可直接运行的代码:

  1. 输入: raw_text
  2. 1. norm_text = normalize(raw_text) # 展开数字、符号、缩写,保留标点或停顿标记
  3. 2. words = tokenize(norm_text) # 按语言规则切分为词或子词
  4. 3. annotated_words = []
  5. 4. for each word in words:
  6. phonemes = grapheme_to_phoneme(word) # 将词转换为音素
  7. annotate_context(phonemes) # 标注前后音素上下文
  8. annotate_syllable(word) # 音节级标注
  9. annotate_pos(word) # 词级、词性或韵律边界标注
  10. annotated_words.append(word + phonemes + annotations)
  11. 5. acoustic_features = predict_acoustic(annotated_words) # 声学模型预测 mel、基频、时长等
  12. 6. waveform = generate_waveform(acoustic_features) # 声码器生成波形
  13. 输出: waveform

这里的关键点是:先完成所有词的标注,再统一进入声学模型与声码器阶段,避免循环外只保留最后一个词的音素信息。

九、结果验证:如何判断合成是否成功

可以从以下几个方面检查:

  • 可听性:音频能否正常播放,是否无明显杂音、卡顿或截断。
  • 发音准确性:数字、符号、缩写、多音字是否读对。
  • 停顿与断句:逗号、句号、问号是否转化为合理停顿。
  • 韵律自然度:语速、语调、重音是否接近真人,是否机械感过强。
  • 标注一致性:抽样检查音素、音节、词级标注是否符合预期规则。
  • 配置一致性:采样率、语言、音色、语速音调是否匹配。

十、常见问题怎么排查

TTS发音错误怎么排查?

优先检查文本规整和发音词典。重点看数字、金额、日期、缩写是否被正确展开,以及词到音素的映射是否正确。

合成音机械感强怎么办?

可以检查词级、音节级和韵律边界标注是否完整。如果缺少词性、停顿、语调短语等信息,声音可能偏平、偏硬。

为什么语速、音高或音色异常?

常见原因是输出采样率与模型训练或预期采样率不一致,导致变速变调。也可能与语言模型、声码器配置或音色参数不匹配有关。

生僻词读错怎么处理?

可以补充发音词典条目,增加上下文规则,或为专有名词配置自定义发音。对于多音字,需要结合词性、句子位置和上下文判断。

音频杂音或截断怎么排查?

检查声学模型输出的特征边界、声码器输入范围,以及时长预测是否合理。若只在特定句子出现,通常与输入长度、标点、韵律边界或模型截断策略有关。

十一、优化建议

  • 质量角度:优先完善前端文本规整、分词和多音字处理,这些会直接影响基础发音。
  • 性能角度:在保证自然度前提下,合理选择采样率、模型规模与声码器类型,控制计算开销。
  • 稳定性角度:对发音词典、标注规则、模型版本进行版本化管理,便于回溯问题。
  • 可维护性角度:将文本规整、分词、标注、声学预测、波形生成拆分为可独立测试的模块。
  • 合规角度:用于公开传播的合成音频,应结合业务场景遵守相关标识与合规要求。

十二、总结

语音合成的本质是“先理解文本,再生成波形”的两阶段过程。前端负责文本规整、分词、音素/音节/词级标注;后端由声学模型预测声学特征,并由声码器生成波形。理解每一环的作用,才能更准确地定位发音、韵律、语速和音质问题。

发表评论

活动