logo

本地中文TTS克隆实战:根治编码乱码

作者:狼烟四起2026.11.18 11:57浏览量:0

简介:本文讲解在本地完成中文声音克隆与语音合成的全流程,涵盖环境与显卡检查、音频统一格式、UTF-8无BOM标注、乱码排查清单、微调参数范围和合成结果验证。读完可以独立定位GBK与BOM等编码问题,并按步骤判断训练是否正常。全程须取得说话人书面授权。

一、本文目标与适用范围

本文帮助开发者和运维人员在本地完成一套中文声音克隆与文字转语音(TTS)流程。完成后,你应能得到一段音色接近目标说话人、文字读音正确的合成音频,并能排查训练数据中常见的中文乱码问题。

适用场景包括短视频旁白、播客配音、课程讲解和企业宣传音频。本文只适用于已获得说话人本人书面授权的声音数据。未经授权模仿他人声音的用途不在讨论范围内。

二、环境与显卡检查

环境问题是本地部署中最常见的故障来源。先确认显卡驱动正常,再安装运行时。

  1. # 1. 查看驱动版本与驱动支持的最高 CUDA 版本
  2. nvidia-smi
  3. # 2. 创建并激活独立环境(以 conda 为例)
  4. conda create -n tts_env python=3.10 -y
  5. conda activate tts_env
  6. # 3. 到 PyTorch 官网选择与你的 CUDA 版本匹配的安装命令,示例如下(以官网当前命令为准)
  7. pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu121
  8. # 4. 安装项目依赖
  9. pip install -r requirements.txt
  10. # 5. 检查 PyTorch 能否识别显卡
  11. python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"

第 5 步输出中的 torch.cuda.is_available() 必须为 True。若为 False,按以下顺序排查:

  1. 确认 nvidia-smi 能正常显示显卡信息。
  2. 确认安装的 PyTorch 是 CUDA 版本,而不是 CPU 版本。
  3. 确认 PyTorch 声明的 CUDA 版本不高于驱动支持的最高版本。

把驱动版本、Python 版本、PyTorch 版本和 CUDA 版本记录到 env_record.txt。以后更换环境时,可以直接对照这份记录。

三、数据整理:统一格式与编码

3.1 统一音频格式

保留原始录音,所有转换结果输出到单独目录。采样率以项目要求为准,常见取值有 22050 Hz 和 24000 Hz。

  1. ffmpeg -i raw/spk01.wav -ac 1 -ar 22050 -sample_fmt s16 wav/spk01.wav

转换后检查削波(爆音)和静音:

  1. # 检查峰值,max_volume 接近 0 dB 时需要检查是否削波
  2. ffmpeg -i wav/spk01.wav -af volumedetect -f null - 2>&1 | grep max_volume
  3. # 检测静音段,噪声阈值可从 -35 dB 开始按录音环境调整
  4. ffmpeg -i wav/spk01.wav -af silencedetect=noise=-35dB:d=0.3 -f null - 2>&1 | grep silence

3.2 切分与标注

将长录音切成 1 到 12 秒的片段,多数项目取 3 到 8 秒。切分点应落在停顿处,不要截断词语。每个片段对应一行标注,字段之间使用固定分隔符 |:

  1. wav/spk01_0001.wav|spk01|zh|今天的会议安排在下午三点。
  2. wav/spk01_0002.wav|spk01|zh|请大家提前准备好材料。

标注文件中的文本决定模型学到的读音。错字会被模型学进去,合成时表现为读错字。自动识别结果需要逐条对照音频校对,重点检查同音字、标点、数字和英文缩写。

3.3 中文乱码排查清单

所有标注文件统一保存为 UTF-8 编码、不带 BOM 文件头。编辑器中可以通过 VS Code 右下角的编码选项选择”通过编码保存”,并选择 UTF-8。

先检查文件编码和 BOM:

  1. # 查看文件编码(Linux 和 macOS)
  2. file -i labels.txt
  3. # 前三个字节为 ef bb bf 即说明文件带有 BOM
  4. head -c 3 labels.txt | xxd

Windows 下用 chcp 查看当前代码页,65001 表示 UTF-8。再检查 Python 运行环境:

  1. locale
  2. python -c "import locale; print(locale.getpreferredencoding(False))"

若发现文件是 GBK 编码,转换为 UTF-8:

  1. iconv -f GBK -t UTF-8 labels_gbk.txt -o labels.txt

若需要去掉 BOM,可以用 Python 完成,并顺便验证解码是否成功:

```python
from pathlib import Path

p = Path(“labels.txt”)
raw = p.read_bytes()
if raw.startswith(b

发表评论

活动