实时语音大模型评测框架：指标、方法与选型要点

评测背景

语音交互正从“语音识别、文本大模型、语音合成”的级联方案，转向直接处理音频输入和输出的端到端模型。级联方案每一段都会增加延迟并引入误差。端到端模型减少了中间环节，但也带来新的评测问题。延迟、打断、工具调用和稳定性都需要单独验证，单看一个榜单分数无法说明模型能否支撑具体业务。

本文讨论一款由某云厂商上线的实时语音交互模型，下文称“被测模型”。本文不点名具体厂商。原始资料也没有说明模型提供方与本文作者之间是否存在商业关系，读者阅读时应留意这一点。本文的判断只基于两部分内容：一是可以按步骤复现的测试设计，二是厂商公开说明中可以核对的描述。本文没有报告经过独立测试得到的基准分数。

评测目标

本次评测关注三个问题：

1. 端到端语音交互的延迟与流畅度能否满足高实时性业务的要求。
2. 语音推理与共情表达能力能否达到自然对话的水平。
3. 基于函数调用（FunctionCall）的工具调用与外部知识库集成是否稳定。

被测模型的公开说明

厂商公开描述的能力包括：端到端音频理解与生成，支持边听边说和随时打断，采用标准函数调用协议，并可接入MCP、外部API和知识库。

关于在线策略蒸馏，厂商称文本大模型的推理能力会迁移到语音模型，且语音模型在生成过程中接受文本模型的实时纠正。这一机制的实际效果需要对照实验来验证，例如关闭纠正模块前后比较错误率。原始资料没有提供此类对照数据，因此本文不根据该机制推断准确率提升的幅度。

评测维度

评测维度	评估重点	验证方法
双工交互与流畅度	边听边说的响应时延、打断后的恢复时间、回声抑制效果	模拟真实对话，在模型输出过程中注入打断，记录停止输出的时间
语音推理与准确性	指令理解准确率、上下文推理能力、多语种混合处理	使用标准提示词集与口语化提示词集分别批量测试，比较两者差值
共情与表达自然度	语气情感丰富度、停顿与重音的自然程度、指令遵循度	主观盲测打分，每条样本至少由5名评分者独立打分
Agent工具调用	函数调用成功率、参数提取准确性、多轮工具编排能力	构造多轮任务，统计调用准确率和异常重试情况
工程稳定性	长连接保活、并发吞吐、网络抖动容错	分级压测，注入丢包与延迟突变
集成易用性	API标准程度、文档完整度、鉴权与流式数据处理难度	用通用SDK完成接入，记录改造工作量

测试设计与复现参数

测试环境应部署在公有云的GPU实例上，并记录实例型号、显存大小和地域。若测试在同地域内网进行，报告中应注明；若经过公网，应注明往返时延（RTT）。

测试集分为三类：标准语音指令集、口语化或带噪语音集、多轮复杂推理对话集。每类建议不少于200条，并记录每条音频的来源和信噪比。

下表列出建议的测试参数。这些是测试设计的要求，不是已完成的测量结果。

项目	建议设置
SDK与协议版本	记录厂商SDK版本和协议版本，两者需与厂商文档一致
鉴权方式	API Key从环境变量读取，不写入代码、配置文件或日志
音频格式	16kHz、16bit、单声道PCM，按20毫秒分帧；如厂商要求不同，以厂商要求为准
超时设置	建连超时10秒，单轮响应超时30秒，外部工具调用超时5秒
重试策略	只对网络类错误重试，采用指数退避，最多3次；工具调用需先确认接口具备幂等性
并发梯度	1、10、50、100个会话，每档持续至少15分钟
延迟统计	同时报告P50、P90、P99，不只报告均值
打断判定	从注入打断到TTS停止的时间超过200毫秒，记为失败
网络扰动	注入100毫秒、300毫秒的延迟抖动，以及1%、5%的丢包率

下面的伪代码展示打断与工具调用的测试逻辑。其中create_realtime_session、wait_tts_stopped等函数需要按厂商SDK实现，代码仅用于说明流程。

import os
import time
API_KEY = os.environ["VOICE_MODEL_API_KEY"]  # 从环境变量读取，不写入代码
MODEL_NAME = "Target_Audio_Model"            # 与测试记录中的模型版本保持一致
def test_realtime_interruption_and_toolcall(audio_stream, interrupt_wav):
    session = create_realtime_session(
        model=MODEL_NAME,
        api_key=API_KEY,
        connect_timeout=10,   # 秒
        response_timeout=30,  # 秒
    )
    try:
        session.send_stream(audio_stream)              # 16kHz PCM，20ms分帧
        session.wait_until_speaking(timeout=10)        # 等待模型开始输出语音
        time.sleep(3)                                  # 模型输出约3秒后注入打断
        t_interrupt = time.monotonic()
        session.send_interrupt(interrupt_wav)          # 例如："停止，帮我查下航班"
        t_stop = session.wait_tts_stopped(timeout=1.0)  # 返回TTS停止事件的时间戳
        if t_stop is None:
            record_failure(session.id, "TTS未在超时内停止")
            return False
        stop_latency_ms = (t_stop - t_interrupt) * 1000
        result = session.get_final_result(timeout=30)
        record_metric("interrupt_stop_ms", stop_latency_ms)
        ok = (
            stop_latency_ms <= 200
            and result.tts_stopped
            and result.tool_call is not None
            and result.tool_call.action == "query_flight"
            and result.tool_call.params.get("source") == "voice_interrupt"
        )
        if not ok:
            # 保存音频、事件日志和断言内容，便于复现和归因
            record_failure(session.id, result)
        return ok
    finally:
        session.close()

使用这段代码时需注意两点。第一，客户端计时包含网络往返时