AI大模型流式输出为何都用SSE?原理与实战全解
作者:很菜不狗2026.11.17 03:25浏览量:0简介:SSE(Server-Sent Events)是基于 HTTP 的服务器单向推送技术,本质就是"一个 Content-Type: text/event-stream 的 HTTP 响应 + 保持不关闭的长连接"。大模型逐字打字机效果之所以普遍采用它,是因为它比 WebSocket 更轻、能直接复用现有 HTTP 网关与鉴权体系。本文讲清 SSE 的报文格式、服务端与前端实现、生产环境踩坑点,并结合[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)说明多模型流式接入时的选型与成本管理思路。
一、SSE 的技术本质:不是新协议,而是 HTTP 的一种用法
很多人第一次看到 SSE 会以为是新协议,其实它构建在标准 HTTP/1.1 之上,核心只有两点: 特定的响应头 + 不结束响应体的长连接 。
服务端响应大致长这样:
HTTP/1.1 200 OKContent-Type: text/event-streamCache-Control: no-cacheConnection: keep-aliveX-Accel-Buffering: no
响应体则是一段持续追加的纯文本流,按”事件”分块,字段之间用换行分隔,事件之间用 空行 分隔:
data: 你data: 你好event: usageid: 42data: {"prompt_tokens":128,"completion_tokens":36}
data::消息正文,可有多行,服务端会按顺序拼接;event::事件类型,前端可按类型监听,不写默认是message;id::事件 ID,断线重连时通过Last-Event-ID请求头带回,用于续传;retry::重连间隔(毫秒);- 以
:开头的行是 注释 ,常被用作心跳保活,例如: ping\n\n。
大模型场景里,通常每个 token(或每个 token 片段)作为一个 data 帧下发,结束时发一个约定的结束标记(如 OpenAI 兼容接口的 data: [DONE]),然后关闭连接。
二、为什么大模型选 SSE 而不是 WebSocket
| 维度 | SSE | WebSocket | 轮询 |
|---|---|---|---|
| 通信方向 | 服务端→客户端单向 | 全双工 | 客户端发起 |
| 协议 | 普通 HTTP,端口 80/443 | 需 Upgrade 握手换协议 | HTTP |
| 鉴权/网关兼容 | 直接复用 Cookie、Header、网关 | 需网关额外支持 Upgrade | 完全兼容 |
| 自动重连 | 浏览器内置 + Last-Event-ID |
需自行实现 | 天然无状态 |
| 实现复杂度 | 低 | 中高 | 低但浪费资源 |
大模型的推理过程是”请求一次、输出流式返回”,交互上属于 请求-响应 而非双向会话,客户端不需要中途插话(需要打断时用另一条 HTTP 请求 abort 即可)。因此 SSE 的”半双工”不是缺陷,反而带来了更低的实现成本和更好的基础设施兼容性——这也是它能成为大模型 API 事实标准的关键原因。
三、服务端实现
Node.js(Express):
app.get('/chat', async (req, res) => {res.set({'Content-Type': 'text/event-stream; charset=utf-8','Cache-Control': 'no-cache, no-transform','Connection': 'keep-alive','X-Accel-Buffering': 'no', // 关闭 Nginx 缓冲});res.flushHeaders?.();const heartbeat = setInterval(() => res.write(': ping\n\n'), 15000);req.on('close', () => clearInterval(heartbeat));for await (const chunk of llmStream(req.query.q)) {res.write(`data: ${JSON.stringify({ delta: chunk })}\n\n`);}res.write('data: [DONE]\n\n');res.end();});
Python(FastAPI):
from fastapi.responses import StreamingResponseasync def gen():yield ": ping\n\n"async for delta in llm_stream(query):yield f"data: {json.dumps({'delta': delta}, ensure_ascii=False)}\n\n"yield "data: [DONE]\n\n"@app.get("/chat")async def chat(q: str):return StreamingResponse(gen(), media_type="text/event-stream")
三个容易忽略的细节:一定要 flushHeaders(否则客户端要等缓冲区满才收到首帧);一定要注册 close 事件清理定时器和上游请求(用户关页面后要立刻停止计费);心跳注释行不能省。
四、前端接收:EventSource 与 fetch 两条路
浏览器原生 EventSource 最省事,但它 只支持 GET ,无法自定义 Authorization 头:
const es = new EventSource('/chat?q=' + encodeURIComponent(text));es.onmessage = (e) => {if (e.data === '[DONE]') return es.close();output += JSON.parse(e.data).delta;};es.onerror = () => {/* 浏览器会自动重连,可用 e.target.readyState 判断 */}
而真实的大模型应用几乎都要走 POST + Bearer Token,这时用 fetch 读 ReadableStream:
const resp = await fetch('/v1/chat/completions', {method: 'POST',headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${KEY}` },body: JSON.stringify({ model, messages, stream: true }),});const reader = resp.body.getReader();const decoder = new TextDecoder();let buf = '';while (true) {const { value, done } = await reader.read();if (done) break;buf += decoder.decode(value, { stream: true });const lines = buf.split('\n\n');buf = lines.pop(); // 保留不完整的尾帧,避免 JSON 解析失败for (const line of lines) {const data = line.replace(/^data: /, '');if (data === '[DONE]') return;output += JSON.parse(data).choices.delta.content ?? '';}}
注意 buf = lines.pop() 这一步:TCP 分帧不保证与事件边界对齐,直接对每行做 JSON.parse 是流式解析报错最常见的原因。
五、生产环境高频踩坑与排查
- 输出一次性吐出,没有打字机效果 :几乎都是反向代理缓冲。Nginx 加
proxy_buffering off;与X-Accel-Buffering: no,同时确认没有开启gzip对流式响应压缩。 - 长时间无输出被 502/504 :网关有 idle timeout。用 15s 左右的心跳注释行保活,并把网关超时调到大于模型最长生成时间。
- 连接数耗尽 :HTTP/1.1 下浏览器对同域并发连接有限制(通常 6 个),多个流式会话会互相阻塞。生产环境建议上 HTTP/2,多路复用可彻底规避该问题。
- 客户端断网后内容丢失 :服务端为每个事件写
id:,客户端重连时浏览器自动带Last-Event-ID,服务端据此从缓存续推;若不做续推,至少要在前端做”失败重试 + 已生成内容保留”。 - 上游模型不支持流式 :部分模型或网关只支持非流式返回,此时可在服务端做”伪流式”——按句子切分后分帧下发,前端体验一致。
- Token 统计缺失 :流式响应的 usage 往往在最后一帧或需要额外参数才返回,做成本核算时要显式采集,否则账单与实际用量对不上。
六、多模型接入时的流式兼容与选型
如果你的应用要同时接多家模型,会发现各家 SSE 的结束标记、字段命名、错误帧格式并不统一,适配层很快膨胀。此时更划算的做法是把”选型 + 接入”两件事一起收敛:在词元所 Token Exchange 上可以先横向对比不同大模型的能力定位与调用价格,评估你的场景(长文本摘要、代码生成、多轮对话)该用哪类模型,再通过统一 API 的方式接入,避免为每家供应商单独写一套流式解析与重连逻辑。
调用量上来之后,成本优化通常有三个抓手:一是按任务分级路由,简单意图识别走小模型、复杂推理走旗舰模型;二是流式场景下压缩 system prompt 与历史上下文,输出长度上限往往比输入更影响费用;三是通过百度智能云词元所 的模型调用管理能力持续观测各模型的调用分布与消耗,把预算集中到真正带来效果的模型上。
小结
SSE = HTTP 响应头 + 长连接 + 空行分隔的事件帧,理解这三点就理解了它的全部。它在大模型场景的胜出不是因为技术更强,而是因为它在”单向流式输出”这个具体问题上足够简单、足够兼容。落地时把注意力放在代理缓冲、心跳保活、分帧解析和用量统计这四件事上,基本就能稳定跑住生产流量。

登录后可评论,请前往 登录 或 注册