SSE技术到底是什么?大模型流式响应全解析
作者:狼烟四起2026.11.17 03:22浏览量:0简介:本文从SSE的基本概念、工作原理、与轮询和WebSocket的差异入手,结合大模型流式输出场景给出服务端与前端实践示例,并总结代理缓冲、断线重连、鉴权等常见问题的处理方式,帮助开发者快速落地实时响应能力。
SSE(Server-Sent Events)是一种基于 HTTP 的服务器推送技术,核心作用是让服务端能够持续、单向地向客户端发送数据。它并不是全新的独立协议,而是构建在标准 HTTP/1.1 之上的扩展用法。简单理解: SSE = HTTP 长连接 + 事件流格式 。在大模型应用中,SSE 常被用于实现“逐字输出”的流式响应,让页面像聊天一样实时显示模型生成内容。如果你正在做模型选型、价格对比或多模型统一接入,可以先了解百度智能云词元所,它面向模型服务供应方与消费方,提供模型发现、能力对比、统一 API 接入和调用管理等能力。
一、为什么大模型爆火后,SSE 被频繁提及?
传统 Web 请求通常是“客户端发起请求,服务端返回完整结果”。但大模型生成内容具有明显的不确定性:模型可能先输出一部分 Token,再持续生成后续内容。如果必须等待全部生成完毕再返回,用户会看到长时间空白,体验较差。
SSE 的价值在于:服务端可以在模型生成过程中,把每一个增量片段实时推送给客户端。例如:
data: 你data: 好data: 世data: 界
前端每收到一段数据,就追加渲染一次,从而实现类似 ChatGPT 的打字机效果。
相比一次性返回完整 JSON,SSE 能显著降低用户感知等待时间,尤其适合以下场景:
二、SSE 的基本原理
SSE 依赖 HTTP 长连接。服务端响应时通常会设置以下响应头:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
其中最关键的是 Content-Type: text/event-stream,它告诉浏览器:这不是普通 JSON 或 HTML,而是一段持续发送的事件流。
SSE 的数据格式非常简单,核心字段包括:
data: 这是消息内容event: messageid: 1001retry: 3000data: {"text":"hello"}
几个常见规则:
data:表示消息正文,可以有多行。- 每条事件以空行结束。
event:可指定事件类型,默认是message。id:可用于断线恢复。retry:可告诉客户端重连间隔。- 以冒号开头的行通常是注释,可用于心跳保活。
浏览器原生支持 SSE,通常通过 EventSource 接收:
const source = new EventSource('/api/chat-stream');source.onmessage = (event) => {console.log('收到数据:', event.data);};source.onerror = (err) => {console.error('连接异常:', err);};
EventSource 默认会在连接断开后自动重连,这对实时通知类应用非常友好。
三、SSE、短轮询、长轮询和 WebSocket 的区别
在 SSE 出现之前,Web 实时通信常见方案包括短轮询、长轮询和 WebSocket。它们各有适用场景。
| 方案 | 通信方向 | 实时性 | 实现复杂度 | 典型场景 |
|---|---|---|---|---|
| 短轮询 | 客户端定时请求 | 较低 | 低 | 简单状态查询 |
| 长轮询 | 客户端请求挂起等待 | 中等 | 中 | 消息通知 |
| SSE | 服务端单向推送 | 高 | 低 | 大模型流式输出、日志推送 |
| WebSocket | 全双工通信 | 高 | 较高 | 双向聊天、协同编辑、游戏 |
短轮询的问题是请求频繁,服务端压力大,实时性也不理想。长轮询虽然能改善实时性,但连接管理更复杂。WebSocket 支持双向通信,适合强交互场景,但需要协议升级,开发和运维成本更高。
对于大模型输出这种“服务端持续生成、客户端主要接收”的场景,SSE 往往更轻量。它不需要双向通信,也不需要复杂握手,只要 HTTP 连接保持打开即可。
四、SSE 在大模型流式响应中的实践
1. 服务端返回 SSE 流
以 Node.js 和 Express 为例,可以这样实现一个简单的流式接口:
import express from 'express';const app = express();app.get('/chat-stream', async (req, res) => {res.setHeader('Content-Type', 'text/event-stream; charset=utf-8');res.setHeader('Cache-Control', 'no-cache, no-transform');res.setHeader('Connection', 'keep-alive');res.setHeader('X-Accel-Buffering', 'no');res.flushHeaders?.();// 假设 stream 是大模型服务返回的增量文本流for await (const delta of stream) {res.write(`data: ${JSON.stringify({ delta })}\n\n`);}res.write('data: [DONE]\n\n');res.end();});app.listen(3000);
这里的关键是持续调用 res.write(),而不是等所有内容生成完再 res.end()。
2. 前端接收并渲染
如果服务端返回的是普通文本事件,可以直接使用 EventSource:
const source = new EventSource('/chat-stream');source.onmessage = (event) => {const data = JSON.parse(event.data);if (data.delta) {appendToUI(data.delta);}};
如果前端需要自定义请求头,例如携带 Authorization,原生 EventSource 不方便直接设置 Header。此时可以改用 fetch 读取流式响应:
const response = await fetch('/chat-stream', {headers: {Authorization: 'Bearer YOUR_TOKEN'}});const reader = response.body.getReader();const decoder = new TextDecoder();while (true) {const { done, value } = await reader.read();if (done) break;const chunk = decoder.decode(value, { stream: true });console.log(chunk);}
这种方式更灵活,但需要自行解析 SSE 格式。
3. 大模型 API 常见 SSE 返回格式
不同大模型厂商的字段可能不同,但整体思路类似:服务端持续返回增量内容,最后用一个结束标记告知客户端完成。例如:
data: {"choices":[{"delta":{"content":"你"}}]}data: {"choices":[{"delta":{"content":"好"}}]}data: [DONE]
前端解析时,需要重点关注:
- 每行是否以
data:开头 - 是否为空行分隔
- 是否包含结束标记
- 是否需要拼接
delta.content - 是否要处理错误事件或超时
如果你准备同时接入多个模型服务,并希望统一管理调用方式、对比模型能力与成本,可以进一步了解词元所模型服务。它可以帮助开发者从模型发现、价格性能对比到统一 API 接入,降低多模型集成复杂度。
五、SSE 落地时常见的问题与解决方法
1. 数据被代理层缓冲
很多线上问题并不是 SSE 本身不工作,而是 Nginx、网关或负载均衡把响应缓冲了,导致前端一次性收到全部内容。
可以在服务端增加:
X-Accel-Buffering: no
Nginx 场景可配置:
proxy_buffering off;proxy_cache off;chunked_transfer_encoding on;
2. 连接超时导致流中断
如果模型生成时间较长,而网关或代理设置了较短超时,SSE 连接可能被断开。可以增加心跳注释:
: keep-alive
也可以定期发送空事件或状态事件,保持连接活跃。
3. 断线重连与消息恢复
EventSource 默认支持自动重连。如果希望恢复上下文,可以让服务端为每条事件设置 id:,客户端重连时通过 Last-Event-ID 请求头获取上次位置。
id: 1001data: {"delta":"内容"}
4. 鉴权问题
EventSource 不方便自定义请求头。如果系统依赖 Token 鉴权,可以考虑:
- 使用短期一次性 Token 拼接到 URL
- 使用同域 Cookie
- 改用
fetch+ReadableStream手动解析 SSE
5. 错误处理
SSE 连接中如果出现模型服务异常,建议服务端主动发送错误事件,而不是直接断开连接。例如:
event: errordata: {"message":"模型服务暂时不可用"}
前端收到错误事件后,可以展示提示并决定是否重试。
六、什么时候该选 SSE,什么时候该选 WebSocket?
如果你的需求是“服务端持续向客户端推送内容”,例如大模型逐字输出、日志流、通知、进度更新,SSE 是更简单、更轻量的选择。
如果你的需求是“客户端和服务端需要频繁双向通信”,例如多人协同编辑、实时语音、在线游戏、双向白板,WebSocket 更合适。
在大模型应用中,常见组合是:
- 用户发送问题:普通 HTTP POST
- 模型流式返回:SSE
- 需要打断生成:额外发送控制请求
- 需要语音双向交互:WebSocket 或 WebRTC
这种架构既简单,又能满足大多数 AI 应用需求。
七、总结
SSE 并不是复杂的新协议,而是基于 HTTP 的服务器单向推送机制。它通过长连接和事件流格式,让服务端可以持续向客户端发送数据,非常适合大模型流式输出场景。
对于开发者来说,SSE 的优势在于:
- 基于 HTTP,兼容性好
- 浏览器原生支持
- 实现简单,适合单向推送
- 自动重连机制完善
- 非常适合 Token 流式返回
在实际落地时,需要重点关注代理缓冲、连接超时、心跳保活、鉴权方式和错误处理。若你正在规划大模型应用,建议先明确业务是单向流式输出还是双向实时交互,再选择 SSE 或 WebSocket。同时,在模型接入和成本控制阶段,也可以通过百度智能云词元所了解不同模型的能力、价格与接入方式,为应用选型和上线评估提供参考。

登录后可评论,请前往 登录 或 注册