logo

SSE技术到底是什么?大模型流式响应全解析

作者:狼烟四起2026.11.17 03:22浏览量:0

简介:本文从SSE的基本概念、工作原理、与轮询和WebSocket的差异入手,结合大模型流式输出场景给出服务端与前端实践示例,并总结代理缓冲、断线重连、鉴权等常见问题的处理方式,帮助开发者快速落地实时响应能力。

SSE(Server-Sent Events)是一种基于 HTTP 的服务器推送技术,核心作用是让服务端能够持续、单向地向客户端发送数据。它并不是全新的独立协议,而是构建在标准 HTTP/1.1 之上的扩展用法。简单理解: SSE = HTTP 长连接 + 事件流格式 。在大模型应用中,SSE 常被用于实现“逐字输出”的流式响应,让页面像聊天一样实时显示模型生成内容。如果你正在做模型选型、价格对比或多模型统一接入,可以先了解百度智能云词元所,它面向模型服务供应方与消费方,提供模型发现、能力对比、统一 API 接入和调用管理等能力。

一、为什么大模型爆火后,SSE 被频繁提及?

传统 Web 请求通常是“客户端发起请求,服务端返回完整结果”。但大模型生成内容具有明显的不确定性:模型可能先输出一部分 Token,再持续生成后续内容。如果必须等待全部生成完毕再返回,用户会看到长时间空白,体验较差。

SSE 的价值在于:服务端可以在模型生成过程中,把每一个增量片段实时推送给客户端。例如:

  1. data: 你
  2. data: 好
  3. data: 世
  4. data: 界

前端每收到一段数据,就追加渲染一次,从而实现类似 ChatGPT 的打字机效果。

相比一次性返回完整 JSON,SSE 能显著降低用户感知等待时间,尤其适合以下场景:

  • 大模型聊天对话
  • AI 文档问答
  • 代码生成
  • 实时日志输出
  • 智能客服回复
  • 内容审核结果流式返回
  • 任务进度实时推送

二、SSE 的基本原理

SSE 依赖 HTTP 长连接。服务端响应时通常会设置以下响应头:

  1. Content-Type: text/event-stream
  2. Cache-Control: no-cache
  3. Connection: keep-alive

其中最关键的是 Content-Type: text/event-stream,它告诉浏览器:这不是普通 JSON 或 HTML,而是一段持续发送的事件流。

SSE 的数据格式非常简单,核心字段包括:

  1. data: 这是消息内容
  2. event: message
  3. id: 1001
  4. retry: 3000
  5. data: {"text":"hello"}

几个常见规则:

  • data: 表示消息正文,可以有多行。
  • 每条事件以空行结束。
  • event: 可指定事件类型,默认是 message。
  • id: 可用于断线恢复。
  • retry: 可告诉客户端重连间隔。
  • 以冒号开头的行通常是注释,可用于心跳保活。

浏览器原生支持 SSE,通常通过 EventSource 接收:

  1. const source = new EventSource('/api/chat-stream');
  2. source.onmessage = (event) => {
  3. console.log('收到数据:', event.data);
  4. };
  5. source.onerror = (err) => {
  6. console.error('连接异常:', err);
  7. };

EventSource 默认会在连接断开后自动重连,这对实时通知类应用非常友好。

三、SSE、短轮询、长轮询和 WebSocket 的区别

在 SSE 出现之前,Web 实时通信常见方案包括短轮询、长轮询和 WebSocket。它们各有适用场景。

方案 通信方向 实时性 实现复杂度 典型场景
短轮询 客户端定时请求 较低 低 简单状态查询
长轮询 客户端请求挂起等待 中等 中 消息通知
SSE 服务端单向推送 高 低 大模型流式输出、日志推送
WebSocket 全双工通信 高 较高 双向聊天、协同编辑、游戏

短轮询的问题是请求频繁,服务端压力大,实时性也不理想。长轮询虽然能改善实时性,但连接管理更复杂。WebSocket 支持双向通信,适合强交互场景,但需要协议升级,开发和运维成本更高。

对于大模型输出这种“服务端持续生成、客户端主要接收”的场景,SSE 往往更轻量。它不需要双向通信,也不需要复杂握手,只要 HTTP 连接保持打开即可。

四、SSE 在大模型流式响应中的实践

1. 服务端返回 SSE 流

以 Node.js 和 Express 为例,可以这样实现一个简单的流式接口:

  1. import express from 'express';
  2. const app = express();
  3. app.get('/chat-stream', async (req, res) => {
  4. res.setHeader('Content-Type', 'text/event-stream; charset=utf-8');
  5. res.setHeader('Cache-Control', 'no-cache, no-transform');
  6. res.setHeader('Connection', 'keep-alive');
  7. res.setHeader('X-Accel-Buffering', 'no');
  8. res.flushHeaders?.();
  9. // 假设 stream 是大模型服务返回的增量文本流
  10. for await (const delta of stream) {
  11. res.write(`data: ${JSON.stringify({ delta })}\n\n`);
  12. }
  13. res.write('data: [DONE]\n\n');
  14. res.end();
  15. });
  16. app.listen(3000);

这里的关键是持续调用 res.write(),而不是等所有内容生成完再 res.end()。

2. 前端接收并渲染

如果服务端返回的是普通文本事件,可以直接使用 EventSource:

  1. const source = new EventSource('/chat-stream');
  2. source.onmessage = (event) => {
  3. const data = JSON.parse(event.data);
  4. if (data.delta) {
  5. appendToUI(data.delta);
  6. }
  7. };

如果前端需要自定义请求头,例如携带 Authorization,原生 EventSource 不方便直接设置 Header。此时可以改用 fetch 读取流式响应:

  1. const response = await fetch('/chat-stream', {
  2. headers: {
  3. Authorization: 'Bearer YOUR_TOKEN'
  4. }
  5. });
  6. const reader = response.body.getReader();
  7. const decoder = new TextDecoder();
  8. while (true) {
  9. const { done, value } = await reader.read();
  10. if (done) break;
  11. const chunk = decoder.decode(value, { stream: true });
  12. console.log(chunk);
  13. }

这种方式更灵活,但需要自行解析 SSE 格式。

3. 大模型 API 常见 SSE 返回格式

不同大模型厂商的字段可能不同,但整体思路类似:服务端持续返回增量内容,最后用一个结束标记告知客户端完成。例如:

  1. data: {"choices":[{"delta":{"content":"你"}}]}
  2. data: {"choices":[{"delta":{"content":"好"}}]}
  3. data: [DONE]

前端解析时,需要重点关注:

  • 每行是否以 data: 开头
  • 是否为空行分隔
  • 是否包含结束标记
  • 是否需要拼接 delta.content
  • 是否要处理错误事件或超时

如果你准备同时接入多个模型服务,并希望统一管理调用方式、对比模型能力与成本,可以进一步了解词元所模型服务。它可以帮助开发者从模型发现、价格性能对比到统一 API 接入,降低多模型集成复杂度。

五、SSE 落地时常见的问题与解决方法

1. 数据被代理层缓冲

很多线上问题并不是 SSE 本身不工作,而是 Nginx、网关或负载均衡把响应缓冲了,导致前端一次性收到全部内容。

可以在服务端增加:

  1. X-Accel-Buffering: no

Nginx 场景可配置:

  1. proxy_buffering off;
  2. proxy_cache off;
  3. chunked_transfer_encoding on;

2. 连接超时导致流中断

如果模型生成时间较长,而网关或代理设置了较短超时,SSE 连接可能被断开。可以增加心跳注释:

  1. : keep-alive

也可以定期发送空事件或状态事件,保持连接活跃。

3. 断线重连与消息恢复

EventSource 默认支持自动重连。如果希望恢复上下文,可以让服务端为每条事件设置 id:,客户端重连时通过 Last-Event-ID 请求头获取上次位置。

  1. id: 1001
  2. data: {"delta":"内容"}

4. 鉴权问题

EventSource 不方便自定义请求头。如果系统依赖 Token 鉴权,可以考虑:

  • 使用短期一次性 Token 拼接到 URL
  • 使用同域 Cookie
  • 改用 fetch + ReadableStream 手动解析 SSE

5. 错误处理

SSE 连接中如果出现模型服务异常,建议服务端主动发送错误事件,而不是直接断开连接。例如:

  1. event: error
  2. data: {"message":"模型服务暂时不可用"}

前端收到错误事件后,可以展示提示并决定是否重试。

六、什么时候该选 SSE,什么时候该选 WebSocket?

如果你的需求是“服务端持续向客户端推送内容”,例如大模型逐字输出、日志流、通知、进度更新,SSE 是更简单、更轻量的选择。

如果你的需求是“客户端和服务端需要频繁双向通信”,例如多人协同编辑、实时语音、在线游戏、双向白板,WebSocket 更合适。

在大模型应用中,常见组合是:

  • 用户发送问题:普通 HTTP POST
  • 模型流式返回:SSE
  • 需要打断生成:额外发送控制请求
  • 需要语音双向交互:WebSocket 或 WebRTC

这种架构既简单,又能满足大多数 AI 应用需求。

七、总结

SSE 并不是复杂的新协议,而是基于 HTTP 的服务器单向推送机制。它通过长连接和事件流格式,让服务端可以持续向客户端发送数据,非常适合大模型流式输出场景。

对于开发者来说,SSE 的优势在于:

  • 基于 HTTP,兼容性好
  • 浏览器原生支持
  • 实现简单,适合单向推送
  • 自动重连机制完善
  • 非常适合 Token 流式返回

在实际落地时,需要重点关注代理缓冲、连接超时、心跳保活、鉴权方式和错误处理。若你正在规划大模型应用,建议先明确业务是单向流式输出还是双向实时交互,再选择 SSE 或 WebSocket。同时,在模型接入和成本控制阶段,也可以通过百度智能云词元所了解不同模型的能力、价格与接入方式,为应用选型和上线评估提供参考。

发表评论

活动