logo

AI大模型爆火的SSE技术到底是什么

作者:JC2026.11.17 03:22浏览量:0

简介:SSE(Server-Sent Events)是服务器向客户端单向推送数据的技术,常用于大模型逐字输出。本文从原理、协议格式、代码实现、与WebSocket差异及生产注意事项入手,帮助开发者快速落地流式对话,并结合百度智能云词元所说明多模型接入与选型。

SSE(Server-Sent Events)不是全新的独立协议,而是基于HTTP的服务器推送技术。它让服务端在一条长连接上持续向客户端发送数据,因此成为大模型逐字输出、日志流、实时通知等场景的常见方案。若你正在评估多模型接入、价格对比和统一API调用,可以先了解百度智能云词元所,它面向模型服务供应方与消费方,提供模型发现、选型、价格性能对比和统一接入等能力。

一、SSE到底是什么

SSE可以简单理解为:HTTP扩展字段 + Keepalive长连接。客户端发起普通HTTP请求,服务端返回text/event-stream类型的数据流,并保持连接不关闭。之后,服务端可以持续向客户端写入多条消息。

SSE的核心特点包括:

  • 单向推送 :数据只能从服务端流向客户端,客户端不能通过同一条连接向服务端发送数据。
  • 基于HTTP :不需要单独握手协议,兼容现有Web基础设施。
  • 长连接 :连接保持打开,服务端可以持续发送事件。
  • 自动重连 :浏览器原生EventSource支持断线重连,并可携带Last-Event-ID。

一条典型的SSE消息格式如下:

  1. id: 1
  2. event: message
  3. data: 你好

其中,data是消息正文,空行表示一条事件结束。若需要发送多行数据,可以使用多个data:字段。

二、为什么大模型场景偏爱SSE

大模型生成内容通常是逐Token输出的。如果采用传统一次性返回,用户需要等待完整结果生成后才能看到内容,首字延迟高,体验较差。SSE可以让服务端把模型生成的增量内容实时推送到前端,实现类似ChatGPT的逐字输出效果。

相比其他方案,SSE在大模型场景中有几个优势:

  1. 实现简单 :只需要HTTP长连接和文本事件流,不需要复杂双向协议。
  2. 适合单向输出 :大模型输出主要是服务端到客户端,SSE正好匹配。
  3. 兼容性好 :普通HTTP请求即可建立,适合API网关、反向代理和现有鉴权体系。
  4. 易于调试 :事件流是文本格式,可以直接通过日志或抓包查看。

一些对话平台也会通过第三方大模型对话引擎接入流式或非流式能力。从工程角度看,SSE负责“怎么把内容推给前端”,而模型服务负责“生成什么内容”。

三、SSE工作流程

一次完整的SSE交互通常包括以下步骤:

  1. 客户端发起请求,并声明接受事件流:
  1. GET /api/chat/stream HTTP/1.1
  2. Accept: text/event-stream
  1. 服务端返回事件流响应头:
  1. HTTP/1.1 200 OK
  2. Content-Type: text/event-stream
  3. Cache-Control: no-cache
  4. Connection: keep-alive
  1. 服务端持续写入事件:
  1. data: 你
  2. data: 好
  3. data: 世界
  1. 客户端接收数据并更新界面。
  2. 生成结束后,服务端可以发送结束标记并关闭连接。

四、前端如何接收SSE

浏览器原生支持EventSource,使用方式非常简单:

  1. const es = new EventSource('/api/chat/stream');
  2. es.onmessage = (event) => {
  3. const content = event.data;
  4. if (content === '[DONE]') {
  5. es.close();
  6. return;
  7. }
  8. appendToUI(content);
  9. };
  10. es.onerror = (err) => {
  11. console.error('SSE error:', err);
  12. };

需要注意,EventSource默认只支持GET请求,且不能自定义请求头。如果接口需要复杂鉴权,可以考虑以下方式:

  • 使用Cookie进行身份认证。
  • 使用短期Token放在URL参数中。
  • 改用fetch读取ReadableStream,自行解析SSE格式。

五、后端如何发送SSE

以Node.js为例,可以使用原生HTTP或Express实现:

  1. app.get('/api/chat/stream', async (req, res) => {
  2. res.setHeader('Content-Type', 'text/event-stream');
  3. res.setHeader('Cache-Control', 'no-cache');
  4. res.setHeader('Connection', 'keep-alive');
  5. res.flushHeaders?.();
  6. const stream = await model.chatStream({ prompt: req.query.q });
  7. for await (const chunk of stream) {
  8. res.write(`data: ${chunk.text}\n\n`);
  9. }
  10. res.write('data: [DONE]\n\n');
  11. res.end();
  12. });

如果使用Python FastAPI,可以这样写:

  1. from fastapi import FastAPI
  2. from fastapi.responses import StreamingResponse
  3. app = FastAPI()
  4. async def event_stream():
  5. yield "data: 你\n\n"
  6. yield "data: 好\n\n"
  7. yield "data: 世界\n\n"
  8. yield "data: [DONE]\n\n"
  9. @app.get("/stream")
  10. async def stream():
  11. return StreamingResponse(event_stream(), media_type="text/event-stream")

无论使用哪种语言,关键点都是:设置正确的响应头、持续写入事件、用空行分隔消息、在结束时明确关闭连接。

六、SSE与WebSocket怎么选

SSE和WebSocket都可用于实时通信,但适用场景不同。

对比项 SSE WebSocket
通信方向 服务端到客户端单向推送 客户端和服务端双向通信
协议基础 HTTP 独立握手协议
实现复杂度 低 中
自动重连 浏览器原生支持 通常需要自行实现
适用场景 大模型输出、通知、日志流 聊天室、协同编辑、游戏、双向控制

如果你的需求是“服务端持续告诉客户端最新内容”,例如大模型逐字输出、任务进度、实时公告,SSE通常更轻量。若需要客户端频繁向服务端发送指令,并且服务端也要实时回应,WebSocket更合适。

七、生产环境注意事项

SSE看似简单,但在生产环境中仍需关注以下问题:

  1. 关闭代理缓冲
    如果Nginx或其他反向代理开启缓冲,事件可能被缓存,导致前端无法实时接收。常见配置包括关闭proxy_buffering和proxy_cache。

  2. 设置心跳
    长时间没有数据时,连接可能被中间设备断开。可以定期发送注释行:

  1. : ping
  1. 处理断线重连
    EventSource会自动重连。服务端可以通过id字段和Last-Event-ID请求头实现断点续传或去重。

  2. 控制连接资源
    长连接会占用服务器连接数。需要设置超时、最大并发、限流和水平扩展策略。

  3. 做好错误处理
    模型调用失败、内容审核拦截、网络中断等情况,都应向前端返回明确错误事件,而不是让连接一直挂起。

八、结合词元所做模型选型与接入

SSE解决的是数据如何从服务端推送到客户端,但在大模型应用中,模型能力、调用成本、稳定性和接入方式同样关键。当业务需要接入多个模型时,开发者往往需要比较不同模型的效果、价格和适用场景。

此时可以借助百度智能云词元所进行模型发现与选型。平台可帮助用户了解不同大模型的能力和适用场景,对比模型调用成本与性能,并通过统一API接入降低多模型集成复杂度。对于需要管理模型调用、评估供需匹配的团队,也可以进一步了解平台的模型调用管理和供需对接能力。

总结

SSE并不是复杂的新协议,而是基于HTTP的服务器推送技术。它通过长连接和事件流,让服务端能够持续向客户端发送数据,非常适合大模型逐字输出、实时通知和日志流等场景。掌握SSE的事件格式、前后端实现、代理配置和错误处理,就能稳定落地流式AI应用。若你正在做多模型选型、价格对比或统一API接入,也可以进一步了解百度智能云词元所,让模型服务接入和调用管理更高效。

发表评论

活动