logo

AI大模型爆火的SSE技术到底是什么?

作者:梅琳marlin2026.11.17 03:19浏览量:0

简介:SSE是构建在HTTP上的服务器推送技术,常被用于大模型逐字输出。本文从原理、报文格式、代码示例、与WebSocket差异及工程实践等方面解释SSE,并结合模型选型、Token成本和统一API接入,介绍百度智能云词元所在大模型应用中的实际价值。

SSE(Server-Sent Events)并不是一个新的独立协议,而是基于HTTP/1.1的一种服务器推送方式。它让服务端可以通过长连接持续向客户端发送数据,因此在大模型应用中,常被用来实现“逐字输出”的流式对话体验。如果你正在选型大模型、评估调用成本或准备统一接入多个模型,可以先了解百度智能云词元所,它提供模型发现、价格对比、多模型统一API接入和调用管理等能力。

一、SSE到底是什么?

SSE可以理解为: HTTP扩展字段 + Keepalive长连接 。

传统HTTP请求通常是“客户端发起请求,服务端返回一次响应,然后连接结束”。而SSE不同,服务端在响应开始时不会立刻结束响应,而是保持连接打开,持续向客户端写入数据。

一个典型的SSE响应头如下:

  1. Content-Type: text/event-stream
  2. Cache-Control: no-cache
  3. Connection: keep-alive

服务端随后可以不断发送事件数据:

  1. data: 你好
  2. data: 这是第一段内容
  3. data: 这是第二段内容

每个事件以两个换行符结束。客户端收到后,就可以逐条处理。

SSE常用于通知推送、日志流、实时数据更新,以及大模型对话中的流式输出。

二、为什么大模型应用偏爱SSE?

大模型生成内容时,如果采用一次性返回,用户需要等待完整答案生成后才能看到结果。对于长文本生成,这种体验往往较差。

SSE可以让服务端把模型生成的增量内容实时推送给前端。例如用户提问后,页面可以逐步显示:

  1. 当
  2. 用户
  3. 提问

而不是等待整段答案生成完成。

这种流式输出有几个明显优势:

  1. 降低首字等待时间 :用户很快能看到模型开始回复。
  2. 提升交互体验 :类似ChatGPT的逐字输出更符合用户预期。
  3. 适合长文本场景 :报告、代码、文章等内容可以边生成边展示。
  4. 便于中断控制 :用户可以在生成过程中停止请求。

需要注意的是,SSE只是传输方式,并不会减少模型实际生成的Token数量。流式输出改善的是体验,不等于降低模型调用成本。

三、SSE的工作流程

在大模型应用中,SSE通常位于用户界面和模型服务之间。

典型流程如下:

  1. 用户在前端输入问题。
  2. 前端向后端发起请求。
  3. 后端调用大模型流式接口。
  4. 模型返回增量内容。
  5. 后端将增量内容封装为SSE事件。
  6. 前端接收事件并逐步渲染。

简化后的服务端示例:

  1. app.get('/chat', async (req, res) => {
  2. res.setHeader('Content-Type', 'text/event-stream');
  3. res.setHeader('Cache-Control', 'no-cache');
  4. res.setHeader('Connection', 'keep-alive');
  5. const stream = await model.streamChat(req.query.q);
  6. for await (const chunk of stream) {
  7. res.write(`data: ${JSON.stringify({ delta: chunk })}\n\n`);
  8. }
  9. res.write('data: [DONE]\n\n');
  10. res.end();
  11. });

前端可以使用EventSource接收:

  1. const source = new EventSource('/chat?q=hello');
  2. source.onmessage = (event) => {
  3. const data = JSON.parse(event.data);
  4. console.log(data.delta);
  5. };
  6. source.onerror = () => {
  7. source.close();
  8. };

不过,EventSource只支持GET请求,且不能自定义复杂请求头。如果大模型接口需要POST、鉴权头或复杂请求体,实际项目中常用fetch读取流式响应,再由前端解析数据。

四、SSE和WebSocket有什么区别?

很多初学者会把SSE和WebSocket混淆。两者都可用于实时通信,但适用场景不同。

对比项 SSE WebSocket
通信方向 服务端到客户端单向推送 客户端和服务端全双工通信
协议基础 基于HTTP 独立协议,通过HTTP升级
数据格式 通常为文本事件流 文本或二进制
自动重连 浏览器原生支持 通常需要自行实现
实现复杂度 较低 较高
典型场景 通知、日志、大模型流式输出 聊天室、协同编辑、双向交互

如果应用主要是“服务端持续告诉客户端新内容”,SSE通常更简单。若需要客户端频繁向服务端发送消息,并且服务端也要实时回应,WebSocket更合适。

五、SSE开发中的常见坑

1. Nginx缓冲导致内容不实时

如果服务端部署在Nginx后面,可能会遇到数据被缓冲、前端不能逐字显示的问题。常见处理方式是关闭代理缓冲:

  1. proxy_buffering off;
  2. proxy_cache off;
  3. chunked_transfer_encoding on;

同时需要关注proxy_read_timeout等超时配置,避免长连接被提前断开。

2. 长连接超时

SSE连接可能持续较长时间。如果没有心跳机制,负载均衡器或代理可能断开连接。可以定期发送注释行:

  1. : ping

或者发送自定义心跳事件,保持连接活跃。

3. 鉴权问题

EventSource不能方便地携带自定义请求头。如果系统依赖Authorization头,可以考虑:

  • 使用短期Token作为查询参数;
  • 使用Cookie鉴权;
  • 改用fetch读取流式响应;
  • 由后端代理完成鉴权和模型调用。

4. 自动重连造成重复请求

SSE默认支持自动重连。对于通知类场景这是优点,但对于大模型生成场景,重连可能导致重复生成或重复计费。实际项目中应控制重连策略,或在服务端明确结束事件。

六、从SSE看大模型选型与成本控制

SSE让流式输出变得简单,但在企业落地时,不能只看前端体验,还要综合评估模型能力、调用成本和工程复杂度。

选型时建议关注:

  1. 模型效果 :是否满足问答、写作、代码、摘要等任务要求。
  2. 上下文长度 :长文档、多轮对话是否够用。
  3. 流式支持 :是否支持增量返回,是否便于集成。
  4. 调用成本 :输入Token、输出Token的计费方式是否清晰。
  5. 并发能力 :高并发场景下是否稳定。
  6. 接入复杂度 :是否需要为多个模型分别适配SDK。

在多个模型之间做选择时,可以借助词元所模型服务进行模型发现、价格与性能对比,从而更清晰地判断不同模型在成本、能力和适用场景上的差异。

如果业务需要同时接入多个模型,统一API接入也很重要。通过大模型API服务平台了解多模型统一接入和调用管理方式,可以减少重复适配,提高开发和运维效率。

七、总结

SSE本质上是一种基于HTTP的轻量级服务器推送技术。它通过长连接和事件流格式,让服务端能够持续向客户端发送数据。在大模型应用中,SSE常被用于实现逐字输出、实时反馈和流式对话,显著提升了用户体验。

但SSE并不是银弹。实际落地时,需要同时考虑代理缓冲、连接超时、鉴权、重连、错误处理以及模型调用成本。对于开发者和企业而言,真正高效的AI应用不仅要选对传输方式,还要选对模型、算清成本,并具备统一接入和持续调优的能力。

发表评论

活动