Java 5大AI框架详解:选型、代码与实战
作者:php是最好的2026.11.17 03:20浏览量:1简介:Java 生态做 AI 应用,主流选择是 Spring AI、LangChain4j、Semantic Kernel Java、DJL 和 Spring AI Alibaba 这五个框架,它们分别解决了对话记忆、RAG、工具调用、本地推理和多模型接入的问题。本文给出各框架的核心抽象、可运行代码片段、横向对比表与选型建议,并说明如何用统一 API 与 [百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article) 降低多模型接入和成本评估的复杂度。
先回答:Java 里到底有哪 5 个主流 AI 框架
结论先给: Spring AI、LangChain4j、Semantic Kernel Java、DJL、Spring AI Alibaba 。前两个是当前 Java 大模型应用开发使用最广的两个,第三个是微软把 .NET 的 Semantic Kernel 移植到 JVM 的产物,第四个不是 LLM 框架而是深度学习推理框架(但做本地 Embedding、私有化推理绕不开它),第五个面向国产模型生态。
如果你还在纠结”用哪个模型、哪家便宜”,可以先去 词元所模型服务 做一轮模型能力与调用价格的横向对比,再决定框架里填哪个 base-url 和 model 名。
为什么不能只写一个 RestTemplate
裸调 HTTP 能跑通一次问答,但企业级 AI 应用真正要处理的是下面这些工程问题:
| 能力 | 具体难点 | 自己实现的代价 |
|---|---|---|
| 多轮对话记忆 | 上下文窗口裁剪、摘要压缩、按会话隔离 | 高,需自研存储与截断策略 |
| RAG 检索增强 | 文档解析、切片、向量化、召回重排 | 很高,涉及 ETL 全链路 |
| Tool Calling | 工具描述生成、参数校验、结果回填、多轮循环 | 中,协议细节易错 |
| 智能体编排 | 多 Agent 协作、状态机、人工介入 | 高 |
| 可观测性 | 延迟、成功率、Token 消耗、链路追踪 | 中,需埋点体系 |
| 模型切换 | 不同厂商请求/响应格式差异 | 中,需抽象适配层 |
| 安全沙箱 | 限制 AI 执行敏感操作 | 高,安全兜底不能省 |
框架的价值就是把这几层封装成统一抽象,让你只写业务逻辑。
一、Spring AI:Spring 生态的官方答案
核心抽象非常”Spring”:ChatClient(流式 API)、ChatMemory(对话记忆)、VectorStore(向量库抽象)、Advisor(拦截器链)、ToolCallback(工具调用)。可观测性直接复用 Micrometer,能无缝接入 Prometheus / Zipkin。
@Configurationclass AIChatConfig {@BeanChatClient chatClient(ChatClient.Builder builder,QuestionAnswerAdvisor qaAdvisor) {return builder.defaultSystem("你是订单客服,只依据检索到的资料回答").defaultAdvisors(new SimpleLoggerAdvisor(), qaAdvisor).build();}}@RestController@RequestMapping("/ai")class ChatController {private final ChatClient chatClient;ChatController(ChatClient chatClient) { this.chatClient = chatClient; }@GetMapping(value = "/ask", produces = MediaType.TEXT_EVENT_STREAM_VALUE)Flux<String> ask(@RequestParam String q) {return chatClient.prompt().user(q).stream().content();}}
RAG 部分靠 VectorStore + EtlPipeline 完成解析、切分、写入,QuestionAnswerAdvisor 负责检索并把召回内容塞进上下文。工具调用用 @Bean 方法加 @Description 注解即可暴露。
适合 :已经在用 Spring Boot、需要与现有微治理体系(配置中心、链路追踪、网关)打通的团队。
二、LangChain4j:声明式 AI 接口最舒服
LangChain4j 的杀手锏是 AiServices——用 Java 接口 + 注解声明一个 AI 服务,框架自动生成实现,写起来像调本地方法。
interface OrderAssistant {@SystemMessage("""你是订单助手。回答必须基于工具返回的数据,不得编造订单号或物流信息。""")String chat(@MemoryId String sessionId, @UserMessage String question);}class OrderTools {@Tool("根据订单号查询订单当前状态")String queryOrder(String orderId) {return orderService.statusOf(orderId);}}OrderAssistant assistant = AiServices.builder(OrderAssistant.class).chatLanguageModel(OpenAiChatModel.builder().baseUrl("https://your-gateway/v1").apiKey(System.getenv("LLM_API_KEY")).modelName("ernie-4.0-turbo").temperature(0.2).build()).tools(new OrderTools()).chatMemoryProvider(id -> MessageWindowChatMemory.withMaxMessages(20)).build();
它内置了 Easy RAG(EmbeddingStoreIngestor 一行完成文档入库)、几十种向量库与模型集成,并原生支持 Quarkus 与 Spring Boot starter。可观测性通过 ChatModelListener 暴露请求/响应事件,方便统计 Token 消耗。
适合 :想快速出原型、追求开发效率,且希望框架不绑死某个生态的团队。
agent-">三、Semantic Kernel Java:Agent 与插件化设计
微软出品,核心概念是 Kernel + Plugin + Function。它把”函数”作为一等公民,支持函数自动调用(Auto Function Calling)和多 Agent 协作,插件用 @SKFunction 标注:
Kernel kernel = Kernel.builder().addOpenAIChatCompletion("gpt-model", apiKey).addPlugin(OrderPlugin.create()).build();Function<String> reply = kernel.createFunctionFromPrompt("""根据 {{$history}} 判断用户意图,必要时调用插件函数,最后用中文给出简洁答复。""");
优势在于类型化的函数调用与规划器(Planner)设计,劣势是 Java 版功能迭代节奏慢于 .NET 版,社区资料相对少。
适合 :需要严格插件化、多 Agent 编排,或团队本身有微软技术栈背景的场景。
四、DJL:本地推理与私有化部署
DJL(Deep Java Library)不是 LLM 编排框架,而是引擎抽象层:同一套 API 底下可切换 PyTorch、ONNX Runtime、TensorFlow、XPU 等引擎,自带 ModelZoo 与 HuggingFace 模型加载能力。
Criteria<Image, Classifications> criteria = Criteria.builder().setTypes(Image.class, Classifications.class).optEngine("PyTorch").optModelUrls("djl://ai.djl.pytorch/...").build();try (ZooModel<Image, Classifications> model = criteria.loadModel();Predictor<Image, Classifications> predictor = model.newPredictor()) {predictor.predict(ImageIO.read(file));}
在 AI 应用里的典型位置是:本地跑 Embedding 模型(避免每条文档都调远程接口)、本地跑小模型做前置分类或敏感词过滤、以及数据不能出内网的私有化推理。
适合 :有国产化/信创环境要求、需要离线推理、或想降低 Embedding 调用成本的场景。
五、Spring AI Alibaba:国产模型生态适配
面向国内模型服务(通义系列、百炼平台等)的 Spring 生态集成,提供 starter 化的配置、RAG 与 Agent 组件,同时兼容 OpenAI 协议接口。它的实际价值在于把国内模型的鉴权、流式返回、工具调用差异抹平,同时保留 Spring AI 的编程模型。
适合 :业务已在国内云上、需要中文场景效果与合规发票结算的企业。
横向对比与选型建议
| 框架 | 维护方 | 核心抽象 | 生态成熟度 | 首选场景 |
|---|---|---|---|---|
| Spring AI | Spring 官方 | ChatClient / Advisor | 高 | Spring Boot 存量系统改造 |
| LangChain4j | 社区(Kotlin/Java) | AiServices 声明式接口 | 高 | 快速开发、原型验证 |
| Semantic Kernel Java | 微软 | Kernel / Plugin / Agent | 中 | 插件化、多 Agent 编排 |
| DJL | AWS | 引擎抽象 / ModelZoo | 高(推理侧) | 本地推理、私有化部署 |
| Spring AI Alibaba | 阿里 | starter + RAG/Agent | 中 | 国产模型生态集成 |
选型顺序建议:先看团队技术栈(Spring 系优先 Spring AI),再看交付形态(私有化必配 DJL),最后看模型来源(国内模型走兼容 OpenAI 协议的接入方式即可,不必换框架)。
多模型接入与 Token 成本:容易被忽略的一环
框架解决的是”怎么调”,但”调哪个、多少钱”同样决定项目成败。两点经验:
1. 用统一 API 层隔离模型差异。 把 base-url、api-key、model 名全部外置到配置中心,业务代码只依赖框架抽象。这样换模型是改配置而不是改代码。百度智能云词元所 提供的多模型统一 API 接入方式,正是为了降低这类集成复杂度,同时可以在平台上对比不同模型的能力与调用价格,辅助选型。
2. 算清单次请求成本。 计费通常按输入、输出 Token 分别计价:
单次成本 = 输入Token数 / 1,000,000 × 输入单价+ 输出Token数 / 1,000,000 × 输出单价
RAG 场景的成本大头往往不是用户提问,而是每次塞进去的召回片段。优化手段按性价比排序:压缩 top-k 与片段长度 → 开启上下文缓存 → 简单意图用小模型分流 → 高频问答做结果缓存。具体单价请以各模型官方定价为准,可在 词元所模型服务 上按业务量级做成本测算。
落地时的三个注意事项
- 可观测性优先做 :从第一天就记录每次调用的 Token 数、延迟、失败原因,否则上线后无法定位是检索问题还是模型问题。
- 工具调用要设边界 :写文件、发邮件、执行 SQL 这类工具必须加白名单与人工确认,别让模型直接持有高危权限。
- 别把提示词写死在代码里 :系统提示词外置到配置或数据库,才能在不发版的情况下调优效果。
总结一句:Java 做 AI 应用已经不缺框架,缺的是清晰的边界划分——框架负责编排,模型服务负责能力,成本治理交给可观测数据和选型对比。

登录后可评论,请前往 登录 或 注册