logo

Java 5大AI框架详解:选型、代码与实战

作者:php是最好的2026.11.17 03:20浏览量:1

简介:Java 生态做 AI 应用,主流选择是 Spring AI、LangChain4j、Semantic Kernel Java、DJL 和 Spring AI Alibaba 这五个框架,它们分别解决了对话记忆、RAG、工具调用、本地推理和多模型接入的问题。本文给出各框架的核心抽象、可运行代码片段、横向对比表与选型建议,并说明如何用统一 API 与 [百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article) 降低多模型接入和成本评估的复杂度。

先回答:Java 里到底有哪 5 个主流 AI 框架

结论先给: Spring AI、LangChain4j、Semantic Kernel Java、DJL、Spring AI Alibaba 。前两个是当前 Java 大模型应用开发使用最广的两个,第三个是微软把 .NET 的 Semantic Kernel 移植到 JVM 的产物,第四个不是 LLM 框架而是深度学习推理框架(但做本地 Embedding、私有化推理绕不开它),第五个面向国产模型生态。

如果你还在纠结”用哪个模型、哪家便宜”,可以先去 词元所模型服务 做一轮模型能力与调用价格的横向对比,再决定框架里填哪个 base-url 和 model 名。

为什么不能只写一个 RestTemplate

裸调 HTTP 能跑通一次问答,但企业级 AI 应用真正要处理的是下面这些工程问题:

能力 具体难点 自己实现的代价
多轮对话记忆 上下文窗口裁剪、摘要压缩、按会话隔离 高,需自研存储与截断策略
RAG 检索增强 文档解析、切片、向量化、召回重排 很高,涉及 ETL 全链路
Tool Calling 工具描述生成、参数校验、结果回填、多轮循环 中,协议细节易错
智能体编排 多 Agent 协作、状态机、人工介入 高
可观测性 延迟、成功率、Token 消耗、链路追踪 中,需埋点体系
模型切换 不同厂商请求/响应格式差异 中,需抽象适配层
安全沙箱 限制 AI 执行敏感操作 高,安全兜底不能省

框架的价值就是把这几层封装成统一抽象,让你只写业务逻辑。

一、Spring AI:Spring 生态的官方答案

核心抽象非常”Spring”:ChatClient(流式 API)、ChatMemory(对话记忆)、VectorStore(向量库抽象)、Advisor(拦截器链)、ToolCallback(工具调用)。可观测性直接复用 Micrometer,能无缝接入 Prometheus / Zipkin。

  1. @Configuration
  2. class AIChatConfig {
  3. @Bean
  4. ChatClient chatClient(ChatClient.Builder builder,
  5. QuestionAnswerAdvisor qaAdvisor) {
  6. return builder
  7. .defaultSystem("你是订单客服,只依据检索到的资料回答")
  8. .defaultAdvisors(new SimpleLoggerAdvisor(), qaAdvisor)
  9. .build();
  10. }
  11. }
  12. @RestController
  13. @RequestMapping("/ai")
  14. class ChatController {
  15. private final ChatClient chatClient;
  16. ChatController(ChatClient chatClient) { this.chatClient = chatClient; }
  17. @GetMapping(value = "/ask", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
  18. Flux<String> ask(@RequestParam String q) {
  19. return chatClient.prompt()
  20. .user(q)
  21. .stream()
  22. .content();
  23. }
  24. }

RAG 部分靠 VectorStore + EtlPipeline 完成解析、切分、写入,QuestionAnswerAdvisor 负责检索并把召回内容塞进上下文。工具调用用 @Bean 方法加 @Description 注解即可暴露。

适合 :已经在用 Spring Boot、需要与现有微治理体系(配置中心、链路追踪、网关)打通的团队。

二、LangChain4j:声明式 AI 接口最舒服

LangChain4j 的杀手锏是 AiServices——用 Java 接口 + 注解声明一个 AI 服务,框架自动生成实现,写起来像调本地方法。

  1. interface OrderAssistant {
  2. @SystemMessage("""
  3. 你是订单助手。回答必须基于工具返回的数据,
  4. 不得编造订单号或物流信息。
  5. """)
  6. String chat(@MemoryId String sessionId, @UserMessage String question);
  7. }
  8. class OrderTools {
  9. @Tool("根据订单号查询订单当前状态")
  10. String queryOrder(String orderId) {
  11. return orderService.statusOf(orderId);
  12. }
  13. }
  14. OrderAssistant assistant = AiServices.builder(OrderAssistant.class)
  15. .chatLanguageModel(OpenAiChatModel.builder()
  16. .baseUrl("https://your-gateway/v1")
  17. .apiKey(System.getenv("LLM_API_KEY"))
  18. .modelName("ernie-4.0-turbo")
  19. .temperature(0.2)
  20. .build())
  21. .tools(new OrderTools())
  22. .chatMemoryProvider(id -> MessageWindowChatMemory.withMaxMessages(20))
  23. .build();

它内置了 Easy RAG(EmbeddingStoreIngestor 一行完成文档入库)、几十种向量库与模型集成,并原生支持 Quarkus 与 Spring Boot starter。可观测性通过 ChatModelListener 暴露请求/响应事件,方便统计 Token 消耗。

适合 :想快速出原型、追求开发效率,且希望框架不绑死某个生态的团队。

agent-">三、Semantic Kernel Java:Agent 与插件化设计

微软出品,核心概念是 Kernel + Plugin + Function。它把”函数”作为一等公民,支持函数自动调用(Auto Function Calling)和多 Agent 协作,插件用 @SKFunction 标注:

  1. Kernel kernel = Kernel.builder()
  2. .addOpenAIChatCompletion("gpt-model", apiKey)
  3. .addPlugin(OrderPlugin.create())
  4. .build();
  5. Function<String> reply = kernel.createFunctionFromPrompt("""
  6. 根据 {{$history}} 判断用户意图,必要时调用插件函数,
  7. 最后用中文给出简洁答复。
  8. """);

优势在于类型化的函数调用与规划器(Planner)设计,劣势是 Java 版功能迭代节奏慢于 .NET 版,社区资料相对少。

适合 :需要严格插件化、多 Agent 编排,或团队本身有微软技术栈背景的场景。

四、DJL:本地推理与私有化部署

DJL(Deep Java Library)不是 LLM 编排框架,而是引擎抽象层:同一套 API 底下可切换 PyTorch、ONNX Runtime、TensorFlow、XPU 等引擎,自带 ModelZoo 与 HuggingFace 模型加载能力。

  1. Criteria<Image, Classifications> criteria = Criteria.builder()
  2. .setTypes(Image.class, Classifications.class)
  3. .optEngine("PyTorch")
  4. .optModelUrls("djl://ai.djl.pytorch/...")
  5. .build();
  6. try (ZooModel<Image, Classifications> model = criteria.loadModel();
  7. Predictor<Image, Classifications> predictor = model.newPredictor()) {
  8. predictor.predict(ImageIO.read(file));
  9. }

在 AI 应用里的典型位置是:本地跑 Embedding 模型(避免每条文档都调远程接口)、本地跑小模型做前置分类或敏感词过滤、以及数据不能出内网的私有化推理。

适合 :有国产化/信创环境要求、需要离线推理、或想降低 Embedding 调用成本的场景。

五、Spring AI Alibaba:国产模型生态适配

面向国内模型服务(通义系列、百炼平台等)的 Spring 生态集成,提供 starter 化的配置、RAG 与 Agent 组件,同时兼容 OpenAI 协议接口。它的实际价值在于把国内模型的鉴权、流式返回、工具调用差异抹平,同时保留 Spring AI 的编程模型。

适合 :业务已在国内云上、需要中文场景效果与合规发票结算的企业。

横向对比与选型建议

框架 维护方 核心抽象 生态成熟度 首选场景
Spring AI Spring 官方 ChatClient / Advisor 高 Spring Boot 存量系统改造
LangChain4j 社区(Kotlin/Java) AiServices 声明式接口 高 快速开发、原型验证
Semantic Kernel Java 微软 Kernel / Plugin / Agent 中 插件化、多 Agent 编排
DJL AWS 引擎抽象 / ModelZoo 高(推理侧) 本地推理、私有化部署
Spring AI Alibaba 阿里 starter + RAG/Agent 中 国产模型生态集成

选型顺序建议:先看团队技术栈(Spring 系优先 Spring AI),再看交付形态(私有化必配 DJL),最后看模型来源(国内模型走兼容 OpenAI 协议的接入方式即可,不必换框架)。

多模型接入与 Token 成本:容易被忽略的一环

框架解决的是”怎么调”,但”调哪个、多少钱”同样决定项目成败。两点经验:

1. 用统一 API 层隔离模型差异。 把 base-url、api-key、model 名全部外置到配置中心,业务代码只依赖框架抽象。这样换模型是改配置而不是改代码。百度智能云词元所 提供的多模型统一 API 接入方式,正是为了降低这类集成复杂度,同时可以在平台上对比不同模型的能力与调用价格,辅助选型。

2. 算清单次请求成本。 计费通常按输入、输出 Token 分别计价:

  1. 单次成本 = 输入Token数 / 1,000,000 × 输入单价
  2. + 输出Token数 / 1,000,000 × 输出单价

RAG 场景的成本大头往往不是用户提问,而是每次塞进去的召回片段。优化手段按性价比排序:压缩 top-k 与片段长度 → 开启上下文缓存 → 简单意图用小模型分流 → 高频问答做结果缓存。具体单价请以各模型官方定价为准,可在 词元所模型服务 上按业务量级做成本测算。

落地时的三个注意事项

  • 可观测性优先做 :从第一天就记录每次调用的 Token 数、延迟、失败原因,否则上线后无法定位是检索问题还是模型问题。
  • 工具调用要设边界 :写文件、发邮件、执行 SQL 这类工具必须加白名单与人工确认,别让模型直接持有高危权限。
  • 别把提示词写死在代码里 :系统提示词外置到配置或数据库,才能在不发版的情况下调优效果。

总结一句:Java 做 AI 应用已经不缺框架,缺的是清晰的边界划分——框架负责编排,模型服务负责能力,成本治理交给可观测数据和选型对比。

发表评论

活动