计算 Token 并估算调用 LLM 的成本(Java)
如何使用 JTokkit 本地计算 Token,用 BigDecimal 计算成本,阻止超出预算的请求,并与 Spring AI 实际用量数据进行对比。
如何使用 JTokkit 本地计算 Token,用 BigDecimal 计算成本,阻止超出预算的请求,并与 Spring AI 实际用量数据进行对比。
通过 HttpClient 和 WebClient 使用 Server-Sent Events 从 LLM API 接收每个 token,然后推送到浏览器,包含错误处理、超时和测试。
理解 LLM 如何调用应用函数,从原始 JSON 到 Spring AI 中的 @Tool。文章包含查询、取消订单的示例以及不需要调用真实模型的测试。
如何在 Spring Boot 中强制 LLM 返回符合 JSON Schema 的数据:使用 Spring AI 映射到 record、启用原生 JSON Schema、验证、重试和编写测试。
实用的提示工程技巧如 system prompt、delimiter、few-shot、structured output 和 temperature,用 Spring AI 演示。
通过观察-推理-行动循环理解 AI Agent 的本质,用 Java 21 从零实现一个最小化 agent,并用 JUnit 5 进行测试。
理解 LLM 的三个基础概念:token、context window 和采样,附带 Java 21 代码用于计数 token、截断聊天历史和自定义 temperature、top-k、top-p。
根据各自的控制者区分 MCP 的三个 primitive:tool、resource 和 prompt,附带 Spring AI 示例和测试
用 Spring AI 构建完整的 RAG 管道:切分文档、生成嵌入、向量搜索、构建带引用的提示词并为每个步骤编写测试。
使用 sentence-transformers 创建 vector embedding,计算相似度,进行语义搜索,并从 Spring Boot 应用中调用模型。
理解 temperature、top_p 和 max tokens 如何控制 LLM 的输出,以及在 Spring Boot 3 应用中使用 Spring AI 正确配置它们。
分析2026年GitHub热门AI Agent仓库背后的架构模式,并包含自建Java/Spring Boot Tool-Calling Agent的示例。
定义 AI Agent,与普通聊天机器人的区别,解释 ReAct 循环,以及用 Java 和 Spring AI 构建一个最小化的 agent。
分析一个可以零成本运行的生产级AI架构,从前端、RAG、本地LLM到部署,附带实战代码示例。
学习构建AI Agent时的5种常见模式 - Reflection、Tool Use、Planning、Multi-Agent、ReAct - 附带可运行的Java/Spring AI示例。
解释实时 LLM 模型的双工(full-duplex)听说架构,附带 Spring Boot WebSocket 集成示例。
Hugging Face Datasets库使用指南:加载、探索、转换和保存用于NLP模型训练的数据集
LLM 不会自动了解您公司的私有数据。本文解释 RAG 机制、为什么检索决定答案质量,并附可运行的 Java 示例。
了解 MCP——LLM 与外部数据/工具之间的通信标准,附带使用 Spring AI 编写 MCP server 的示例。
RAG 中的 flat search 运行时间为 O(n) 且精度绝对,但在数据量大时成本昂贵。本文通过 Java 示例解释 IVF、nprobe 以及 recall/速度的权衡。