计算 Token 并估算调用 LLM 的成本(Java)
如何使用 JTokkit 本地计算 Token,用 BigDecimal 计算成本,阻止超出预算的请求,并与 Spring AI 实际用量数据进行对比。
如何使用 JTokkit 本地计算 Token,用 BigDecimal 计算成本,阻止超出预算的请求,并与 Spring AI 实际用量数据进行对比。
通过 HttpClient 和 WebClient 使用 Server-Sent Events 从 LLM API 接收每个 token,然后推送到浏览器,包含错误处理、超时和测试。
理解 LLM 如何调用应用函数,从原始 JSON 到 Spring AI 中的 @Tool。文章包含查询、取消订单的示例以及不需要调用真实模型的测试。
如何在 Spring Boot 中强制 LLM 返回符合 JSON Schema 的数据:使用 Spring AI 映射到 record、启用原生 JSON Schema、验证、重试和编写测试。
实用的提示工程技巧如 system prompt、delimiter、few-shot、structured output 和 temperature,用 Spring AI 演示。
理解 LLM 的三个基础概念:token、context window 和采样,附带 Java 21 代码用于计数 token、截断聊天历史和自定义 temperature、top-k、top-p。
理解 temperature、top_p 和 max tokens 如何控制 LLM 的输出,以及在 Spring Boot 3 应用中使用 Spring AI 正确配置它们。
分析一个可以零成本运行的生产级AI架构,从前端、RAG、本地LLM到部署,附带实战代码示例。
解释实时 LLM 模型的双工(full-duplex)听说架构,附带 Spring Boot WebSocket 集成示例。
当源文档变化时,直接在向量库中覆盖容易导致数据不一致。本文介绍了RAG系统的安全版本管理流程。
汇总12篇现代AI基础论文——从AlexNet到RAG——配有Java代码演示每个核心思想。
了解 LLM 在推理过程中如何逐个生成 token,以及 KV cache、batching、quantization 等优化技术,以及如何使用 Java/Spring Boot 测量性能。
汇总与 LLM 相关的 20 个基础概念 — token、embedding、RAG、fine-tuning、agent 等,附带易懂的 Java/Spring AI 代码示例。
实用指南:如何使用 LLM 缩短编写代码、测试、文档的时间,包括 Spring Boot 项目中可运行的示例。