Đếm token và ước tính chi phí khi gọi LLM trong Java
Cách đếm token cục bộ bằng JTokkit, tính chi phí bằng BigDecimal, chặn request vượt ngân sách và đối chiếu với usage thực tế từ Spring AI.
Cách đếm token cục bộ bằng JTokkit, tính chi phí bằng BigDecimal, chặn request vượt ngân sách và đối chiếu với usage thực tế từ Spring AI.
Nhận từng token từ LLM API qua Server-Sent Events bằng HttpClient và WebClient, rồi đẩy tiếp về trình duyệt, kèm xử lý lỗi, timeout và test.
Hiểu cách LLM gọi hàm của ứng dụng, từ JSON thô tới @Tool trong Spring AI. Bài có ví dụ tra cứu, huỷ đơn hàng và test không cần gọi model thật.
Cách ép LLM trả về JSON khớp schema trong Spring Boot: map vào record bằng Spring AI, bật JSON Schema native, validate, retry và viết test.
Các kỹ thuật prompt engineering thực dụng như system prompt, delimiter, few-shot, structured output và temperature, minh họa bằng Spring AI.
Hiểu cách temperature, top_p và max tokens điều khiển đầu ra của LLM, và cấu hình chúng đúng cách với Spring AI trong ứng dụng Spring Boot 3.
Hiểu ba khái niệm nền tảng của LLM là token, context window và sampling, kèm code Java 21 để đếm token, cắt lịch sử chat và tự cài temperature, top-k, top-p.
Phân tích một kiến trúc AI production-grade có thể chạy với chi phí 0 đồng, từ frontend, RAG, LLM local đến deployment, kèm ví dụ code thực hành.
Giải thích kiến trúc nghe-nói đồng thời (full-duplex) của các mô hình LLM thời gian thực, kèm ví dụ tích hợp WebSocket bằng Spring Boot.
Khi tài liệu nguồn thay đổi, ghi đè trực tiếp trong vector store dễ gây mâu thuẫn dữ liệu. Bài viết hướng dẫn quy trình versioning an toàn cho RAG.
Tổng hợp 12 paper nền tảng của AI hiện đại — từ AlexNet đến RAG — kèm code Java minh họa từng ý tưởng cốt lõi.
Tìm hiểu cách LLM sinh ra từng token khi inference, các kỹ thuật tối ưu như KV cache, batching, quantization và cách đo hiệu năng bằng Java/Spring Boot.
Hướng dẫn thực tế cách dùng LLM để rút ngắn thời gian viết code, test, docs trong dự án Spring Boot, kèm ví dụ chạy được.
Tổng hợp 20 khái niệm nền tảng khi làm việc với LLM — token, embedding, RAG, fine-tuning, agent... kèm ví dụ code Java/Spring AI dễ hiểu.