Đếm token và ước tính chi phí khi gọi LLM trong Java
Cách đếm token cục bộ bằng JTokkit, tính chi phí bằng BigDecimal, chặn request vượt ngân sách và đối chiếu với usage thực tế từ Spring AI.
Ở đây có các app mình đã làm, blog lập trình và series video ngắn Nón Lá Dev.
Cách đếm token cục bộ bằng JTokkit, tính chi phí bằng BigDecimal, chặn request vượt ngân sách và đối chiếu với usage thực tế từ Spring AI.
Dùng thiserror để định nghĩa kiểu lỗi rõ ràng cho library, dùng anyhow để gom lỗi và thêm context cho application, và kết hợp cả hai.
Phân biệt object declaration, object expression và companion object trong Kotlin, cách chúng tạo singleton, gọi từ Java và những lỗi hay gặp.
Dùng template literal types để sinh tên key, parse route param và viết event emitter an toàn kiểu, kèm test kiểu với Vitest và các bẫy cần tránh.
Cách chia sẻ dữ liệu giữa các thread bằng Arc<Mutex<T>>, truyền message bằng mpsc channel, và tránh deadlock, poisoning cùng các lỗi hay gặp.
Cấu hình Maven để Kotlin và Java gọi lẫn nhau, xử lý nullability, @JvmStatic, @JvmOverloads và các lỗi hay gặp trong Spring Boot.