Contar tokens y estimar costos al llamar a LLM en Java
Cómo contar tokens localmente con JTokkit, calcular costos con BigDecimal, bloquear solicitudes que excedan presupuesto y reconciliar con el uso real de Spring AI.
Cómo contar tokens localmente con JTokkit, calcular costos con BigDecimal, bloquear solicitudes que excedan presupuesto y reconciliar con el uso real de Spring AI.
Recibe cada token de LLM API a través de Server-Sent Events usando HttpClient y WebClient, luego transmítelo al navegador, con manejo de errores, timeout y pruebas.
Comprende cómo los LLM invocan funciones de tu aplicación, desde JSON raw hasta @Tool en Spring AI. El artículo incluye ejemplos de búsqueda, cancelación de pedidos y pruebas sin necesidad del modelo real.
Cómo forzar que el LLM devuelva JSON coincidiendo con el schema en Spring Boot: mapea en record usando Spring AI, habilita JSON Schema nativo, valida, reintentos y escribe tests.
Técnicas prácticas de prompt engineering como system prompt, delimiter, few-shot, structured output y temperature, ilustradas con Spring AI.
Entiende tres conceptos fundamentales de los LLM: tokens, ventana de contexto y muestreo, con código Java 21 para contar tokens, truncar el historial de chat y ajustar temperature, top-k y top-p.
Entiende cómo temperature, top_p y max tokens controlan la salida de LLM y cómo configurarlos correctamente con Spring AI en aplicaciones Spring Boot 3.
Análisis de una arquitectura IA production-grade que puede ejecutarse con costo 0, desde frontend, RAG, LLM local hasta deployment, con ejemplos de código prácticos.
Cuando los documentos fuente cambian, sobrescribir directamente en el vector store causa conflictos de datos. El artículo guía el proceso de versionado seguro para RAG.
Explicación de la arquitectura full-duplex de comunicación simultánea de modelos LLM en tiempo real, con ejemplos de integración WebSocket usando Spring Boot.
Resumen de 12 papers fundamentales de la IA moderna — de AlexNet a RAG — con código Java que ilustra cada idea central.
Aprende cómo los LLM generan cada token durante la inferencia, técnicas de optimización como KV cache, batching, quantization y cómo medir el rendimiento usando Java/Spring Boot.
Compilación de 20 conceptos fundamentales al trabajar con LLM — token, embedding, RAG, fine-tuning, agent... con ejemplos de código Java/Spring AI fáciles de entender.
Guía práctica sobre cómo usar LLM para reducir el tiempo de escritura de código, pruebas y documentación en proyectos Spring Boot, con ejemplos funcionales.