Compter les tokens et estimer les coûts lors d'appels LLM en Java
Comment compter les tokens localement avec JTokkit, calculer les coûts avec BigDecimal, bloquer les requêtes hors budget et comparer avec l'utilisation réelle de Spring AI.
Comment compter les tokens localement avec JTokkit, calculer les coûts avec BigDecimal, bloquer les requêtes hors budget et comparer avec l'utilisation réelle de Spring AI.
Recevoir chaque token depuis une LLM API via Server-Sent Events avec HttpClient et WebClient, puis renvoyer le flux au navigateur avec gestion d'erreurs, timeouts et tests.
Comprendre comment les LLM appellent les fonctions de votre application, du JSON brut à @Tool dans Spring AI. L'article inclut des exemples de recherche, d'annulation de commande et de test sans appeler le modèle réel.
Comment forcer un LLM à retourner du JSON conforme au schéma dans Spring Boot : mapper dans un record avec Spring AI, activer JSON Schema natif, valider, réessayer et tester.
Les techniques pratiques de prompt engineering : system prompt, délimiteurs, few-shot, structured output et température, illustrées avec Spring AI.
Comprenez comment temperature, top_p et max tokens contrôlent la sortie du LLM, et configurez-les correctement avec Spring AI dans une application Spring Boot 3.
Comprenez trois concepts fondamentaux des LLM : les tokens, la context window et le sampling, avec du code Java 21 pour compter les tokens, découper l'historique de chat et implémenter temperature, top-k, top-p.
Analyse d'une architecture IA production-grade pouvant fonctionner avec un coût de 0€, du frontend, RAG, LLM local au déploiement, avec des exemples de code pratique.
Quand les documents sources changent, écraser directement dans le vector store risque de créer des incohérences. L'article guide le processus de versioning sécurisé pour RAG.
Explication de l'architecture d'écoute-parole simultanée (full-duplex) des modèles LLM temps réel, avec exemple d'intégration WebSocket utilisant Spring Boot.
Synthèse des 12 papiers fondamentaux de l'IA moderne — d'AlexNet à RAG — avec code Java illustrant chaque idée clé.
Apprenez comment les LLM génèrent chaque token lors de l'inference, les techniques d'optimisation comme le KV cache, le batching, la quantization et comment mesurer les performances avec Java/Spring Boot.
Synthèse de 20 concepts fondamentaux pour travailler avec les LLM — token, embedding, RAG, fine-tuning, agent... avec des exemples de code Java/Spring AI.
Guide pratique pour utiliser les LLM et réduire le temps de rédaction de code, tests et documentation dans des projets Spring Boot, avec des exemples fonctionnels.