Token zählen und Kosten schätzen beim Aufrufen von LLMs in Java
Lokal Token mit JTokkit zählen, Kosten mit BigDecimal berechnen, Anfragen mit Budgetüberschreitung blockieren und mit dem tatsächlichen Verbrauch von Spring AI abgleichen.
Lokal Token mit JTokkit zählen, Kosten mit BigDecimal berechnen, Anfragen mit Budgetüberschreitung blockieren und mit dem tatsächlichen Verbrauch von Spring AI abgleichen.
Tokens von LLM APIs über Server-Sent Events mit HttpClient und WebClient empfangen, an den Browser streamen und dabei Fehler, Timeouts und Tests handhaben.
Verstehe, wie LLMs Funktionen deiner Anwendung aufrufen – von rohes JSON bis zur @Tool-Annotation in Spring AI. Der Artikel enthält praktische Beispiele zum Abfragen von Bestellungen, zum Stornieren und zum Testen ohne echte Model-Aufrufe.
LLMs zwingen, JSON mit passendem Schema in Spring Boot zurückzugeben: Mapping in Records mit Spring AI, natives JSON Schema aktivieren, validieren, Retry implementieren und Tests schreiben.
Praktische Prompt-Engineering-Techniken wie System Prompt, Delimiter, Few-Shot, strukturierte Ausgabe und Temperatur, mit Beispielen in Spring AI.
Verstehen Sie, wie temperature, top_p und max_tokens die LLM-Ausgabe steuern, und konfigurieren Sie diese richtig mit Spring AI in Spring-Boot-3-Anwendungen.
Verstehen Sie die drei grundlegenden Konzepte von LLMs – Token, Context Window und Sampling – mit Java-21-Code zum Zählen von Tokens, Trimmen des Chat-Verlaufs und Implementieren von Temperature, Top-k und Top-p.
Analyse einer produktionsreifen AI-Architektur, die mit 0€ Kosten läuft, von Frontend über RAG und lokalem LLM bis Deployment, mit praktischen Code-Beispielen.
Erklärung der Full-Duplex-Architektur (simultanes Hören und Sprechen) von Echtzeit-LLM-Modellen mit WebSocket-Integrations-Beispiel in Spring Boot.
Wenn sich Quelldokumente ändern, ist direktes Überschreiben im Vector Store fehleranfällig. Der Artikel zeigt einen sicheren Versionierungsprozess für RAG.
Übersicht der 12 grundlegenden AI-Paper der modernen KI — von AlexNet bis RAG — mit Java-Code zur Veranschaulichung jeder Kernidee.
Verstehen Sie, wie LLMs während der Inference Token für Token generieren, sowie Optimierungstechniken wie KV Cache, Batching, Quantization und Leistungsmessung mit Java/Spring Boot.
Praktischer Leitfaden zur Verwendung von LLM um Zeit beim Schreiben von Code, Tests und Dokumentation in Spring Boot zu sparen, mit funktionsfähigen Beispielen.
Zusammenfassung von 20 Grundkonzepten für die Arbeit mit LLMs — Token, Embedding, RAG, Fine-Tuning, Agent... mit verständlichen Java/Spring-AI-Codebeispielen.