LLMs in de Praktijk

Integratie van Language Models in Applicaties

Bèr berkes Kessels

LLMs in de Praktijk

Over deze presentatie

Over mij

  • Bèr berkes Kessels
  • @berkes - LinkedIn, Fediverse, Reddit, etc.
  • Werkt aan Pathfounder
  • Blog berk.es

Doel

  • Praktische kennis over LLM integratie delen
  • Drie concrete use-cases uit de praktijk tonen
  • Valkuilen en oplossingen bespreken
  • Best practices meegeven

Case 1: Bulk Analyse

Case 2: Voorspelbare Content

Gecontroleerde Content Generatie

Case 3: Kennisbank Chatbot

RAG Architectuur

  • Embeddings uitgelegd
  • Vector zoeken
  • Retrieval proces

RAG Architectuur naief

  • Retrieval
  • Augmented
  • Generation

Gebruiker: “Wat moet ik voorbereiden?”

SELECT documents WHERE content ILIKE "%wat moet ik voorbereiden%" ORDER BY created_at

Je bent een supportmedewerker. Beantwoord deze vraag: {vraag}. Gebruik deze kennis: {documents.join()}

Naieve Architectuur

Embeddings

Vector 🍎, 🍏, 🍐, 🍍
🍎

[95,95]

🍏

[50,95]

🍐

[50,55]

Distance 🍍

[75, 30] -> ([50,95], [50,55], [95,95])

3d

[0.8, 0.50, 0.75]

hyper

[0.8, 0.50, 0.75, 0.89, 0.12, ...]

RAG Architectuur verbeterd

Met Query

Live demo RAG

Best Practices

Kostenbeheersing

  • Token optimalisatie
  • Caching strategieën
  • Model selectie

Instabiliteit

  • API wijzigingen
  • Model updates
  • Versie beheer van prompts
  • Fallback strategieën

Context Vervuiling

  • Prompt injection
  • Hallucinations
  • Input validatie

Architectuur Flexibiliteit

  • Model-agnostisch ontwerp
  • Revisiebeheer prompts en parameters
  • Modulaire opzet

Resources

Vragen?

  • Twitter: @berkes
  • Email: ber@berk.es
  • LinkedIn: /in/berkessels