← Alle Begriffe Architektur

RAG — Retrieval Augmented Generation

KI wird mit eigenen Dokumenten "gefüttert" indem relevante Passagen per Vektorsuche gefunden und als Kontext mitgegeben werden.

Erklaerung

RAG löst das Problem dass KI-Modelle nur Wissen bis zu ihrem Training-Cutoff haben und keine internen Dokumente kennen. Funktioniert so: (1) Alle Dokumente werden in Vektoren umgewandelt (Embeddings) und in einer Vektordatenbank gespeichert. (2) Bei einer Frage wird die Frage ebenfalls in einen Vektor umgewandelt. (3) Die ähnlichsten Dokument-Passagen werden gefunden (Similarity Search). (4) Diese Passagen werden als Kontext an das LLM mitgegeben. (5) Das LLM antwortet basierend auf diesen konkreten Dokumenten. Bei UNI FORCE: pgvector in Supabase speichert Embeddings für ki_items (10.676 Artikel) und die Wissensdatenbank (53.184 Chunks).

Beispiel

Frage: "Was sagt der BFH zu IAB und PV-Anlagen?" → Suche in 13.900 Rechtsdokumenten → 5 relevante BFH-Urteile als Kontext → LLM antwortet basierend auf echten Urteilen.

Verwandte Begriffe

pgvector Embedding Vektorsuche Context Window