Aufbau eines RAG-Systems mit Vektordatenbank
Erfahre, wie man ein Retrieval Augmented Generation (RAG)-System implementiert, um Large Language Models (LLMs) mit spezifischem, aktuellem Wissen zu versorgen und Halluzinationen zu reduzieren. Dies ermöglicht es LLMs, auf einer fundierten Datenbasis zu antworten.
Originalvideo ansehen: Sara Imari Walker "AI is Life" | Simulations, the Universe ...Wähle und lade deine Datenquellen.
Dies können PDFs, Textdateien, Webseiten oder Datenbankinhalte sein. Nutze Bibliotheken wie `PyPDFLoader` oder `WebBaseLoader` in LangChain, um die Daten zu importieren.
Zerlege die Dokumente in kleinere 'Chunks'.
Große Dokumente müssen in kleinere, semantisch zusammenhängende Abschnitte unterteilt werden, um die Relevanz bei der Suche zu erhöhen. Bestimme eine geeignete Chunk-Größe und Überlappung.
```python
from langchain.text_splitter import RecursiveCharacterTextSplitter
# Angenommen, 'documents' ist eine Liste von geladenen Dokumenten
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
chunks = text_splitter.split_documents(documents)
```Erstelle Vektoreinbettungen (Embeddings) für jeden Chunk.
Nutze ein Embedding-Modell (z.B. von OpenAI oder Hugging Face), um jeden Text-Chunk in einen numerischen Vektor umzuwandeln. Diese Vektoren repräsentieren die semantische Bedeutung des Textes.
```python
from langchain.embeddings import OpenAIEmbeddings
embeddings = OpenAIEmbeddings()
```Speichere die Chunks und ihre Embeddings in einer Vektordatenbank.
Wähle eine Vektordatenbank (z.B. ChromaDB für lokale Entwicklung, Pinecone/Weaviate für Produktion) und füge die erstellten Embeddings und die zugehörigen Text-Chunks hinzu.
```python
from langchain.vectorstores import Chroma
vectorstore = Chroma.from_documents(chunks, embeddings, persist_directory="./chroma_db")
```Implementiere den Retrieval-Schritt.
Bei einer Benutzeranfrage wird der Abfragetext ebenfalls in ein Embedding umgewandelt. Die Vektordatenbank wird dann nach den ähnlichsten Chunks durchsucht, um relevanten Kontext zu finden.
```python
retriever = vectorstore.as_retriever()
relevant_docs = retriever.get_relevant_documents("Deine Benutzeranfrage hier")
```Kombiniere die abgerufenen Chunks mit dem Benutzer-Prompt und sende sie an das LLM.
Füge die relevanten Dokumente dem Prompt hinzu, um dem LLM den notwendigen Kontext zu geben, bevor es eine Antwort generiert. Nutze dafür eine Chain wie `RetrievalQA` in LangChain.
```python
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
llm = OpenAI(temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever)
response = qa_chain.run("Deine Benutzeranfrage hier")
print(response)
```