Lokale Ausführung von Large Language Models mit Ollama
Lerne, wie man Ollama verwendet, um verschiedene Open-Source Large Language Models (LLMs) lokal auf deinem Computer auszuführen. Dies ermöglicht Datenschutz, Kostenkontrolle und die Nutzung von LLMs ohne Internetverbindung.
Originalvideo ansehen: Sara Imari Walker "AI is Life" | Simulations, the Universe ...Lade und installiere Ollama.
Besuche die offizielle Ollama-Website (ollama.ai) und lade die passende Version für dein Betriebssystem (macOS, Linux, Windows) herunter. Folge den Installationsanweisungen.
Lade ein LLM-Modell herunter.
Öffne dein Terminal oder deine Kommandozeile und verwende den `ollama pull`-Befehl, um ein Modell herunterzuladen. Beliebte Modelle sind `llama2`, `mistral`, `phi`.
```bash
ollama pull llama2
```Starte das heruntergeladene Modell und interagiere damit.
Nach dem Download kannst du das Modell direkt im Terminal starten und mit ihm interagieren, um erste Tests durchzuführen.
```bash
ollama run llama2
```Integriere Ollama in deine Anwendungen.
Ollama stellt eine lokale API bereit, die mit gängigen LLM-Frameworks wie LangChain oder LlamaIndex kompatibel ist. Du kannst es als lokalen Endpunkt für deine Python-Anwendungen nutzen.
```python
from langchain.llms import Ollama
llm = Ollama(model="llama2")
response = llm("Erzähle mir einen Witz.")
print(response)
```