Wie viel RAM braucht dein Ollama Server?
Die RAM-Anforderungen hängen direkt von der Modellgröße ab. Die Faustregel: Die Größe des Modells in GB entspricht ungefähr dem benötigten RAM. Für komfortables Arbeiten empfehlen wir 2–4 GB Puffer für Betriebssystem, Ollama und eine Weboberfläche.
| Modell | Parameter | Empfohlener RAM | Einsatz |
|---|---|---|---|
| Llama 3.2 3B | 3 Milliarden | 6 GB | Einfache Aufgaben, Experimente |
| Llama 3.1 8B | 8 Milliarden | 10 GB | Guter Einstieg für Chat und Texte |
| Mistral 7B | 7 Milliarden | 10 GB | Schnell, gut für Code |
| Qwen 2.5 14B | 14 Milliarden | 18 GB | Komplexere Aufgaben |
| Llama 3.1 70B (Q4) | 70 Mrd. quantisiert | 48 GB | Nur Dedicated Server |
Quantisierte Modelle (Q4, Q5) brauchen weniger RAM, liefern aber etwas schwächere Ergebnisse. Für viele Anwendungen ist Q4 ausreichend.
CPU: Mehr Kerne = Schnellere Antworten
Anders als bei Minecraft lässt sich LLM-Inferenz parallelisieren: Mehr CPU-Kerne bedeuten schnellere Token-Generierung. AVX2-Unterstützung ist für gute Performance Pflicht. Die Werte in der Tabelle sind grobe Richtwerte; sie hängen von CPU-Generation, Quantisierung und Kontextlänge ab.
| CPU-Kerne | Tokens/Sek (8B-Modell) | Anwendungsfall |
|---|---|---|
| 2 vCPU | 3–5 t/s | Experimentieren, einzelne Anfragen |
| 4 vCPU | 8–15 t/s | Chat-Interface, n8n-Workflows |
| 8 vCPU | 15–25 t/s | Produktiver Einsatz, mehrere Nutzer |
| 16+ vCPU | 25–40 t/s | API für ein Team, Batch-Jobs |
Mit einem 8B-Modell auf einem 4-Kern-VPS kannst du grob mit 8–15 Tokens pro Sekunde rechnen. Das reicht für Chat-Anwendungen, aber nicht für große Batch-Verarbeitung. Dedizierte vCPUs liefern gleichmäßigere Werte als geteilte Kerne.
Welches Modell für welchen Zweck?
Nicht jedes Modell passt zu jeder Aufgabe. Diese Übersicht ordnet verbreitete Modelle nach Einsatzzweck; probiere für deinen Anwendungsfall zwei Kandidaten aus:
| Anwendung | Modell | RAM | Warum |
|---|---|---|---|
| Coding & Debugging | DeepSeek Coder 6.7B | 10 GB | Auf Code spezialisiert |
| Allgemeine Chats | Llama 3.1 8B | 10 GB | Vielseitiges Allzweckmodell |
| Deutsche Texte | Llama 3.1 8B Instruct | 10 GB | Solides Deutsch, folgt Anweisungen |
| Zusammenfassungen | Mistral 7B | 10 GB | Schnell bei kurzen Ausgaben |
| Komplexe Analyse | Qwen 2.5 14B | 18 GB | Mehr Parameter für Reasoning |
| Vision (Bilder) | LLaVA 7B | 10 GB | Bildanalyse, OCR-ähnliche Aufgaben |
Storage: Modelle brauchen Platz
Jedes Modell belegt 2–40 GB auf der Festplatte. NVMe ist für die Antwortgeschwindigkeit nicht entscheidend, weil Modelle komplett in den RAM geladen werden, beschleunigt aber das Wechseln zwischen Modellen.
| Modell | Download-Größe | Empfohlener Storage |
|---|---|---|
| Llama 3.2 3B | ~2 GB | 20 GB reichen |
| Llama 3.1 8B | ~4,7 GB | 40 GB empfohlen |
| Mehrere Modelle | 10–30 GB | 80+ GB für Flexibilität |
Tipp: Starte mit einem Modell und lade weitere bei Bedarf nach. Ollama speichert heruntergeladene Modelle lokal.
Installation in wenigen Minuten
Ollama lässt sich mit dem offiziellen Installationsskript einrichten. Unter Linux richtet es Ollama als Systemdienst ein, der danach automatisch läuft:
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.2
ollama run llama3.2
Öffne Port 11434 nicht öffentlich: Die Ollama-API hat keine eigene Authentifizierung. Für Remote-Zugriff nutze ein VPN oder einen Reverse Proxy mit Authentifizierung.
Open WebUI: Chat-Oberfläche für Ollama
Mit Open WebUI bekommst du eine Chat-Oberfläche für deine lokalen Modelle – inklusive Chat-Historie, System-Prompts und Benutzerverwaltung. So können mehrere Personen das Modell nutzen, ohne direkten Zugriff auf die API.
Open WebUI braucht zusätzlich rund 500 MB RAM und läuft gut als Docker-Container neben Ollama.
Datenschutz: Deine Daten auf deinem Server
Der größte Vorteil selbst gehosteter Modelle: Prompts und Antworten verlassen deinen Server nicht, und kein externer KI-Dienst verarbeitet sie. Deine Daten liegen auf einem Server, den du selbst betreibst – wenn du einen Standort in Deutschland wählst, auch dort.
Verarbeitest du personenbezogene Daten anderer (Kunden, Team), bist du für die Einhaltung der DSGVO verantwortlich, in der Regel auch für einen Auftragsverarbeitungsvertrag mit dem Hoster. Für besondere Kategorien wie Gesundheitsdaten gelten zusätzliche Pflichten.
Self-Hosting oder Cloud-API?
Ein VPS kostet monatlich einen festen Betrag, Cloud-APIs rechnen nach Nutzung ab. Ob sich Self-Hosting lohnt, hängt vom Anfragevolumen, der benötigten Modellqualität und deinem Datenschutzbedarf ab. Bei regelmäßigen, gleichförmigen Aufgaben wie täglichen n8n-Workflows spricht viel für ein eigenes Modell; für seltene, sehr anspruchsvolle Aufgaben sind große Cloud-Modelle oft stärker.
