Lokaler LLM-Coding-Assistent: Setup auf einem VPS mit 16 GB RAM

Ein lokales Sprachmodell auf einem VPS braucht vor allem genug Arbeitsspeicher. Dieser Guide zeigt, wie du Ollama mit Speicher-Limits betreibst und in VS Code über Continue anbindest.

Du richtest einen KI-Coding-Assistenten auf einem VPS mit 16 GB RAM ein. Prompts und Code verarbeitet das Modell auf deinem Server statt bei einem KI-API-Anbieter.

💡 Noch keinen VPS? Unser Ollama VPS-Rechner berechnet die Hardware für dein Modell.

Falls du Ollama noch nicht installiert hast, starte mit unserem Ollama VPS Setup Guide.

Das Problem: Warum ein lokaler Coding-Assistent hängen bleiben kann

Mögliche Ursachen:

1. Zu wenig Arbeitsspeicher

Die Dateigröße je Modell und Quantisierung steht im Tag-Verzeichnis auf ollama.com/library (Stand: 08.11.2026). Für den Kontext kommt zusätzlicher Speicher dazu: Laut Ollama-FAQ wächst der Speicherbedarf mit der Zahl paralleler Anfragen mal der Kontextlänge (Stand: 08.11.2026). Reicht der RAM nicht, wird es langsam oder der Prozess bricht ab.

2. Quantisierung

Höhere Stufen wie Q8_0 belegen mehr Speicher als Q4_K_M oder Q5_K_M. Die Größen je Variante stehen in der Modellkarte (Stand: 08.11.2026).

3. Großes Kontextfenster

Ein großes Kontextfenster kostet Speicher. Laut Ollama-FAQ nutzt Ollama standardmäßig 4096 Tokens, änderbar über OLLAMA_CONTEXT_LENGTH (Stand: 08.11.2026).

Die Lösung: Das Setup in diesem Guide

Hardware: VPS mit 16 GB RAM

Für das Setup in diesem Guide (7B-Modell, eine Anfrage gleichzeitig) rechnen wir mit 16 GB RAM. Welche Tarife 16 GB RAM bieten, zeigt der VPS-Vergleich mit Preisen inkl. USt und Stand der Preise.

Schritt 1: Modell auswählen

Ein 14B-Modell lässt weniger Speicher für Kontext und System übrig. In diesem Guide nutzen wir deshalb ein 7B-Modell.

Qwen2.5-Coder-7B-Instruct

Werte laut ollama.com, Stand: 08.11.2026. Das kleinere Modell lässt mehr Speicher für Kontext, System und Editor-Server.

Alternative: DeepSeek-Coder-V2-Lite-Instruct

DeepSeek-Coder-V2-Lite ist ein Mixture-of-Experts-Modell mit 16 Mrd. Parametern, davon 2,4 Mrd. aktiv je Token (laut Modellkarte, Stand: 08.11.2026). Im Speicher liegt das ganze Modell, der Ollama-Tag 16b ist 8,9 GB groß (laut ollama.com, Stand: 08.11.2026). Auf 16 GB RAM bleibt damit weniger Platz für Kontext und System.

Schritt 2: Ollama mit Ressourcen-Limits

Laut Ollama-FAQ hält Ollama im CPU-Betrieb standardmäßig bis zu drei Modelle gleichzeitig im Speicher und entlädt sie nach fünf Minuten (Stand: 08.11.2026). Mit Limits begrenzt du das.

docker-compose.yml

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    environment:
      - OLLAMA_NUM_PARALLEL=1
      - OLLAMA_MAX_LOADED_MODELS=1
      - OLLAMA_CONTEXT_LENGTH=4096
    deploy:
      resources:
        limits:
          memory: 12G

volumes:
  ollama_data:

Der Port ist nur auf dem Server selbst erreichbar; aus VS Code verbindest du dich per SSH-Tunnel. Ohne 127.0.0.1 wäre der Port laut Docker-Doku auch von außen erreichbar (Stand: 08.11.2026).

Einstellungen erklärt

Quellen: Ollama-FAQ und Compose-Referenz, Stand: 08.11.2026. Passe das Limit an Modell und Kontext an.

Modell laden

docker compose up -d
docker exec -it ollama ollama pull qwen2.5-coder:7b-instruct-q5_K_M

Schritt 3: Continue mit Ollama verbinden

In diesem Guide nutzen wir die VS-Code-Erweiterung Continue, die Ollama als Modellanbieter unterstützt (Continue-Doku, Stand: 08.11.2026).

Installation

1. VS-Code-Erweiterung „Continue“ installieren
2. Konfiguration anlegen: ~/.continue/config.yaml

name: VPS Coding Assistant
version: 1.0.0
schema: v1
models:
  - name: Qwen Coder
    provider: ollama
    model: qwen2.5-coder:7b-instruct-q5_K_M
    apiBase: http://localhost:11434
    roles:
      - chat
      - edit

Für Autocomplete schlägt die Continue-Doku ein eigenes kleines Modell vor (Stand: 08.11.2026); dann setzt du OLLAMA_MAX_LOADED_MODELS=2.

Zugriff per SSH-Tunnel

Öffne Port 11434 nicht öffentlich. Leite ihn per SSH auf deinen Rechner um:

ssh -N -L 11434:localhost:11434 user@DEINE_VPS_IP

In Continue nutzt du dann http://localhost:11434.

Schritt 4: Speicher im Griff behalten

OOM-Killer nicht abschalten

Schalte den OOM-Killer für Ollama nicht ab: Der Kernel beendet dann andere Prozesse, etwa SSH oder die Datenbank. Begrenze stattdessen den Container-Speicher (Schritt 2) und wähle ein kleineres Modell oder einen kürzeren Kontext.

Swap-File (Notfall-Puffer)

Ein kleines Swap-File als Sicherheitsnetz:

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

Achtung: Swap ist nur für Notfälle. Wenn Ollama regelmäßig swappt, ist das Modell zu groß.

Kontext begrenzen

Setze OLLAMA_CONTEXT_LENGTH in der Compose-Datei; laut Ollama-FAQ skaliert der RAM-Bedarf mit OLLAMA_NUM_PARALLEL × OLLAMA_CONTEXT_LENGTH (Stand: 08.11.2026).

Eigener Server statt API

Mit einem eigenen VPS zahlst du den Serverpreis statt nutzungsabhängiger API-Gebühren. Durchsatz und Antwortzeit hängen von der Hardware ab. Aktuelle VPS-Preise inkl. USt zeigt der VPS-Vergleich.

FAQ

Fazit

Ein lokaler Coding-Assistent läuft auf einem VPS mit 16 GB RAM, wenn Modell und Limits passen:

1. 7B-Modell statt 14B
2. Quantisierung Q5_K_M (5,4 GB)
3. Continue mit Ollama
4. Speicher-Limit im Container
5. Zugriff nur per SSH-Tunnel

Was ein passender VPS heute kostet, zeigt der VPS-Vergleich mit Preisen inkl. USt.