Ollama

Ollama ist ein Open-Source-Tool (MIT-Lizenz), mit dem Sie große Sprachmodelle (LLMs) lokal auf Ihrem eigenen Computer oder Server ausführen können. Das bedeutet: KI-Nutzung ohne Cloud-Anbindung und ohne dass Ihre Daten das eigene Netzwerk verlassen.

Warum ist das relevant?

Für Unternehmen, die DSGVO-konform mit KI arbeiten wollen, ist Ollama eine der einfachsten Lösungen. Bei Betrieb auf eigener Hardware bleiben die Daten intern, es gibt keinen Auftragsverarbeiter und keinen Drittland-Transfer. Bei einem gemieteten Server braucht es einen AVV mit dem Hoster. Das ist eine Einordnung, keine Rechtsberatung.

Unterstützte Modelle

Ollama unterstützt zahlreiche offene Modelle, darunter die Familien Qwen, Llama, Mistral und Gemma. Jedes Modell hat eine eigene Lizenz. Für deutsche Texte im Betrieb gilt: Unter etwa 7 Milliarden Parametern bricht die Sprachqualität ein. Welche Modelle es gibt, wie groß sie sind und was sie an Hardware brauchen, steht mit Stand im Ratgeber Ollama selbst hosten.

Typischer Einsatz

Ollama dient als Inference-Server im Hintergrund. Als Benutzeroberfläche wird häufig Open WebUI eingesetzt, das eine ChatGPT-ähnliche Oberfläche bietet. Die Installation erfolgt über Docker und dauert wenige Minuten.

Ollama oder LM Studio?

LM Studio ist ein Programm mit Oberfläche und der bequemste Einstieg am Arbeitsplatz, Ollama der Dienst für Server und Team. Wann welches Werkzeug passt, klärt der Vergleich LM Studio vs Ollama.

Was kostet Ollama?

Die Software kostet nichts. Kosten entstehen für den Rechner oder Server, auf dem sie läuft; Marktpreise, Betriebsvarianten und Einrichtung stehen auf KI selbst hosten. Den Überblick für Entscheider gibt der Artikel Lokale KI im Unternehmen.

Ollama Cloud ist nicht lokal

Ollama bietet zusätzlich Cloud-Modelle an, die auf Rechnern des Anbieters laufen und nicht lokal. Preise, Standort und Datenschutz dazu stehen in Ollama Cloud für Betriebe.