„Lokale KI“ ist einer der wenigen Begriffe im KI-Umfeld, hinter dem eine echte Frage steht und keine Mode. Wer danach sucht, hat meistens ein konkretes Problem: Daten, die nicht zu einem US-Anbieter dürfen. Eine Berufsverschwiegenheit. Einen Betriebsrat. Oder schlicht das Unbehagen, den halben Schriftverkehr des Betriebs in ein Eingabefeld zu tippen, dessen Serverstandort niemand kennt.
Dieser Artikel klärt vier Dinge: was lokale KI technisch bedeutet, was sie an Hardware verlangt, was sie kostet und wann Sie die Finger davon lassen sollten. Der letzte Punkt ist der wichtigste, deshalb steht er weit oben.
Stand: Oktober 2026. Modellnamen, Preise und Lizenzen ändern sich schnell, deshalb steht das Datum direkt am jeweiligen Wert.
Lokale KI in Kürze
Was ist lokale KI?
Lokale KI heißt: Das Sprachmodell läuft auf Hardware, die Sie kontrollieren, also auf einem Rechner im Betrieb oder auf einem Server, den Sie bei einem Anbieter in Deutschland mieten, und nicht bei einem US-Anbieter. Ihre Eingaben und Dokumente bleiben dort. Technisch braucht es ein offenes Modell, ein Programm zum Ausführen (zum Beispiel Ollama oder LM Studio) und meist eine Oberfläche wie Open WebUI.
Was kostet lokale KI?
Es gibt drei Posten: die Maschine, die Einrichtung und den Betrieb. Ein gemieteter Server mit 8 GB Arbeitsspeicher kostet bei günstigen Anbietern etwa 10 bis 20 Euro im Monat und reicht für kleine Modelle; ein gemieteter Server mit 24-GB-Grafikkarte lag zuletzt bei rund 255 Euro im Monat (Beispiel Hetzner, mit Umsatzsteuer, Stand Oktober 2026). Eigene Hardware für die Arbeitsklasse ist eine vierstellige Anschaffung, allein für die Grafikkarte mit 24 GB setzt die Beispielrechnung in KI-Server kaufen oder mieten rund 2.100 Euro an (Annahme, Händlerpreise schwanken). Modelle und Programme wie Ollama kosten keine Lizenz. Was webAION für Einrichtung und Betrieb berechnet, steht mit Stand auf der Seite On-Premise KI.
Was kann ich mit lokaler KI machen?
Dokumente zusammenfassen, Fragen an die eigene Ablage stellen (RAG), Eingangspost vorsortieren, Berichte aus Stichpunkten schreiben, technische Auskünfte aus dem eigenen Bestand geben. Bei den schwersten Aufgaben liegen große Cloud-Modelle vorn, deshalb ist oft eine Mischung sinnvoll.
Für wen lohnt sich lokale KI im Unternehmen?
Vor allem für Betriebe, die Daten nicht herausgeben dürfen (Berufsgeheimnis, Personalakten, Konstruktionsdaten) oder viele Anfragen am Tag haben. Wer vor allem E-Mails und Texte ohne schützenswerte Daten schreibt, fährt mit einem Geschäftskonto bei einem Cloud-Anbieter meist besser.
Lokale KI auf dem eigenen PC ausprobieren
Zum Ausprobieren brauchen Sie keinen Server. Auf einem aktuellen Rechner mit 16 GB Arbeitsspeicher läuft ein Modell der 8B-Klasse, ohne Grafikkarte etwas langsamer. LM Studio ist dafür der bequemste Einstieg, weil Programm, Chat und Modellkatalog in einem Fenster liegen. Für den Dauerbetrieb mit mehreren Menschen nimmt man meist Ollama mit Open WebUI; wann welches Werkzeug passt, steht im Vergleich LM Studio oder Ollama. Wie die Einrichtung Schritt für Schritt aussieht, zeigt die Anleitung Ollama selbst hosten.
Entscheidend ist der Grafikspeicher, nicht der Prozessor. Was welches Modell braucht, rechnet die Seite Ollama-Hardware vor. Testen Sie zuerst mit Texten, die keine schützenswerten Daten enthalten, bis geklärt ist, wo das Gerät steht und wer Zugriff hat.
Was „lokale KI“ bedeutet, und was nicht
Der Begriff wird für drei verschiedene Dinge benutzt. Sie haben unterschiedliche Kosten, unterschiedliche Datenschutz-Wirkung und unterschiedlichen Betreuungsaufwand. Wer sie verwechselt, plant falsch.
Variante 1: Eigene Hardware im Haus (On-Premise)
Das Sprachmodell läuft auf einer Maschine in Ihrem Serverraum oder Büro. Die Eingaben verlassen Ihr Netzwerk nicht. Das ist die strengste Form, technisch eindeutig und rechtlich am einfachsten zu erklären: Es gibt keinen Auftragsverarbeiter, weil niemand außer Ihnen die Daten sieht. Sie kaufen dafür Hardware, tragen den Strom und brauchen jemanden, der die Kiste pflegt.
Variante 2: Gemieteter Server in Deutschland
Sie mieten einen Server bei einem deutschen Anbieter und betreiben dort dieselbe Software. Die Daten liegen in einem deutschen Rechenzentrum, der Vertrag läuft auf Ihren Namen, es gibt kein Modelltraining mit Ihren Inhalten. Rechtlich ist das eine Auftragsverarbeitung, technisch fast identisch zu Variante 1. Für die allermeisten Betriebe ist das die wirtschaftlich sinnvolle Form von „lokal“, auch wenn das Wort dann streng genommen nicht mehr stimmt. Prüfen Sie den Standort je Tarif: Nicht jeder Server eines deutschen Anbieters steht in Deutschland.
Variante 3: EU-Cloud bei einem großen Anbieter
Sie nutzen die Modelle der großen Anbieter über eine europäische Region, mit Auftragsverarbeitungsvertrag und ohne Training auf Ihren Daten. Das ist keine lokale KI. Es ist eine Datenschutz-Lösung, oft eine gute, aber die Daten liegen bei einem fremden Konzern und die Rechnung wächst mit der Nutzung. Warum ich trotzdem selten zu einem einzigen Anbieter rate, steht in Multi-Provider-KI statt ChatGPT-Reseller.
| Eigene Hardware | Deutscher Mietserver | EU-Cloud | |
|---|---|---|---|
| Wo liegen die Eingaben | Bei Ihnen im Haus | Deutsches Rechenzentrum | Beim Anbieter, EU-Region |
| Auftragsverarbeitung nötig | Nein | Ja, mit dem Hoster | Ja, mit dem Anbieter |
| Einstiegskosten | Hardware plus Einrichtung | Einrichtung | Nahe null |
| Laufende Kosten | Strom, Pflege | Servermiete, Pflege | Pro Anfrage |
| Modellqualität | Offene Modelle | Offene Modelle | Die stärksten am Markt |
| Nutzerzahl treibt Kosten | Nein | Nein | Ja |
Die letzte Zeile ist der eigentliche wirtschaftliche Hebel. Bei lokaler KI zahlen Sie die Maschine, nicht die Köpfe. Ab einer bestimmten Teamgröße und Nutzungsintensität kippt die Rechnung, vorher nicht. Wie diese Rechnung aussieht, zeigt KI-Server kaufen oder mieten.
Wann sich lokale KI lohnt
Es gibt vier Gründe, die in der Praxis tragen. Wenn keiner davon auf Sie zutrifft, lesen Sie den nächsten Abschnitt und sparen sich den Rest.
Erstens: Sie dürfen die Daten nicht herausgeben. Kanzleien, Praxen, Steuerberatung, Betreuungsdienste, Personalabteilungen mit vollständigen Akten. Berufsgeheimnisträger haben hier keinen Ermessensspielraum, und ein Auftragsverarbeitungsvertrag löst das Problem nicht in jedem Fall vollständig.
Zweitens: Es geht um Konstruktions-, Rezeptur- oder Preisdaten. Kein Datenschutzthema, ein Wettbewerbsthema. Wer seine Fertigungsunterlagen in ein fremdes System kippt, hat eine Entscheidung getroffen, die schwer rückgängig zu machen ist.
Drittens: Das Anfragevolumen ist hoch. Wenn zwanzig Leute den ganzen Tag Dokumente durch ein Modell schicken, wird die nutzungsabhängige Abrechnung der Cloud-Anbieter zum größten Posten im IT-Budget. Eine eigene Maschine hat eine feste Obergrenze.
Viertens: Sie brauchen Verfügbarkeit ohne Internet. Produktion, Außenstellen mit schlechter Anbindung, Anlagen im Keller. Ein lokales Modell antwortet auch dann, wenn die Leitung weg ist.
Wann sich lokale KI ausdrücklich nicht lohnt
Diesen Abschnitt schreiben Anbieter selten, weil er Geschäft kostet. Er stimmt trotzdem.
Sie brauchen KI zum Formulieren von E-Mails, Angebotstexten und Social-Media-Beiträgen. Dafür reicht ein Geschäftskonto bei einem der großen Anbieter, bei dem Ihre Eingaben nicht ins Training gehen. Das kostet pro Person und Monat einen zweistelligen Betrag, ist in fünf Minuten eingerichtet und liefert bessere Texte als jedes Modell, das auf einer Bürokiste läuft. Alles andere wäre teurer und schlechter.
Sie sind zu dritt und niemand kümmert sich um IT. Ein KI-Server ist ein Server. Er braucht Updates, Backups, Monitoring und einen Menschen, der reagiert, wenn er stehenbleibt. Wenn diese Rolle bei Ihnen niemand hat, kaufen Sie sich ein Problem, keine Lösung. Der gemietete deutsche Server mit Betreuungsvertrag ist dann der ehrlichere Weg.
Sie wollen „das Beste, was es gibt“. Offene Modelle sind für viele Alltagsaufgaben gut genug, aber bei den schwersten Aufgaben liegen die großen Cloud-Modelle vorn. Wer On-Premise als Vollersatz für alles verkauft bekommt, sollte nachfragen.
Sie erwarten, dass die Anschaffung sich in einem Jahr rechnet. Bei kleinen Teams tut sie das in der Regel nicht. Der Grund für lokale KI ist Datenhoheit oder Volumen, nicht der Preis.
Voraussetzungen: Hardware und Modellgrößen
Hier wird es konkret. Alle folgenden Angaben haben den Stand 10/2026 (Größen gegen die Ollama-Bibliothek geprüft am 11.10.2026) und beziehen sich auf 4-Bit-Quantisierung (die übliche Sparform, mit der Modelle in bezahlbaren Grafikspeicher passen). Modellnamen sind Verfallsware: Die Klassen und die Auswahl-Logik bleiben gültig, die konkreten Namen prüfen Sie bei späterer Lektüre besser gegen die aktuelle Modellbibliothek.
Der Befund, der über Erfolg oder Frust entscheidet
Unter etwa 7 Milliarden Parametern leidet die deutsche Sprachqualität sichtbar: Grammatikfehler und Wechsel ins Englische mitten im Text. Für deutschen Schriftverkehr im Betrieb ist die 7B-Klasse die untere Grenze.
Das ist der Punkt, an dem die meisten Selbstversuche scheitern. Ein winziges Modell läuft auf jedem Notebook, schreibt aber Deutsch wie eine schlechte Übersetzung. Wer daraufhin sagt „lokale KI taugt nichts“, hat nicht die lokale KI getestet, sondern eine zu kleine.
Einstiegsklasse: läuft auf bescheidener Hardware
| Modell | Speicherbedarf | Stärke | Deutsch |
|---|---|---|---|
| Qwen3 8B | ca. 5 GB | Allrounder für Text und Anweisungen | Gut |
| Mistral Small | ca. 14 GB | Solide Textarbeit, europäisches Modell | Gut |
| Gemma 4 (kleine Variante) | ab ca. 7 GB | Kompakt, versteht auch Bilder | Brauchbar |
Reicht für: Zusammenfassen, Stichpunkte zu Text ausformulieren, einfache Fragen an Dokumente.
Arbeitsklasse: hier trägt lokale KI im Alltag
| Modell | Speicherbedarf | Stärke | Deutsch |
|---|---|---|---|
| Qwen3.5 27B | ca. 17 GB (Download 20 GB mit Bildmodul) | Beste Qualität je Gigabyte, passt auf eine 24-GB-Karte | Gut bis sehr gut |
| Qwen3 Coder 30B | ca. 19 GB | Code und lange Dokumente (großes Kontextfenster) | Gut |
| DeepSeek R1 (destilliert, 14B bis 32B) | ca. 9 bis 20 GB | Schrittweises Denken, Analyse | Gut |
Wenn deutsche Texte in Kundenqualität herauskommen sollen, ist das die Klasse, die Sie einplanen. Der Sprung in der Sprachqualität ist größer als der Sprung im Hardware-Preis. Die Spalte „Deutsch“ ist eine Einschätzung, kein Messwert: Prüfen Sie jedes Modell mit eigenen Texten.
Große Klasse: nur mit ernsthafter Grafikkarte
| Modell | Speicherbedarf | Stärke | Deutsch |
|---|---|---|---|
| Llama 3.3 70B | ca. 43 GB | Arbeitstier für anspruchsvolle Texte | Sehr gut |
| Qwen3 (große Varianten) | ab ca. 60 GB | Nah an Cloud-Qualität, entsprechender Hardware-Bedarf | Sehr gut |
Was das für die Anschaffung heißt
Die entscheidende Zahl ist der Grafikspeicher, nicht die Rechenleistung des Prozessors. Ein Modell muss vollständig in den Speicher der Grafikkarte passen, sonst wird es zäh. Grobe Orientierung:
- 8 bis 12 GB Grafikspeicher: Einstiegsklasse, ein bis zwei gleichzeitige Nutzer
- 24 GB Grafikspeicher: die Arbeitsklasse mit 27B, der Punkt mit dem besten Verhältnis von Preis zu Nutzen
- 48 GB und mehr: große Modelle oder viele gleichzeitige Nutzer
Ohne Grafikkarte läuft es auch, dann rechnet der Prozessor. Bei kleinen Modellen ist das mit Wartezeiten von einigen Sekunden erträglich, bei großen wird es unbenutzbar. Die gerechnete Aufstellung mit aktuellen Marktpreisen für Geräte und Mietserver steht auf Ollama-Hardware und Server mieten; ob Kaufen oder Mieten sich für Ihre Teamgröße rechnet, zeigt KI-Server kaufen oder mieten.
Software-seitig besteht der Aufbau aus drei Teilen: Ollama führt die Modelle aus, Open WebUI ist die Chat-Oberfläche für Ihr Team, und optional bindet n8n die Modelle in Abläufe ein (n8n selbst betreiben). Den kompletten Aufbau Schritt für Schritt beschreibt Ollama selbst hosten. Wer statt Ollama einen grafischen Einstieg sucht: Der Vergleich Ollama oder LM Studio klärt, welches der beiden Werkzeuge zu welchem Einsatz passt. Ollama bietet außerdem Cloud-Modelle an, die nicht lokal laufen; was das für den Datenschutz heißt, steht in Ollama Cloud für Betriebe.
Datenschutz und KI-Verordnung: was lokal löst und was nicht
Vorweg der Hinweis, den ich ernst meine: Das Folgende ist eine Einordnung aus der Praxis, keine Rechtsberatung. Für die verbindliche Bewertung Ihres Falls fragen Sie Ihre Datenschutzbeauftragte oder Ihre Rechtsberatung.
Was lokale KI löst: Der Drittlandtransfer entfällt. Bei eigener Hardware entfällt auch die Auftragsverarbeitung, weil kein Dritter die Daten verarbeitet. Es gibt kein Modelltraining mit Ihren Inhalten, weil niemand Ihre Inhalte bekommt. Der Dokumentationsaufwand sinkt spürbar, und die Frage „was passiert, wenn das Datenschutzabkommen mit den USA erneut gekippt wird“ stellt sich für diesen Teil Ihrer IT nicht mehr.
Was lokale KI nicht löst: Sie brauchen weiterhin eine Rechtsgrundlage für die Verarbeitung. Der Eintrag im Verarbeitungsverzeichnis bleibt Pflicht. Eine Datenschutz-Folgenabschätzung kann weiterhin nötig sein. Zugriffsrechte, Löschfristen und Verschlüsselung müssen Sie selbst regeln, ein lokaler Server ist nicht automatisch ein sicherer Server. Und wenn ein Modell Entscheidungen über Menschen vorbereitet, gelten dieselben Regeln wie überall sonst. Die vollständige Aufstellung steht in DSGVO-konforme KI im Unternehmen.
Die KI-Verordnung der EU trifft Sie unabhängig vom Serverstandort. Zwei Punkte betreffen den typischen internen Einsatz: die Regel zur KI-Kompetenz der Mitarbeitenden (Artikel 4) und die Transparenzpflichten (Artikel 50), sobald KI mit Kunden interagiert oder Inhalte veröffentlicht werden. Die Verordnung wurde 2026 geändert; den aktuellen Wortlaut prüfen Sie im Gesetzestext. Eigene Hardware befreit von nichts davon. Was für Ihren Fall gilt, ordnet der kostenlose AI-Act-Check ein, die Fristen im Überblick stehen in EU AI Act 2026: was KMU jetzt tun müssen.
Anwendungsfälle, die sich im Mittelstand rechnen
Lokale KI ist kein Selbstzweck. Diese vier Fälle tauchen in Gesprächen am häufigsten auf und haben einen Nutzen, den man benennen kann.
Fragen an die eigenen Dokumente
Der stärkste Fall. Verträge, Handbücher, Leistungsverzeichnisse, Protokolle: Das Modell bekommt Ihre Ablage angeschlossen und antwortet mit Quellenangabe statt aus dem Gedächtnis. Diese Technik heißt RAG. Nutzen: Die Frage „In welchem Vertrag stand nochmal die Kündigungsfrist“ kostet zehn Sekunden statt zwanzig Minuten Suche. Die Berechtigungen lassen sich mitführen, sodass niemand über den Umweg der KI Dokumente sieht, die er sonst nicht sehen darf.
Eingangspost sortieren und vorbereiten
E-Mails und Formularanfragen werden gelesen, kategorisiert und mit einem Antwortentwurf versehen. Der Mensch prüft und schickt. Nutzen: Die Bearbeitung startet nicht mehr bei null. Besonders wirksam bei Betrieben mit vielen gleichartigen Anfragen.
Protokolle und Berichte aus Stichpunkten
Aus zwölf Stichpunkten wird ein lesbarer Bericht in Ihrer Hausform. Nutzen: Der Teil der Arbeit, den alle vor sich herschieben, ist in Minuten erledigt. Genau hier zahlt sich die 27B-Klasse gegenüber einem kleinen Modell aus, weil der Text sonst nachbearbeitet werden muss und der Zeitgewinn verpufft.
Technische Auskunft im eigenen Bestand
Fertigungsunterlagen, Ersatzteillisten, Wartungshistorien. Wer im Service arbeitet, sucht sonst in PDF-Ordnern. Nutzen: Auskunftsfähigkeit am Telefon, ohne Rückruf. Und die Unterlagen bleiben im Haus, was bei Konstruktionsdaten der eigentliche Grund für die lokale Lösung ist.
Was lokale KI kostet
Die Marktpreise Dritter unten haben den Stand 11.10.2026 und ändern sich; was webAION für Einrichtung und Betrieb berechnet, steht mit Stand auf On-Premise KI.
Der Server oder das Gerät: Ein gemieteter Server bei einem Anbieter mit Rechenzentrum in der EU (Standort je Tarif prüfen) startet für kleine Modelle bei etwa 10 bis 20 Euro im Monat (8 GB Arbeitsspeicher); für 16 GB zahlen Sie bei günstigen Anbietern rund 27 bis 31 Euro. Einzelne große Anbieter haben ihre Preise 2026 deutlich angehoben, der Vergleich vor der Bestellung lohnt. Sobald eine Grafikkarte dazukommt, liegen Sie deutlich höher: Ein gemieteter Server mit 24-GB-Karte kostet rund 255 Euro im Monat inklusive Umsatzsteuer (Hetzner GEX45, Standort Helsinki). Eigene Hardware für die Arbeitsklasse ist eine vierstellige Anschaffung. Ich verkaufe keine Hardware und verdiene nichts daran, deshalb ist die Empfehlung im Check neutral.
Die Einordnung vorab: Der On-Prem-KI-Check umfasst die Aufnahme der Anwendungsfälle, der Datenlage und der vorhandenen IT, dazu eine Hardware-Empfehlung mit Budgetrahmen und eine schriftliche Entscheidungsvorlage, ob eigene Hardware oder deutscher Mietserver der richtige Weg ist. Wenn Sie nur wissen wollen, welche KI-Werkzeuge Ihr Team heute schon nutzt und ob das datenschutzrechtlich trägt, ist das KI-Audit der kleinere Einstieg.
Die Einrichtung: Offene Modelle auf einem deutschen Server einrichten, härten und einweisen ist ein Festpreis-Paket. Die Einrichtung auf eigener Hardware im Haus, inklusive Netzwerk-Einbindung mit Ihrer IT, Härtung, Backup-Routine und Dokumentation, ist ein größeres. Der Anschluss Ihrer Dokumente per RAG ist ein eigener Baustein. Die Preise stehen mit Stand auf On-Premise KI.
Der laufende Betrieb: Updates, Modellpflege und Monitoring der KI-Schicht gibt es im Abo, wahlweise für einen Cloud-Server oder für eine Maschine im Haus (dort mit Vor-Ort-Einsätzen in der Region nach Absprache). Neue Projekte, also zusätzliche Automationen oder neue Anwendungsfälle, laufen nach Stundensatz oder als eigenes Paket. Diese Grenze steht im Vertrag, damit sie nie zur Diskussion wird.
Förderung: Ob ein Zuschuss möglich ist, steht mit Quelle auf On-Premise KI unter „Ist das förderfähig?“.
Die Schulung: Der Halbtags-Workshop für bis zu zehn Personen bringt Ihrem Team das neue Werkzeug bei und liefert eine Teilnahmebestätigung als Beleg für Ihre Dokumentation.
Die Gegenrechnung: Ein Geschäftskonto bei einem großen Anbieter kostet pro Person und Monat. Ein eigener Server kostet pro Monat und Maschine, unabhängig von der Kopfzahl. Bei fünf Personen ist das Cloud-Konto oft günstiger, bei fünfundzwanzig sieht die Rechnung anders aus. Rechnen Sie ehrlich mit Ihrer Kopfzahl, bevor Sie Hardware kaufen; ein Rechenweg mit Beispielzahlen steht in KI-Server kaufen oder mieten.
Der kleinste sinnvolle Schritt
Fangen Sie nicht mit der Hardware an. Hardware ist die teuerste Art, eine offene Frage zu beantworten.
- Schreiben Sie drei Aufgaben auf, die heute Zeit kosten und bei denen Text im Spiel ist. Nicht zehn, drei. Ohne konkrete Aufgabe ist jedes KI-Projekt ein Experiment.
- Klären Sie, welche Daten dabei anfallen. Wenn keine davon schutzbedürftig ist, brauchen Sie keine lokale KI und sind mit einem Geschäftskonto schneller am Ziel.
- Testen Sie auf einem gemieteten deutschen Server, bevor Sie kaufen. Ein Monat Miete kostet weniger als eine Fehlentscheidung bei der Grafikkarte, und Sie merken innerhalb von zwei Wochen, ob Ihr Team das Werkzeug wirklich nutzt.
- Messen Sie die eingesparte Zeit an genau den drei Aufgaben aus Schritt 1. Erst diese Zahl rechtfertigt eine Anschaffung.
- Kaufen Sie dann Hardware, wenn Volumen, Datenschutz oder beides es verlangen. Und nicht früher.
Die Kosten für Betrieb und Einrichtung getrennt aufgeschlüsselt, mit der Einordnung für wen sich das rechnet, stehen auf KI selbst hosten. Wenn es um den eigenen KI-Server im Betrieb geht, mit Hardware-Empfehlung, Einrichtung und laufendem Betrieb aus einer Hand, finden Sie die Bausteine einzeln buchbar auf On-Premise KI.
Häufige Fragen
Ist lokale KI so gut wie ChatGPT oder Claude?
Für Zusammenfassungen, Entwürfe, interne Suche und Textbausteine sind offene Modelle der Arbeitsklasse gut genug. Bei den schwersten Aufgaben liegen die großen Cloud-Modelle vorn. Deshalb rate ich meist zur gemischten Lösung: lokal, was lokal gehört, Cloud mit EU-Region dort, wo Spitzenqualität nötig ist.
Wie viele Leute können gleichzeitig damit arbeiten?
Das hängt am Grafikspeicher, nicht an Lizenzen. Eine 24-GB-Karte trägt ein Modell der Arbeitsklasse und mehrere gleichzeitige Anfragen, bei parallelen langen Dokumenten wird es enger. Das ist der große Unterschied zur Cloud-Abrechnung: Der zehnte Nutzer kostet nichts extra, er kostet Wartezeit.
Brauche ich dafür eine eigene IT-Abteilung?
Nein, aber jemanden, der zuständig ist. Entweder Ihre IT übernimmt den Betrieb mit meiner Dokumentation und Einweisung, oder ich übernehme ihn im Abo. Was nicht funktioniert: eine Maschine aufstellen und hoffen, dass sie sich selbst pflegt.
Was passiert, wenn ein besseres Modell erscheint?
Sie tauschen es aus. Das ist der Vorteil offener Gewichte: Die Modelle sind austauschbar, die Oberfläche und die angeschlossenen Dokumente bleiben. Deshalb steht in diesem Artikel auch überall der Stand der Modell-Angaben dabei.
Welche Hardware braucht lokale KI?
Entscheidend ist der Grafikspeicher. Für ein Modell der 8B-Klasse reichen 8 GB Grafikspeicher oder 16 GB Arbeitsspeicher ohne Grafikkarte (dann langsamer). Für die Arbeitsklasse mit der 27B-Klasse plant man eine Karte mit 24 GB ein, für 70B-Modelle 48 GB und mehr. Die Rechnung steht auf Ollama-Hardware, die Entscheidung zwischen Kaufen und Mieten in KI-Server kaufen oder mieten.
Wie installiere ich lokale KI?
Es gibt zwei Wege. Zum Ausprobieren: LM Studio installieren, ein Modell im Katalog wählen, loslegen. Für den Betrieb im Team: Ollama installieren und Open WebUI als Oberfläche davorsetzen. Die Schritte stehen in der Anleitung Ollama selbst hosten; welches Werkzeug wann passt, klärt der Vergleich LM Studio oder Ollama.
Funktioniert lokale KI ohne Internet?
Ja, nachdem das Modell heruntergeladen ist. Das Herunterladen von Modellen und Updates braucht eine Verbindung; die Antworten selbst entstehen auf dem Gerät. Ausnahme sind Cloud-Funktionen wie die Cloud-Modelle von Ollama: Sie laufen nicht lokal und brauchen Internet.
Was ist der Unterschied zwischen lokaler KI, On-Premise-KI und KI selbst hosten?
Im Alltag meinen die drei Begriffe fast dasselbe: ein Sprachmodell, das nicht bei einem US-Cloud-Anbieter läuft. Genauer: Lokale KI ist der Oberbegriff, On-Premise heißt auf eigener Hardware im Haus, selbst hosten heißt, dass Sie den Betrieb übernehmen, auf eigenem oder gemietetem Server. Kosten und Ablauf zum Selbermachen stehen auf KI selbst hosten, die Einrichtung durch einen Dienstleister auf On-Premise KI.
Wer steckt hinter diesem Artikel?
webAION ist der Ein-Personen-Betrieb von Ronni Wordel in Lauenburg/Elbe (Kreis Herzogtum Lauenburg). Er richtet offene Sprachmodelle mit Ollama und Open WebUI auf einem Server in Deutschland oder auf Ihrer Hardware im Haus ein und betreut sie auf Wunsch im Abo. Die Zusammenarbeit läuft bundesweit per Telefon, Videocall und Fernzugriff, Termine vor Ort in der Region nach Absprache. Kein Team, keine Vertriebsabteilung. Was webAION einrichtet, betreibt es auch selbst: Die eigene Infrastruktur läuft self-hosted, inklusive lokaler Modelle (Transparenz). Kundenreferenzen für On-Premise-Projekte nennt webAION, sobald es sie gibt, und keinen Tag früher.