Lokales LLM im Unternehmen: Wann sich KI auf eigener Hardware lohnt

Ein lokales LLM ist ein großes Sprachmodell, das auf einem Computer oder Server im Unternehmen statt in der Cloud eines Anbieters ausgeführt wird. Es lohnt sich, wenn ein Unternehmen mit Daten arbeitet, die es nicht nach außen senden möchte, KI täglich nutzt und im Team jemanden hat, der eine solche Umgebung betreuen kann. Trifft keine dieser Bedingungen zu, reichen Cloud-Lösungen und fertige Tools im Abonnement aus.

Immer mehr Unternehmen, die künstliche Intelligenz einsetzen, kombinieren beide Ansätze: Sensible Daten und wiederkehrende Aufgaben werden lokal verarbeitet, der Rest in der Cloud. In diesem Artikel erkläre ich, wie sich die Kosten berechnen lassen, was ein lokales Modell an der Datensicherheit verändert – und was nicht – sowie womit Sie beginnen sollten.

Was ist ein lokales LLM?

Ein lokales LLM (engl. local large language model) ist ein Sprachmodell, dessen Dateien und Berechnungen auf der Hardware des Unternehmens liegen: auf einem Laptop, Desktop-PC, einer Workstation oder einem Server (sogenannte On-Premises-KI). Führt ein Unternehmen ein LLM lokal aus, gelangen Anfragen, Dokumente und Antworten nicht an eine externe API.

Dabei handelt es sich meist um Modelle mit offenen Gewichten (engl. open-weight), etwa aus den Familien Llama, Mistral, Qwen oder Gemma. Sie lassen sich herunterladen und ohne Gebühren pro Anfrage ausführen. Die Lizenzbedingungen unterscheiden sich je nach Modell und sollten daher vor der kommerziellen Nutzung geprüft werden.

Ein lokales Modell kann vollständig offline betrieben werden. KI ohne Cloud und ohne Internetzugang ist dort relevant, wo Sicherheit entscheidend ist, etwa in Produktionsbetrieben oder abgeschotteten IT-Umgebungen. Der weiter gefasste Begriff „lokale KI“ umfasst auch Modelle zur Bild- und Spracherkennung sowie zur Bildgenerierung.

Cloud, Abonnement oder eigene Hardware: ein Vergleich

Keine der Optionen ist in allen Bereichen überlegen. Die Entscheidung hängt davon ab, welche Daten das Unternehmen verarbeitet und wie intensiv es KI nutzt.

Kriterium	Cloud (API)	Abonnement	Eigene Hardware
Wohin die Daten gelangen	Auf die Server des Anbieters	Zum Anbieter, gemäß Vertrag	Sie bleiben im Unternehmen
Kostenmodell	Nutzungsabhängige Gebühr (Token)	Feste Gebühr pro Nutzer	Hardwarekauf, anschließend Strom und Wartung
Modellqualität	Leistungsstärkste Modelle	Vom Anbieter ausgewählte Modelle	Open-Weight-Modelle, auch große
Integration in Tools	Über API, erfordert Programmierung	Fertig integriert, in den Anwendungen des Unternehmens	Eigenständig oder mit einem Partner
Skalierung	Sofort	Durch zusätzliche Lizenzen	Durch die Hardwareleistung begrenzt
Arbeiten ohne Internet	Nein	Nein	Ja
Wer die Umgebung betreibt	Anbieter	Anbieter	IT-Abteilung des Unternehmens oder Partner

Open-Weight-Modelle unterscheiden sich in ihrer Größe. Innerhalb derselben Modellfamilie erzielen größere Varianten häufig bessere Ergebnisse, doch die reine Anzahl der Parameter entscheidet nicht über die Qualität. Kleinere Modelle reichen für die tägliche Arbeit aus. Große Modelle, die auf Computern mit NVIDIA DGX Spark, Workstations oder Servern mit GPU-Karten ausgeführt werden, erreichen bei ausgewählten Geschäftsaufgaben ein Niveau nahe den führenden Cloud-Modellen.

Eigene Hardware verringert die Abhängigkeit von externen Anbietern, doch die Sicherheit von Anwendungen und Infrastruktur wird damit zur Aufgabe des Unternehmens.

Was kostet ein lokales LLM und wann amortisiert es sich?

Ein lokales LLM hat die besten Chancen auf Amortisation bei hoher und regelmäßiger Nutzung. Bei wenigen Anfragen pro Woche ist der Kauf von Hardware wirtschaftlich meist schwerer zu rechtfertigen als die Nutzung der Cloud.

Die Kosten für Cloud und Abonnements steigen mit der Nutzung: mit jeder weiteren Person im Team, jedem Agententest und jeder Neuberechnung einer Dokumentendatenbank. Die Kosten für eigene Hardware fallen überwiegend im Voraus an; weitere Anfragen verursachen vor allem Stromkosten, bei Servern zusätzlich Kühlungskosten. Hardwareverschleiß, Wartung und Administratorzeit sind Fixkosten, die in der folgenden Berechnung berücksichtigt werden.

So berechnen Sie es

1. Addieren Sie die jährlichen Ausgaben für Cloud-KI: nutzerbezogene Lizenzen, API-Gebühren sowie Kosten für Tests und Entwicklungsumgebungen. Rechnen Sie auch die Vorhaben ein, die das Unternehmen für das kommende Jahr plant.
2. Bewerten Sie, welche dieser Aufgaben sich auf ein lokales Modell verlagern lassen, und berechnen Sie, was sie heute in der Cloud kosten. Aufgaben, die die leistungsstärksten Modelle erfordern, bleiben in der Cloud.
3. Addieren Sie die Kosten der eigenen Umgebung: Hardware, Energie, Kühlung, Administratorzeit und Service-Support.
4. Verteilen Sie den Hardwarepreis auf die Nutzungsdauer, z. B. 36 Monate, und vergleichen Sie die monatlichen Kosten der eigenen Umgebung mit den monatlichen Kosten der Aufgaben, die Sie aus der Cloud verlagern (Punkt 2). Sind sie niedriger und reicht die Antwortqualität aus, lohnt sich ein lokales LLM.

Was das Ergebnis am stärksten beeinflusst

• Auslastung. Unbenutzte Hardware verursacht Kosten ohne Nutzen. Ein Agent, der täglich mehrere Stunden arbeitet, oder ein Team, das Modelle im Alltag testet, verkürzt die Amortisationszeit am stärksten.
• Anzahl der Nutzer. Ein ausreichend leistungsfähiges Gerät kann ein gesamtes Team versorgen, sofern Modell, Anzahl gleichzeitiger Anfragen und Bereitstellungsart dies zulassen.
• Experimente. In der Cloud hat jeder Versuch seinen Preis, etwa eine neue Prompt-Version oder die Umstrukturierung eines Dokumentenindex. Lokal lässt sich ohne Zähler testen.
• Kompetenzen. Kann niemand im Unternehmen die Umgebung betreiben, müssen die Kosten für einen Partner hinzugerechnet werden.

Datensicherheit: Was ein lokales LLM löst – und was nicht

Ein lokales Modell eliminiert ein Risiko: die Übermittlung von Daten an einen externen Anbieter. Es entbindet jedoch weder von der DSGVO noch vom AI Act.

Was Unternehmen gewinnen

• Dokumente, Quellcode, Finanz- und Kundendaten verlassen die Unternehmensinfrastruktur nicht. Das ist besonders wichtig, wenn Berufs- oder Bankgeheimnisse gelten, etwa in Kanzleien, medizinischen Einrichtungen und Banken.
• Das Unternehmen entscheidet selbst, wo Abfrageprotokolle gespeichert werden und wie lange.
• Mitarbeitende haben weniger Anlass, auf nicht genehmigte private KI-Tools zurückzugreifen, deren Regeln zur Speicherung und Nutzung von Daten möglicherweise nicht den Sicherheitsrichtlinien des Unternehmens entsprechen.
• Das Modell kann in einem vollständig vom Internet getrennten Netzwerk betrieben werden.

Was ein lokaler Betrieb nicht löst

• DSGVO. Wenn die Lösung personenbezogene Daten verarbeitet, sind weiterhin eine Rechtsgrundlage für die Verarbeitung, eine Zugriffskontrolle für personenbezogene Daten und die Möglichkeit zu deren Löschung erforderlich. Bei einer lokalen Implementierung muss zudem die Protokollierung von Zugriffen selbst sichergestellt werden.
• AI Act. Die Pflichten hängen von der Rolle des Unternehmens und der Art der KI-Nutzung ab, nicht davon, wo das Modell betrieben wird. Ab dem 2. August 2026 gelten unter anderem Transparenzpflichten, etwa die Information darüber, dass das Gegenüber ein KI-System ist, sowie die Kennzeichnung von Deepfake-Inhalten. Die Anforderungen für Hochrisikosysteme wurden auf Dezember 2027 und August 2028 verschoben.
• Berechtigungen und KI-Agenten. Das Modell muss dieselben Berechtigungen wie die übrigen Systeme des Unternehmens berücksichtigen, sonst zeigt es jedem Nutzer alle Dokumente an, auf die es selbst Zugriff hat. KI-Agenten, die Dateien eigenständig öffnen und Tools ausführen, sollten zusätzlich eingeschränkte Berechtigungen erhalten, da sie Anweisungen ausführen können, die im Inhalt eines Dokuments verborgen sind (sogenannte Prompt Injection).
• Updates. Modelle, Bibliotheken und das System müssen wie jede andere Software aktualisiert werden.

Wofür Unternehmen lokale Modelle einsetzen

Lokale LLMs eignen sich besonders für Aufgaben mit vertraulichen Daten und hohem Anfragevolumen.

Assistent für Unternehmensdokumente (RAG)

Das Modell beantwortet Fragen in natürlicher Sprache auf Basis von Verfahren, Verträgen, Anleitungen und der Wissensdatenbank. Die Dokumente werden nicht an einen externen Dienst übermittelt. Die Antwort kann auf das Quelldokument verweisen, sodass Mitarbeitende sofort prüfen können, woher die Information stammt.

KI-Agenten

Programme, die Dateien analysieren, Berichte erstellen oder Anfragen bearbeiten, können stundenlang arbeiten, ohne dass Kosten für jede einzelne Anfrage anfallen. Lokal gelten zudem keine API-Limits eines externen Anbieters. Die Leistung wird jedoch durch die Hardware-Ressourcen begrenzt. Umfangreichere Aufgaben sollten daher außerhalb der Arbeitszeiten des Teams ausgeführt werden, wenn die gesamte Hardwareleistung verfügbar ist.

Arbeit mit Code

Ein Programmierassistent arbeitet mit Quellcode, der das Unternehmen nicht verlassen darf. Er übernimmt repetitive Aufgaben: Er schlägt Codefragmente vor, erstellt Tests und Dokumentation. Die Entwicklerinnen und Entwickler konzipieren weiterhin die Lösungen, prüfen jeden KI-Vorschlag und entscheiden, was in das Projekt übernommen wird. Die eingesparte Zeit können sie für anspruchsvollere Aufgaben nutzen. Das Modell lässt sich zudem an den Code des Unternehmens anpassen, etwa an eigene Bibliotheken und Coding-Richtlinien, damit die Vorschläge den Praktiken des Teams entsprechen.

Dokumentenverarbeitung

Klassifizierung, Zusammenfassung und Extraktion von Daten aus Rechnungen, Bestellungen oder Reklamationen. Bei Tausenden von Dokumenten pro Monat steigen die Cloud-Kosten für Tokens bei solchen Aufgaben am schnellsten.

Modell-Finetuning (engl. Fine-Tuning)

Anpassung des Modells an die Sprache der Branche, Produktnamen und Unternehmensprozesse auf Basis eigener Daten. Die Trainingsdaten, häufig die wertvollsten Wissensressourcen eines Unternehmens, bleiben dabei auf der eigenen Hardware.

Bild und Video

Bilderkennung in der Qualitätskontrolle sowie die Generierung von Grafiken und Videomaterial, ohne Entwürfe nach außen zu senden. In der Produktionslinie verkürzt die lokale Verarbeitung zudem die Reaktionszeit, da die Bilder nicht erst in die Cloud und zurück übertragen werden müssen.

Solche Lösungen werden vor allem von Softwarehäusern, F&E-Abteilungen, Finanzunternehmen, Industrieunternehmen, im E-Commerce sowie von Organisationen mit hohen Sicherheitsanforderungen eingesetzt.

Wann die Cloud weiterhin sinnvoll ist und wie sich beide Ansätze kombinieren lassen

Die Cloud eignet sich dort, wo der Zugriff auf bestimmte Modelle, schnelle Skalierung oder eine fertige Integration in tägliche Anwendungen entscheidend sind:

• Aufgaben, für die bestimmte in der Cloud verfügbare Modelle am besten geeignet sind, etwa komplexe Analysen und mehrstufiges Schlussfolgern,
• gelegentliche Nutzung, die die Anschaffung von Hardware nicht rechtfertigt,
• plötzliche Bedarfsspitzen, etwa die einmalige Verarbeitung eines großen Archivs,
• in Office-Suiten integrierte Assistenten wie Microsoft 365 Copilot, die im Rahmen bestehender Berechtigungen mit E-Mails, Kalendern und Dateien arbeiten.

Hybrides Modell

Ein hybrides Modell teilt Aufgaben nach Datentyp und erforderlicher Qualität auf:

1. Sensible Daten (Code, Finanzdokumente, Kundendaten): lokales LLM.
2. Wiederkehrende Aufgaben im großen Maßstab (Klassifizierung, Zusammenfassungen, rund um die Uhr arbeitende Agenten): lokales LLM.
3. Tägliche Büroarbeit in Unternehmensanwendungen: Assistent im Abonnement.
4. Die anspruchsvollsten Aufgaben mit nicht sensiblen Daten: leistungsstärkste Modelle in der Cloud.

Ein hybrides Modell ist eine von mehreren Optionen, keine fertige Patentlösung. Die sinnvolle Aufgabenverteilung hängt von der Art der Daten, dem Nutzungsumfang und den Kompetenzen des Teams ab und sollte daher regelmäßig überprüft werden.

Worauf ein lokales LLM betrieben werden sollte

In der folgenden Übersicht dominiert Hardware auf Basis von Lösungen von NVIDIA. CUDA gehört zu den am besten unterstützten Ökosystemen für KI-Beschleunigung. Gängige Tools wie PyTorch, Ollama oder llama.cpp unterstützen GPUs von NVIDIA, viele davon unterstützen jedoch auch andere Plattformen. NVIDIA bietet außerdem Hardware für jede Größenordnung – vom Laptop bis zum Server – mit einem konsistenten Tool-Ökosystem.

Neu im Senetic-Angebot sind NVIDIA RTX Spark™-Laptops. Sie vereinen NVIDIA Blackwell RTX-Grafik und einen NVIDIA Grace-Prozessor in einem System mit bis zu 1 PFLOP KI-Rechenleistung (FP4) und laufen unter Windows 11. Der wichtigste Parameter ist der einheitliche Speicher von 24 bis 128 GB, der gleichzeitig von Prozessor und Grafik genutzt wird. Von ihm hängt ab, wie groß ein Modell lokal ausgeführt werden kann. In der leistungsstärksten Konfiguration kann der Laptop Modelle mit bis zu 120 Mrd. Parametern und einem Kontext von bis zu 1 Mio. Tokens ausführen (laut NVIDIA).

Die dünnsten Modelle sind 14 mm dick, und laut NVIDIA halten die Laptops mit einer Akkuladung den ganzen Tag durch. Die angegebene Laufzeit bedeutet jedoch nicht, dass ein großes Modell den ganzen Tag unter Volllast betrieben werden kann, da sie von der jeweiligen Nutzung des Geräts abhängt. Anwendungen laufen lokal; bei Bedarf kann die Cloud hinzugezogen werden, was gut zum hybriden Modell passt. Im Senetic-Angebot sind Modelle von Microsoft Surface Laptop Ultra, ASUS ProArt P16, HP OmniBook Ultra 16, Lenovo Yoga Pro 9n sowie MSI Prestige N16 Flip AI+.

Für die Hardwareauswahl ist vor allem der Arbeitsspeicher entscheidend, denn das Modell muss darin Platz finden. Anforderungen und Parameter haben wir im Ratgeber dazu erläutert, welcher Computer für KI geeignet ist, und die Investitionsstufen für die Serverinfrastruktur im Artikel über Servertypen für KI.

Die Hardware wird nach Umfang und Art der Aufgaben ausgewählt:

Einsatzbereich	Hardwaretyp	Wo im Angebot zu finden
Eine Person, auch unterwegs	NVIDIA RTX Spark-Laptop (bis zu 128 GB)	KI-Laptops
Gemeinsame KI-Umgebung für das Team	Computer mit NVIDIA DGX Spark	KI-Computer
Fine-Tuning und die größten Modelle	Workstation mit NVIDIA DGX Station	KI-Workstations
Viele gleichzeitige Nutzer	Server mit GPU-Karten	KI-Server
Erweiterung vorhandener Hardware	GPU-Karte für Server oder Workstation	KI-GPU-Karten

So starten Sie

1. Wählen Sie einen Anwendungsfall, zum Beispiel einen Assistenten für die Dokumente einer Abteilung.
2. Prüfen Sie, welche Daten das Modell verarbeiten wird und wer darauf Zugriff haben sollte.
3. Testen Sie mehrere Open-Weight-Modelle mit realen Aufgaben, beispielsweise in Tools wie Ollama oder LM Studio, und vergleichen Sie die Ergebnisse mit einem Cloud-Modell.
4. Schätzen Sie, wie viele Anfragen dieser Anwendungsfall täglich erzeugen wird, und berechnen Sie die Kosten nach den vier oben beschriebenen Schritten.
5. Prüfen Sie die Kompatibilität der Software mit der Hardware. Computer mit NVIDIA DGX Spark und NVIDIA RTX Spark-Laptops verwenden Prozessoren mit Arm-Architektur. Daher lässt sich nicht jede Anwendung darauf ohne Anpassungen ausführen.
6. Wählen Sie auf Basis der Tests und Berechnungen den Gerätetyp und die Anzahl der Geräte passend zu den Modellgrößen und der Nutzerzahl aus.

Die Rendite einer Investition in Hardware für lokale KI hängt vor allem vom Auslastungsgrad ab. Deshalb sollte eine Liste konkreter Anwendungsfälle bereits vor dem Kauf erstellt werden.

Häufig gestellte Fragen

Funktioniert ein lokales LLM ohne Internet?

Ja. Nach dem Herunterladen des Modells und der Tools kann es vollständig offline genutzt werden. Eine Verbindung wird nur für Updates, das Herunterladen neuer Modelle und gegebenenfalls für Integrationen mit externen Diensten benötigt.

Ist ein lokales Modell genauso gut wie Cloud-Modelle?

Für alltägliche Aufgaben wie Zusammenfassungen, Klassifizierung oder Antworten auf Basis von Dokumenten reichen Open-Weight-Modelle häufig aus. Bei komplexeren Aufgaben hängt das Ergebnis von der Modellgröße ab: Große Open-Weight-Modelle, die auf Workstations oder Servern ausgeführt werden, kommen führenden Cloud-Modellen nahe. Daher empfiehlt sich ein Vergleich anhand eigener Aufgaben.

Ist lokale KI automatisch DSGVO-konform?

Nein. Ein lokales Modell begrenzt die Übermittlung von Daten nach außen, doch das Unternehmen bleibt weiterhin für die Rechtsgrundlage der Verarbeitung, den Datenzugriff und die Löschung der Daten verantwortlich.

Wie viel Speicher benötigt ein lokales LLM?

Das hängt von der Modellgröße und dem Grad seiner Komprimierung (Quantisierung) ab. Bei einer Komprimierung auf 4 Bit belegt jede Milliarde Parameter etwa 0,5–0,6 GB Speicher. Zusätzlich ist Reserve für den Gesprächskontext und das System erforderlich. In der Praxis benötigt ein Modell mit 8 Milliarden Parametern etwa 5–6 GB, eines mit 70 Milliarden etwa 40 GB und eines mit 200 Milliarden mehr als 100 GB. Ohne Komprimierung sind die Anforderungen ungefähr viermal so hoch.

Ersetzt ein lokales LLM Microsoft 365 Copilot?

Nein, die Tools sind für unterschiedliche Aufgaben konzipiert. Copilot arbeitet mit E-Mails, Dateien und Kalendern in Microsoft 365. Ein lokales Modell eignet sich für Daten, die nicht in die Cloud gelangen sollen, sowie für unternehmenseigene KI-Anwendungen. Viele Unternehmen nutzen beides.

Lässt sich ein Projekt von lokaler Hardware in ein Rechenzentrum oder in die Cloud übertragen?

Ja, sofern dieselben Tools verwendet werden, etwa CUDA und Container. Allerdings muss die Prozessorarchitektur berücksichtigt werden: NVIDIA DGX Spark und NVIDIA RTX Spark-Laptops basieren auf Arm, während viele Server auf x86 laufen. Daher müssen einige Bibliotheken und Container-Images möglicherweise für die jeweils andere Architektur bereitgestellt werden.