Lokales LLM im Unternehmen: Wann sich KI auf eigener Hardware lohnt

Ein lokales LLM ist ein großes Sprachmodell, das auf einem Unternehmenscomputer oder -server statt in der Cloud eines Anbieters betrieben wird. Es lohnt sich, wenn ein Unternehmen mit Daten arbeitet, die es nicht nach außen übermitteln möchte, KI täglich nutzt und im Team jemanden hat, der eine solche Umgebung betreiben kann. Trifft keine dieser Voraussetzungen zu, reichen die Cloud und fertige Tools im Abonnement aus.

Immer mehr Unternehmen, die künstliche Intelligenz einführen, kombinieren beide Ansätze: Sensible Daten und wiederkehrende Aufgaben werden lokal verarbeitet, alles andere in der Cloud. In diesem Artikel erläutere ich, wie sich die Kosten berechnen lassen, was ein lokales Modell an der Datensicherheit verändert – und was nicht – sowie wie Sie beginnen.

Was ist ein lokales LLM?

Ein lokales LLM (engl. Local Large Language Model) ist ein Sprachmodell, dessen Dateien und Berechnungen auf der Hardware des Unternehmens liegen: auf einem Laptop, Desktop-PC, einer Workstation oder einem Server (sogenannte On-Premises-KI). Betreibt ein Unternehmen ein LLM lokal, werden Anfragen, Dokumente und Antworten nicht an eine externe API übermittelt.

Dabei handelt es sich meist um Modelle mit offenen Gewichten (engl. Open Weight), beispielsweise aus den Modellfamilien Llama, Mistral, Qwen oder Gemma. Sie können heruntergeladen und ohne Gebühren pro Anfrage betrieben werden. Die Lizenzbedingungen unterscheiden sich je nach Modell und sollten daher vor der kommerziellen Nutzung geprüft werden.

Ein lokales Modell kann vollständig offline betrieben werden. KI ohne Cloud und ohne Internetzugang ist dort relevant, wo Sicherheit zählt, etwa in Produktionsbetrieben oder isolierten IT-Umgebungen. Der weiter gefasste Begriff „lokale KI“ umfasst auch Modelle zur Bild- und Spracherkennung oder zur Bildgenerierung.

Cloud, Abonnement oder eigene Hardware: ein Vergleich

Keine der Optionen ist in allen Punkten überlegen. Die Entscheidung hängt davon ab, welche Daten das Unternehmen verarbeitet und wie intensiv es KI nutzt.

Kriterium	Cloud (API)	Abonnement	Eigene Hardware
Wohin gelangen die Daten?	Auf die Server des Anbieters	Zum Anbieter gemäß Vertrag	Sie bleiben im Unternehmen
Kostenmodell	Nutzungsabhängige Gebühr (Token)	Feste Gebühr pro Benutzer	Hardwareanschaffung, danach Strom und Wartung
Modellqualität	Leistungsstärkste Modelle	Vom Anbieter ausgewählte Modelle	Open-Weight-Modelle, auch große
Tool-Integration	Über API, Programmierung erforderlich	Fertig integriert, in den Anwendungen des Unternehmens	Eigenständig oder mit einem Partner
Skalierung	Sofort	Durch zusätzliche Lizenzen	Durch die Hardwareleistung begrenzt
Betrieb ohne Internet	Nein	Nein	Ja
Wer betreibt die Umgebung?	Der Anbieter	Der Anbieter	Die IT-Abteilung des Unternehmens oder ein Partner

Open-Weight-Modelle unterscheiden sich in ihrer Größe. Innerhalb derselben Modellfamilie erzielen größere Varianten häufig bessere Ergebnisse, doch die reine Parameterzahl entscheidet nicht über die Qualität. Kleinere Modelle reichen für die tägliche Arbeit aus. Große Modelle, die auf Computern mit NVIDIA DGX Spark, Workstations oder Servern mit GPU-Karten betrieben werden, erreichen bei ausgewählten Geschäftsaufgaben ein Niveau, das den führenden Cloud-Modellen nahekommt.

Eigene Hardware verringert die Abhängigkeit von einem externen Anbieter, doch die Sicherheit von Anwendungen und Infrastruktur wird dann zur Aufgabe des Unternehmens.

Was kostet ein lokales LLM und wann amortisiert es sich?

Ein lokales LLM hat die besten Chancen auf Amortisation bei hoher und regelmäßiger Auslastung. Bei wenigen Anfragen pro Woche ist die Anschaffung von Hardware wirtschaftlich meist schwerer zu rechtfertigen als die Nutzung der Cloud.

Die Kosten für Cloud und Abonnements steigen mit der Nutzung: mit jeder weiteren Person im Team, jedem Agententest und jeder Verarbeitung einer Dokumentendatenbank. Die Kosten für eigene Hardware fallen überwiegend im Voraus an; weitere Anfragen verursachen vor allem Stromkosten und bei Servern zusätzlich Kühlungskosten. Hardwareverschleiß, Wartung und Administratorzeit sind Fixkosten, die wir in der folgenden Berechnung berücksichtigen.

So berechnen Sie es

1. Addieren Sie die jährlichen Ausgaben für KI in der Cloud: Lizenzen pro Benutzer, API-Gebühren sowie Kosten für Tests und Entwicklungsumgebungen. Berücksichtigen Sie auch, was das Unternehmen im kommenden Jahr plant.
2. Bewerten Sie, welche dieser Aufgaben sich auf ein lokales Modell verlagern lassen, und berechnen Sie, was sie heute in der Cloud kosten. Aufgaben, die die leistungsstärksten Modelle erfordern, bleiben in der Cloud.
3. Addieren Sie die Kosten der eigenen Umgebung: Hardware, Energie, Kühlung, Administratorzeit und Wartungssupport.
4. Verteilen Sie den Hardwarepreis auf den Nutzungszeitraum, beispielsweise 36 Monate, und vergleichen Sie die monatlichen Kosten der eigenen Umgebung mit den monatlichen Kosten der Aufgaben, die Sie aus der Cloud verlagern (Punkt 2). Sind diese niedriger und ist die Antwortqualität ausreichend, lohnt sich ein lokales LLM.

Was das Ergebnis am stärksten beeinflusst

• Auslastung. Hardware, die ungenutzt bleibt, verursacht Kosten ohne Nutzen. Ein Agent, der täglich mehrere Stunden arbeitet, oder ein Team, das Modelle täglich testet, verkürzt die Amortisationszeit am stärksten.
• Anzahl der Benutzer. Ein ausreichend leistungsfähiges Gerät kann ein gesamtes Team versorgen, wenn Modell, Anzahl paralleler Anfragen und die Art der Implementierung dies zulassen.
• Experimente. In der Cloud hat jeder Versuch seinen Preis, etwa eine neue Prompt-Version oder der Neuaufbau eines Dokumentenindex. Lokal kann ohne Zähler getestet werden.
• Kompetenzen. Kann niemand im Unternehmen die Umgebung betreiben, müssen die Kosten für einen Partner hinzugerechnet werden.

Datensicherheit: Was ein lokales LLM löst – und was nicht

Ein lokales Modell beseitigt ein Risiko: die Übermittlung von Daten an einen externen Anbieter. Es entbindet jedoch nicht von der DSGVO und auch nicht vom AI Act.

Was das Unternehmen gewinnt

• Dokumente, Quellcode, Finanzdaten und Kundendaten verlassen die Unternehmensinfrastruktur nicht. Das ist besonders wichtig, wenn Berufs- oder Bankgeheimnisse gelten, etwa in Kanzleien, medizinischen Einrichtungen und Banken.
• Das Unternehmen entscheidet selbst, wo Abfrageprotokolle gespeichert werden und wie lange.
• Mitarbeitende haben weniger Anlass, auf nicht freigegebene private KI-Tools zurückzugreifen, deren Regeln zur Speicherung und Nutzung von Daten möglicherweise nicht den Sicherheitsrichtlinien des Unternehmens entsprechen.
• Das Modell kann in einem vollständig vom Internet getrennten Netzwerk betrieben werden.

Was ein lokaler Betrieb nicht löst

• DSGVO. Verarbeitet die Lösung personenbezogene Daten, sind weiterhin eine Rechtsgrundlage für die Verarbeitung, Zugriffskontrollen für personenbezogene Daten und die Möglichkeit zu ihrer Löschung erforderlich. Bei einer lokalen Implementierung muss zudem die Protokollierung von Zugriffen selbst sichergestellt werden.
• AI Act. Die Pflichten hängen von der Rolle des Unternehmens und der Art der KI-Nutzung ab, nicht vom Einsatzort des Modells. Ab 2 August 2026 gelten unter anderem Transparenzpflichten, beispielsweise die Information darüber, dass das Gegenüber ein KI-System ist, sowie die Kennzeichnung von Deepfake-Inhalten. Die Anforderungen für Hochrisiko-KI-Systeme wurden auf Dezember 2027 und August 2028 verschoben.
• Berechtigungen und KI-Agenten. Das Modell muss dieselben Berechtigungen beachten wie die übrigen Systeme des Unternehmens. Andernfalls zeigt es jedem Nutzer alle Dokumente an, auf die es selbst Zugriff hat. KI-Agenten, die selbstständig Dateien öffnen und Tools ausführen, sollten zusätzlich eingeschränkte Berechtigungen erhalten, da sie Anweisungen ausführen können, die im Inhalt eines Dokuments verborgen sind (sogenannte Prompt Injection).
• Updates. Modelle, Bibliotheken und das System müssen wie jede andere Software aktualisiert werden.

Wofür Unternehmen lokale Modelle einsetzen

Lokale LLMs eignen sich besonders für Aufgaben mit vertraulichen Daten und einem hohen Anfragevolumen.

Assistent für Unternehmensdokumente (RAG)

Das Modell beantwortet Fragen in natürlicher Sprache auf Grundlage von Verfahren, Verträgen, Anleitungen und der Wissensdatenbank. Dokumente werden nicht an einen externen Dienst übermittelt. Die Antwort kann auf das Quelldokument verweisen, sodass Mitarbeitende die Herkunft der Information direkt prüfen können.

KI-Agenten

Programme, die Dateien analysieren, Berichte erstellen oder Anfragen bearbeiten, können stundenlang arbeiten, ohne dass für jede Anfrage Kosten anfallen. Lokal gelten außerdem keine API-Limits eines externen Anbieters. Die Leistung wird jedoch durch die Hardware-Ressourcen begrenzt. Umfangreichere Aufgaben sollten daher außerhalb der Arbeitszeiten des Teams ausgeführt werden, wenn die gesamte Hardwareleistung verfügbar ist.

Arbeit mit Code

Ein Programmierassistent arbeitet mit Quellcode, der das Unternehmen nicht verlassen darf. Er übernimmt repetitive Aufgaben: schlägt Codefragmente vor und erstellt Tests sowie Dokumentation. Die Entwicklerin oder der Entwickler entwirft weiterhin die Lösungen, prüft jeden KI-Vorschlag und entscheidet, was in das Projekt übernommen wird. Die gewonnene Zeit kann für anspruchsvollere Aufgaben genutzt werden. Das Modell lässt sich zudem auf den Code des Unternehmens abstimmen, etwa auf eigene Bibliotheken und Coding-Richtlinien, damit die Vorschläge den Praktiken des Teams entsprechen.

Dokumentenverarbeitung

Klassifizierung, Zusammenfassung und Extraktion von Daten aus Rechnungen, Bestellungen oder Reklamationen. Bei Tausenden von Dokumenten pro Monat sind dies die Aufgaben, bei denen die Tokenkosten in der Cloud am schnellsten steigen.

Feinabstimmung von Modellen (Fine-Tuning)

Anpassung des Modells an die Branchensprache, Produktnamen und Unternehmensprozesse auf Basis eigener Daten. Die Trainingsdaten, oft die wertvollsten Wissensressourcen des Unternehmens, verbleiben dabei auf der eigenen Hardware.

Bild und Video

Bilderkennung in der Qualitätskontrolle sowie die Erstellung von Grafiken und Videomaterial, ohne Projekte nach außen zu übermitteln. In der Produktionslinie verkürzt die lokale Verarbeitung zudem die Reaktionszeit, da Bilddaten nicht in die Cloud und zurück übertragen werden müssen.

Solche Lösungen werden vor allem von Softwarehäusern, Forschungs- und Entwicklungsabteilungen, Finanzunternehmen, Industrieunternehmen, E-Commerce-Anbietern und Organisationen mit hohen Sicherheitsanforderungen eingesetzt.

Wann die Cloud weiterhin sinnvoll ist und wie sich beide Ansätze kombinieren lassen

Die Cloud eignet sich dort, wo der Zugriff auf bestimmte Modelle, schnelle Skalierung oder die fertige Integration in tägliche Anwendungen entscheidend sind:

• Aufgaben, für die bestimmte in der Cloud verfügbare Modelle am besten geeignet sind, etwa komplexe Analysen und mehrstufiges Schlussfolgern,
• gelegentliche Nutzung, die die Anschaffung von Hardware nicht rechtfertigt,
• plötzliche Bedarfsspitzen, etwa die einmalige Verarbeitung eines großen Archivs,
• in Office-Suiten integrierte Assistenten wie Microsoft 365 Copilot, die im Rahmen bestehender Berechtigungen mit E-Mails, Kalendern und Dateien arbeiten.

Hybrides Modell

Ein hybrides Modell teilt Aufgaben nach Datenart und erforderlicher Qualität auf:

1. Sensible Daten (Code, Finanzdokumente, Kundendaten): lokales LLM.
2. Wiederkehrende Aufgaben in großem Umfang (Klassifizierung, Zusammenfassungen, rund um die Uhr arbeitende Agenten): lokales LLM.
3. Tägliche Büroarbeit in Unternehmensanwendungen: abonnierter Assistent.
4. Anspruchsvollste Aufgaben mit nicht sensiblen Daten: leistungsstärkste Modelle in der Cloud.

Ein hybrides Modell ist eine Option, kein Patentrezept. Die richtige Aufgabenverteilung hängt von der Art der Daten, dem Nutzungsumfang und den Kompetenzen des Teams ab und sollte daher regelmäßig überprüft werden.

Worauf ein lokales LLM ausgeführt werden sollte

In der folgenden Übersicht dominiert Hardware auf Basis von Lösungen von NVIDIA. CUDA gehört zu den am besten unterstützten Ökosystemen für KI-Beschleunigung. Gängige Tools wie PyTorch, Ollama oder llama.cpp unterstützen GPUs von NVIDIA, auch wenn viele von ihnen zudem andere Plattformen unterstützen. NVIDIA bietet außerdem Hardware für jede Größenordnung – vom Laptop bis zum Server – mit einem konsistenten Tool-Ökosystem.

Neu im Senetic-Angebot sind NVIDIA RTX Spark™-Laptops. Sie kombinieren NVIDIA Blackwell RTX-Grafik und einen NVIDIA Grace-Prozessor in einem einzigen Chip mit bis zu 1 PFLOP KI-Rechenleistung (FP4) und laufen unter Windows 11. Der wichtigste Parameter ist der einheitliche Speicher von 24 bis 128 GB, den Prozessor und Grafik gleichzeitig nutzen. Er bestimmt, wie groß ein Modell sein kann, das lokal ausgeführt werden kann. In der leistungsstärksten Konfiguration kann der Laptop Modelle mit bis zu 120 Milliarden Parametern und einem Kontext von bis zu 1 Millionen Token ausführen.

Die schlanksten Modelle sind 14 mm dünn, und laut NVIDIA halten die Laptops den ganzen Tag im Akkubetrieb durch. Die angegebene Laufzeit bedeutet jedoch nicht, dass große Modelle einen ganzen Tag lang unter hoher Last ausgeführt werden können, da sie von der Art der Nutzung abhängt. Anwendungen laufen lokal; bei Bedarf kann auf die Cloud zurückgegriffen werden, was gut zum hybriden Modell passt. Im Senetic-Angebot sind die Modelle Microsoft Surface Laptop Ultra, ASUS ProArt P16, HP OmniBook Ultra 16, Lenovo Yoga Pro 9n sowie MSI Prestige N16 Flip AI+ erhältlich.

Entscheidend bei der Hardwareauswahl ist vor allem der Speicher, denn das Modell muss darin Platz finden. Anforderungen und Parameter haben wir im Leitfaden dazu erläutert, welchen Computer für KI man wählen sollte, und die Investitionsstufen für die Serverinfrastruktur im Artikel über Servertypen für KI.

Die Hardwareart richtet sich nach Umfang und Charakter der Aufgaben:

Anwendungsbereich	Hardwaretyp	Wo im Angebot suchen
Eine Person, auch unterwegs	NVIDIA RTX Spark-Laptop (bis zu 128 GB)	Laptops für KI
Gemeinsame KI-Umgebung für das Team	Computer mit NVIDIA DGX Spark	Computer für KI
Fine-Tuning und die größten Modelle	Workstation mit NVIDIA DGX Station	Workstations für KI
Viele Nutzer gleichzeitig	Server mit GPU-Karten	Server für KI
Erweiterung vorhandener Hardware	GPU-Karte für Server oder Workstation	GPU-Karten für KI

Wie Sie beginnen

1. Wählen Sie einen Anwendungsfall, zum Beispiel einen Assistenten für die Dokumente einer Abteilung.
2. Prüfen Sie, welche Daten das Modell verarbeiten wird und wer darauf zugreifen sollte.
3. Testen Sie mehrere Open-Weight-Modelle mit realen Aufgaben, zum Beispiel in Tools wie Ollama oder LM Studio, und vergleichen Sie die Ergebnisse mit einem Cloud-Modell.
4. Schätzen Sie, wie viele Anfragen dieser Anwendungsfall täglich erzeugen wird, und berechnen Sie die Kosten anhand der vier oben beschriebenen Schritte.
5. Prüfen Sie die Kompatibilität der Software mit der Hardware. Computer mit NVIDIA DGX Spark und NVIDIA RTX Spark-Laptops nutzen Prozessoren mit Arm-Architektur, daher läuft nicht jede Anwendung darauf ohne Anpassungen.
6. Wählen Sie auf Grundlage der Tests und Berechnungen die Art und Anzahl der Geräte, abgestimmt auf die Modellgrößen und die Anzahl der Nutzer.

Der Return on Investment für Hardware für lokale KI hängt vor allem von ihrem Auslastungsgrad ab. Daher lohnt es sich, bereits vor dem Kauf eine Liste konkreter Anwendungsfälle zu erstellen.

Häufig gestellte Fragen

Funktioniert ein lokales LLM ohne Internet?

Ja. Nach dem Herunterladen des Modells und der Tools kann es vollständig offline genutzt werden. Eine Verbindung wird nur für Updates, das Herunterladen neuer Modelle und mögliche Integrationen mit externen Diensten benötigt.

Ist ein lokales Modell genauso gut wie Cloud-Modelle?

Für tägliche Aufgaben wie Zusammenfassungen, Klassifizierung oder Antworten auf Grundlage von Dokumenten reichen Open-Weight-Modelle häufig aus. Bei komplexeren Aufgaben hängt das Ergebnis von der Modellgröße ab: Große Open-Weight-Modelle, die auf Workstations oder Servern laufen, kommen den führenden Cloud-Modellen nahe. Daher sollte der Vergleich mit den eigenen Aufgaben durchgeführt werden.

Ist lokale KI automatisch DSGVO-konform?

Nein. Ein lokales Modell begrenzt die Übermittlung von Daten nach außen, doch das Unternehmen bleibt weiterhin für die Rechtsgrundlage der Verarbeitung, den Datenzugriff und die Löschung der Daten verantwortlich.

Wie viel Speicher benötigt ein lokales LLM?

Das hängt von der Größe des Modells und dem Grad seiner Komprimierung (Quantisierung) ab. Bei einer Komprimierung auf 4 Bit belegt jede Milliarde Parameter etwa 0,5–0,6 GB Speicher. Hinzu kommt ein Puffer für den Gesprächskontext und das System. In der Praxis benötigt ein Modell mit 8 Mrd. Parametern etwa 5–6 GB, eines mit 70 Mrd. etwa 40 GB und eines mit 200 Mrd. mehr als 100 GB. Ohne Komprimierung sind die Anforderungen etwa viermal höher.

Ersetzt ein lokales LLM Microsoft 365 Copilot?

Nein, es handelt sich um Tools für unterschiedliche Aufgaben. Copilot arbeitet mit E-Mails, Dateien und dem Kalender in Microsoft 365. Ein lokales Modell eignet sich für Daten, die nicht in die Cloud gelangen sollten, sowie für unternehmenseigene KI-Anwendungen. Viele Organisationen nutzen beides.

Kann ein Projekt von lokaler Hardware in ein Rechenzentrum oder in die Cloud migriert werden?

Ja, sofern dieselben Tools wie etwa CUDA und Container verwendet werden. Allerdings muss die Prozessorarchitektur berücksichtigt werden: NVIDIA DGX Spark und NVIDIA RTX Spark Laptops basieren auf Arm, während viele Server auf x86 laufen. Daher müssen einige Bibliotheken und Container-Images möglicherweise für die jeweils andere Architektur bereitgestellt werden.