Table of Contents
Welcher Computer für KI? Das hängt vom Einsatzzweck und der Modellgröße ab: Für Büroanwendungen reichen in der Regel ein Laptop oder AI PC mit NPU, zum lokalen Ausführen größerer Modelle ist eine Workstation oder ein Desktop-KI-Supercomputer erforderlich, und für das Training von Modellen von Grund auf braucht es einen GPU-Server oder die Cloud. Dieser Leitfaden richtet sich an Unternehmen, IT-Teams, KMU und öffentliche Einrichtungen, die eine KI-Einführung planen.
Hier finden Sie vier Computerklassen für die Arbeit mit KI, ihre praktischen Grenzen, zentrale Parameter wie Speicher und Bandbreite sowie eine Tabelle, die den Ressourcenbedarf für konkrete Einsatzszenarien zeigt. Die Entscheidung ist wichtig: Ein passend ausgewählter Computer ermöglicht den Betrieb von Sprachmodellen auf lokalen Ressourcen, schützt die Datenprivatsphäre und nutzt die verfügbare Rechenleistung flexibel und effizient.
Laut einem Bericht von Eurostat nutzten im Jahr 2025 20 % der Unternehmen in der Europäischen Union KI-Technologien. Zwei Jahre zuvor waren es 8 %. Bei Großunternehmen liegt der Anteil bereits bei 55 %, bei kleinen Unternehmen bei 17 %. Die Einführung schreitet schneller voran, jedoch nicht gleichmäßig, und immer mehr Teams stehen jetzt vor der Frage nach der passenden Hardware.
Wofür soll dieser Computer eingesetzt werden?
Definieren Sie zunächst das Einsatzszenario, bevor Sie sich die Spezifikationen ansehen. Es entscheidet über die Wahl, nicht die technischen Daten allein. Der beste KI-Computer ist der, dessen Konfiguration und Budget zu den konkreten Einsatzbereichen künstlicher Intelligenz passen.
- KI-Unterstützung im Arbeitsalltag. Besprechungstranskription, Texterstellung und -bearbeitung, ein im System integrierter Assistent sowie Filter für Videokonferenzen. Die Modelle laufen in der Cloud oder lokal, sind jedoch klein und stellen nur geringe Anforderungen an die Hardware.
- Fertige Modelle lokal ausführen. Ein Unternehmen lädt ein Open-Source-Modell herunter und nutzt es intern: für die Dokumentenanalyse, die Bearbeitung von Kundenanfragen oder die Bildgenerierung. Zu dieser Kategorie gehören auch Datenanalysen und einfachere Machine-Learning-Projekte. Die Daten verlassen die Organisation nicht. Hier beginnen die tatsächlichen Hardwareanforderungen.
- Modelle mit eigenen Daten feinabstimmen. Fine-Tuning und LoRA ermöglichen es einem Modell, die Terminologie, Prozesse und den Kontext eines bestimmten Unternehmens zu erlernen. Dafür wird deutlich mehr Speicher benötigt als für die reine Ausführung eines fertigen Modells.
- Ein Modell von Grund auf trainieren. Aufbau eines eigenen Modells von Grund auf. Das ist eine Aufgabe für eine Data-Center-Infrastruktur, nicht für einen Computer auf dem Schreibtisch.
Die ersten beiden Szenarien lassen sich mit Hardware bewältigen, die viele Unternehmen bereits besitzen oder ohne größere Investitionen beschaffen können. Das dritte erfordert eine bewusste Entscheidung für eine bestimmte Geräteklasse. Das vierte bedeutet in der Praxis Cloud oder Serverraum. Diese Einteilung erleichtert auch KI-Entwicklern und Datenanalysten die Auswahl, da sie meist in den beiden mittleren Szenarien arbeiten.
Computertypen für KI
AI PC mit NPU
Computer oder Laptop mit einer dedizierten NPU, die für Aufgaben der künstlichen Intelligenz entwickelt wurde. Sie verarbeitet diese energieeffizient, ohne Prozessor und Grafikkarte zu belasten und ohne Daten in die Cloud zu senden. Die Einstiegsschwelle liegt bei 40 TOPS (Billionen Operationen pro Sekunde). Diesen Wert setzt die Copilot+-Zertifizierung voraus, die heute in Laptops mit Intel Core Ultra-, AMD Ryzen AI- und Snapdragon X-Prozessoren verfügbar ist.
Geeignet für: Unterstützung bei Büroaufgaben, Transkription, Übersetzungen, die Nutzung eines Systemassistenten und das lokale Ausführen kleiner Modelle.
Wo liegen die Grenzen: bei Modellen mit mehr als einigen Milliarden Parametern. Ein AI PC ist weder für die Feinabstimmung noch für das Training von Modellen konzipiert – das ist nicht seine Aufgabe.
Beispiel: Dell Pro 16 mit AMD Ryzen AI
Workstation mit NVIDIA RTX-Grafikkarte
Klassische Workstation mit einer professionellen NVIDIA-Grafikkarte. Für KI-Computer werden meist NVIDIA RTX-Grafikkarten gewählt, da ihre Tensor-Kerne Berechnungen für KI- und Machine-Learning-Modelle beschleunigen. Ebenso wichtig ist das CUDA-Software-Ökosystem, das für die meisten Tools und Bibliotheken zum Standard geworden ist. Die Arbeit übernimmt hier die GPU; der entscheidende Parameter ist die VRAM-Kapazität der Grafikkarte – von 16 GB in Basiskonfigurationen bis 96 GB bei RTX PRO Blackwell-Grafikkarten. Ein Vorteil ist die sehr hohe Speicherbandbreite und damit eine hohe praktische Arbeitsgeschwindigkeit.
Geeignet für: Bild- und Videogenerierung, die Arbeit mit Sprachmodellen mit bis zu etwa 32 Milliarden Parametern, Rendering und Berechnungen – überall dort, wo Reaktionszeit zählt. Für Sprachmodelle liegt das praktische Minimum bei 12–16 GB VRAM.
Wo liegen die Grenzen: bei 70B-Modellen und größeren Modellen. Sie passen nur in die teuersten Grafikkarten mit 96 GB VRAM, Modelle über 120B jedoch nicht mehr. Eine Erweiterung bedeutet dann eine Konfiguration mit mehreren GPUs sowie entsprechender Stromversorgung, Kühlung und höheren Kosten.
Beispiel: Lenovo ThinkStation P3 Tower Gen 2– Workstation mit einer professionellen NVIDIA RTX-Grafikkarte und 16 GB VRAM.
Desktop-KI-Supercomputer
Die neueste Geräteklasse basiert auf dem NVIDIA GB10 Grace Blackwell Superchip und bringt die Arbeit mit großen Modellen auf den Schreibtisch. Sie kombiniert Prozessor und Grafikchip mit einem gemeinsamen Pool aus 128 GB einheitlichem Speicher, der dem Modell vollständig zur Verfügung steht – ohne feste Trennung zwischen RAM und VRAM. Das Gerät ist so groß wie ein Buch, verbraucht so viel Strom wie ein leistungsstarker Laptop und arbeitet leise. Gleichzeitig unterstützt es das vollständige NVIDIA-Ökosystem: CUDA, NGC-Container, PyTorch und Ollama. Der größte Vorteil dieser Geräteklasse ist die vollständige Datenkontrolle bei der lokalen Ausführung von KI-Modellen.
Geeignet für: die lokale Ausführung großer Modelle (mit bis zu etwa 200 Milliarden Parametern), Prototyping, die Feinabstimmung von Modellen mit LoRA und QLoRA sowie die Arbeit mit Daten, die das Unternehmen nicht verlassen dürfen. Sie eignet sich auch für das Testen eigener KI-Anwendungen und Experimente in kurzen Iterationszyklen, bei denen die schnelle Überprüfung neuer Ideen entscheidend ist.
Wo liegen die Grenzen: beim Training von Modellen von Grund auf und beim produktiven Betrieb für viele gleichzeitige Nutzer. Diese Hardware ist für Teams gedacht, die am Modell arbeiten, und nicht als Anwendungsserver für die gesamte Organisation.
Beispiel: Asus Ascent GX10 – ein kompakter KI-Desktop-Supercomputer mit dem Superchip GB10, entwickelt für Entwickler sowie KI- und Data-Engineering-Teams.
GPU-Server und Cloud
Serverinfrastruktur mit Beschleunigern der Klasse H100, H200 oder Blackwell – selbst betrieben oder in der Cloud gemietet. Sie bietet ein Vielfaches an Rechenleistung und Bandbreite, stellt aber auch Anforderungen: 19-Zoll-Rack, Stromversorgung und Kühlung im Kilowattbereich.
Geeignet für: das Training von Modellen von Grund auf, die Bedienung vieler Nutzer, Deployments mit hohen Anforderungen an parallele Verarbeitung und Echtzeitarbeit.
Wo die Grenzen liegen: bei Kosten und Daten. Cloud bedeutet, dass Informationen das Unternehmen verlassen – nach wie vor eine der größten Hürden bei der Einführung von KI.
Bevor Sie jedoch auf ein Rechenzentrum setzen, lohnt sich ein Blick auf den Zwischenschritt. KI-Desktop-Supercomputer lassen sich zu jeweils zwei Einheiten verbinden und bieten so 256 GB gemeinsamen Speicher – genug, um mit Modellen mit 405 Milliarden Parametern zu arbeiten, ohne das Büro zu verlassen oder in Infrastruktur investieren zu müssen.
Beispiel: HP ZGX Nano G1n – zwei solcher Einheiten, verbunden über ConnectX-7, bieten 256 GB gemeinsamen Speicher.
Hardwareanforderungen: Wie viel Speicher Sie benötigen und warum er der wichtigste Parameter ist
Der Speicher entscheidet darüber, ob ein Modell überhaupt gestartet werden kann. Bei einer Workstation ist dies der VRAM der Grafikkarte, bei KI-Desktop-Supercomputern handelt es sich um gemeinsamen Speicher, der von Prozessor und Grafikchip genutzt wird. Aus Nutzersicht zählt vor allem eines: Wie viel Speicher dem Modell tatsächlich zur Verfügung steht. Arbeitsspeicher und VRAM sind nicht austauschbar, da sie unterschiedliche Aufgaben erfüllen und separat dimensioniert werden.
Bezeichnungen wie 7B oder 70B geben die Anzahl der Modellparameter an: jeweils 7 bzw. 70 Milliarden. Parameter sind Werte, die das Modell während des Trainings erlernt hat und in den Speicher laden muss, um zu funktionieren. Je mehr Parameter vorhanden sind, desto besser die Antwortqualität – aber desto höher auch die Hardwareanforderungen.
Der Bedarf hängt von der Anzahl der Modellparameter und von der Quantisierung, also der Speicherpräzision, ab. Die Regel ist einfach: Bei 4-Bit-Quantisierung (Q4) benötigt ein Modell etwa 0,5–0,6 GB pro Milliarde Parameter, bei 8 Bit (Q8) etwa 1 GB und bei voller Präzision FP16 etwa 2 GB. Hinzu kommt ein Puffer von 10–20%.
| Modell | Q4 (4 Bit) | Q8 (8 Bit) | FP16 |
| 7B / 8B | 5–8 GB | 8–10 GB | 14–16 GB |
| 13B | 8–10 GB | 14 GB | 26 GB |
| 30–34B | ca. 20 GB | ca. 34 GB | ca. 64 GB |
| 70B | 40–48 GB | ca. 70 GB | ca. 140 GB |
| 120B (MoE) | 65–75 GB | — | — |
| 200B (FP4) | passt in 128 GB | — | — |
| 405B | 256 GB (zwei Einheiten) | — | ca. 810 GB |
Die Werte in der Spalte Q4 berücksichtigen bereits den Puffer für KV-Cache und Overhead. Die Spalten Q8 und FP16 geben die Größe der Modellgewichte selbst an; zusätzlich sind 10–20% einzuplanen. Das Modell 405B passt nur bei 4-Bit-Quantisierung (Q4) auf zwei verbundene Einheiten.
Bei der Bildgenerierung sind die Anforderungen niedriger: Stable Diffusion 1.5 läuft ab 4–6 GB, SDXL komfortabel mit 12–16 GB, neuere Modelle der FLUX-Klasse benötigen 24–48 GB. Das Training eines eigenen LoRA für SDXL ist mit 16–24 GB möglich.
In Data-Science-Umgebungen sind 32 GB RAM weiterhin Standard, bei der Arbeit mit großen lokalen Modellen kann jedoch mehr erforderlich sein. Fine-Tuning mit LoRA oder QLoRA ist selbst für das Modell 70B auf einer Einheit mit 128 GB gemeinsamem Speicher möglich. Das vollständige Training großer Modelle bleibt Hardware für Rechenzentren vorbehalten.
Der Speicher bestimmt, was hineinpasst. Die Bandbreite bestimmt, wie schnell das Modell antwortet
Ein zweiter, selten genannter Parameter, der jedoch den Arbeitskomfort im Alltag bestimmt, ist die Speicherbandbreite. Die Speichermenge entscheidet, ob ein Modell überhaupt geladen werden kann; die Bandbreite hingegen bestimmt, wie schnell es die nächsten Wörter einer Antwort generiert.
| Gerät | Speicherbandbreite |
| KI-Desktop-Supercomputer (GB10) | 273 GB/s |
| Apple Mac Studio M3 Ultra | 819 GB/s |
| NVIDIA RTX 4090 | ca. 1008 GB/s |
| NVIDIA RTX 5090 | ca. 1792 GB/s |
| NVIDIA H100 (HBM3) | ca. 3350 GB/s |
Auf den ersten Blick scheint die Schlussfolgerung eindeutig: Wenn H100 eine zwölfmal höhere Bandbreite bietet, wozu braucht man dann ein Gerät mit 273 GB/s? Dieser Vergleich ist jedoch irreführend, da diese Geräte nicht miteinander konkurrieren.
H100 ist ein Beschleuniger für einen Server im 19-Zoll-Rack, der allein für den Chip mehrere zehntausend US-Dollar kostet und eine Rechenzentrumsinfrastruktur erfordert. Ein KI-Desktop-Supercomputer steht auf dem Schreibtisch und verbraucht so viel Strom wie ein leistungsstarker Laptop. Die Beliebtheit dieser Geräteklasse beruht nicht auf ihrer Geschwindigkeit, sondern darauf, dass 128 GB Speicher in Form eines kleinen Computers zu diesem Preis bislang nicht verfügbar waren. Bisher hatte ein Unternehmen drei Optionen: eine RTX-Karte mit 24–32 GB, also zu wenig für große Modelle; einen Server mit H100, also zu teuer und mit Rechenzentrumsanforderungen; oder die Cloud, bei der Daten nach außen gelangen. Die neue Geräteklasse schließt diese Lücke.
Es ist ein wenig wie der Vergleich eines Lieferwagens mit einem Sportwagen. Der Sportwagen ist schneller, aber darauf kommt es nicht an. Entscheidend ist, wie viel hineinpasst und was es kostet.
In der Praxis sieht das so aus: Das Modell 70B generiert in einem einzelnen Stream eine Antwort langsam, deutlich langsamer als auf einem Server. Dafür erfolgt die Generierung lokal, ohne Daten in die Cloud zu übertragen und ohne Investitionen in eine Serverinfrastruktur. Bei vielen parallelen Anfragen, etwa in Pipelines oder Agenten, steigt die Gesamtleistung. Für Prototyping, Fine-Tuning und die gemeinsame Modellentwicklung im Team reicht das vollkommen aus.
Die übrigen Komponenten sind von nachrangiger, aber nicht unwesentlicher Bedeutung. Eine schnelle NVMe-SSD verkürzt die Ladezeiten von Modellen und beeinflusst die Gesamtleistung, daher sollte die Spezifikation eines KI-Computers GPU, Prozessor, Arbeitsspeicher und NVMe-SSD umfassen. Bei Komplettsystemen sind die restlichen Komponenten auf die jeweilige Plattform abgestimmt, sodass sie nicht separat bewertet werden müssen. Die einzige wirklich relevante Wahl ist die Speicherkapazität, die auf die Größe der verwendeten Modelle und Datensätze abgestimmt werden sollte.
Überblick über Marken und Serien
Alle derzeit verfügbaren Desktop-KI-Supercomputer basieren auf demselben Superchip NVIDIA GB10 und verfügen über identische 128 GB Unified Memory. Die Hersteller unterscheiden sie nicht über die Leistung. Die einzelnen Konfigurationen unterscheiden sich hinsichtlich Speicherkapazität, Gehäuse und Kühlung, Betriebssystem sowie Garantie- und Supportumfang. Das ist beim Kauf wichtig: Ein Leistungsvergleich dieser Geräte ist nicht sinnvoll; entscheidend ist, wie gut sie zu den Prozessen und Anforderungen des jeweiligen Unternehmens passen.
- NVIDIA DGX Spark – die Referenzversion und der Maßstab für diese gesamte Geräteklasse. NVIDIA stützt darauf seine Dokumentation und technischen Unterlagen, weshalb Leistungsangaben und online veröffentlichte Tests meist genau diese Variante betreffen. Sie wird mit einer geräumigen, schnellen SSD und einem markanten Gehäuse geliefert, das sie von den Systemen der Partner unterscheidet.
- Lenovo ThinkStation PGX – eine ThinkStation-Serie mit umfassenden Serviceleistungen und technischem Support. Sie ist die am stärksten vertretene Marke in dieser Kategorie: Es sind zahlreiche Varianten erhältlich, die sich bei Speicherkapazität, Betriebssystem und Garantiepaket unterscheiden. Die naheliegende Wahl für Unternehmen, die bereits etablierte Beschaffungs- und Serviceprozesse mit Lenovo haben.
- HP ZGX Nano G1n – auch als Variante ohne Funkmodul erhältlich, vorgesehen für Umgebungen mit hohen Sicherheitsanforderungen. Das ist eine seltene Option in dieser Klasse und ein echter Vorteil überall dort, wo Sicherheitsrichtlinien drahtlose Verbindungen ausschließen, etwa in der öffentlichen Verwaltung, im Finanzsektor oder in isolierten Netzwerken. Das Gerät wird mit einem Linux-basierten, für die Arbeit mit Modellen vorbereiteten System geliefert.
- Dell Pro Max – die naheliegende Wahl für Unternehmen, die Hardware im Rahmen von Rahmenverträgen mit Dell beschaffen, da dies die Formalitäten bei größeren Implementierungen vereinfacht. In der Standardkonfiguration ist es mit einer geräumigen SSD erhältlich, ohne dass zusätzlicher Speicher erworben werden muss.
- ASUS Ascent GX10 – ein kompaktes Design. Varianten mit unterschiedlicher Speicherkapazität ermöglichen den Einstieg mit einer kleineren Konfiguration und senken die Einstiegshürde, wenn ein Unternehmen die Arbeit mit lokalen Modellen erst erprobt. Das Design ermöglicht das Stapeln der Geräte und erleichtert damit einen späteren Ausbau.
- Gigabyte AI TOP ATOM und MSI EdgeXpert – Varianten mit Schwerpunkt auf geräumigem und schnellem Speicher. Das ist wichtig bei der Arbeit mit großen Datensätzen und mehreren Modellen gleichzeitig, wenn allein die Modelldateien Hunderte Gigabyte belegen. Sie eignen sich auch für Szenarien, in denen das Gerät außerhalb des Serverraums und nahe am Entstehungsort der Daten betrieben werden soll.
- Acer Veriton GN100 – ein Design mit effizienter Wärmeabfuhr. Im Vergleich mit anderen Geräten dieser Klasse erwärmt es sich am wenigsten, was einen stabilen Betrieb bei lang andauernden Aufgaben wie dem Fine-Tuning von Modellen ermöglicht, wenn die Hardware über viele Stunden ohne Unterbrechung ausgelastet ist.
Häufig gestellte Fragen
Worin unterscheidet sich ein gewöhnlicher Computer von einem KI-PC?
Ein KI-PC verfügt über eine dedizierte NPU, die Aufgaben der künstlichen Intelligenz lokal und energieeffizient verarbeitet. Ein gewöhnlicher Computer kann ebenfalls KI ausführen, erledigt dies jedoch über den Prozessor oder die Grafikkarte – langsamer und mit höherem Energieverbrauch.
Wie viel RAM wird für die Arbeit mit KI benötigt?
Für Office-Anwendungen mit KI-Unterstützung reichen 16 GB, komfortabel sind 32 GB. In Data-Science-Umgebungen sind 32 GB RAM Standard, und die Arbeit mit lokalen Modellen erfordert häufig mehr. Entscheidend ist jedoch nicht nur der Systemspeicher, sondern auch der für die Grafikeinheit verfügbare VRAM oder Unified Memory.
Wie viel VRAM wird benötigt, um ein Modell 7B, 13B oder 70B auszuführen?
Bei 4-Bit-Quantisierung: etwa 5–8 GB für das Modell 7B, 8–10 GB für 13B und 40–48 GB für 70B. In der Praxis liegt das Minimum für Sprachmodelle je nach Quantisierung bei 12–16 GB VRAM.
Was ist für KI wichtiger: Prozessor oder Grafikkarte?
Die Grafikkarte oder ein dedizierter Beschleuniger. Der Prozessor übernimmt die Datenaufbereitung, die eigentlichen Berechnungen führt jedoch die GPU aus. Chips mit Tensor-Kernen beschleunigen Machine-Learning-Aufgaben effektiver als ein Prozessor allein.
Was ist Unified Memory und worin unterscheidet es sich von VRAM?
VRAM ist Speicher, der fest der Grafikkarte zugeordnet ist. Unified Memory ist ein gemeinsamer Speicherpool, den Prozessor und Grafikeinheit nutzen. Dadurch kann ein Gerät mit 128 GB Unified Memory ein Modell ausführen, das in keine einzelne Grafikkarte passen würde. Dafür ist die Bandbreite geringer, sodass Antworten langsamer generiert werden.
Was ist eine NPU und wie viele TOPS benötige ich?
Eine NPU ist ein auf Berechnungen der künstlichen Intelligenz spezialisierter Chip. TOPS geben ihre Leistung an. Für Office-Anwendungen mit KI-Unterstützung reichen 40 TOPS, also der Schwellenwert für die Copilot+-Zertifizierung. Bei größeren Modellen sind TOPS nicht mehr aussagekräftig; dann zählen Speicher und Bandbreite.
Funktioniert KI unter Windows oder wird Linux benötigt?
KI funktioniert unter Windows. Professionelle Tools für die Arbeit mit großen Modellen werden jedoch überwiegend für Linux entwickelt. Daher werden KI-Desktop-Supercomputer in der Regel mit einem auf Ubuntu basierenden Betriebssystem ausgeliefert.
Für wie große Modelle reicht 128 GB Unified Memory aus?
Für Modelle mit rund 200 Milliarden Parametern bei 4-Bit-Quantisierung. Modelle mit etwa 405 Milliarden Parametern erfordern die Verbindung von zwei Einheiten.
Lassen sich zwei Einheiten zu einem Cluster verbinden?
Ja. Geräte auf Basis von GB10 verfügen über eine integrierte NVIDIA ConnectX-7-Netzwerkschnittstelle mit 200-GbE-Ports. Damit lassen sich zwei Einheiten verbinden und 256 GB gemeinsamer Speicher bereitstellen.
Wann sollte man einen KI-PC, eine Workstation oder einen Server wählen?
KI-PC – wenn KI die tägliche Büroarbeit unterstützen soll. RTX-Workstation – wenn Sie mit Bildern, Videos oder Modellen mit bis zu 32 Milliarden Parametern arbeiten und hohe Geschwindigkeit benötigen. KI-Desktop-Supercomputer – wenn Sie große Modelle lokal ausführen und feinabstimmen müssen. Server oder Cloud – wenn Sie Modelle trainieren.
Verlassen die Daten bei einem lokalen Modell das Unternehmen?
Nein. Ein auf eigener Hardware ausgeführtes Modell verarbeitet Daten ausschließlich lokal. Das ist der wichtigste Grund, warum Unternehmen mit sensiblen Daten On-Premises-Lösungen statt der Cloud wählen.
Daten zur KI-Nutzung in Unternehmen: Eurostat, „Use of artificial intelligence in enterprises“, Daten für das Jahr 2025. Spezifikationen und Parameter, Stand August 2026.
