Table of Contents
Noch vor zwei Jahren bedeutete „eigenes KI“ für die meisten Unternehmen vor allem eines: ein ChatGPT- oder Copilot-Abonnement. Heute erreichen immer mehr Organisationen den Punkt, an dem die Cloud nicht mehr ausreicht. Dafür gibt es meist drei Gründe: Kosten, die mit der Zahl der Anfragen steigen, Daten, die das Unternehmen nicht verlassen dürfen, und der Bedarf, KI mit eigenen Dokumenten, Datenbanken und Prozessen arbeiten zu lassen – statt nur mit allgemeinem Wissen aus dem Internet.
Dann stellt sich die Frage: Welchen KI-Server sollte man eigentlich kaufen, und was kostet er?
Die Antwort ist interessanter, als es auf den ersten Blick scheint, denn die Preisspanne ist enorm: von einem buchgroßen Gerät für etwas mehr als zwanzigtausend Złoty bis zu einer Maschine für über zwei Millionen. Und das Entscheidende: Jede dieser Lösungen ist sinnvoll – nur für unterschiedliche Anwender. Im Folgenden erläutere ich drei Investitionsstufen, die Rechnung, die Sie vor der Entscheidung aufstellen sollten, sowie fünf Fragen, mit denen Sie die passende Hardware wählen, ohne zu viel oder zu wenig zu kaufen.
Wodurch unterscheidet sich ein KI-Server von einem herkömmlichen Server?
Ein herkömmlicher Server ist auf den Prozessor ausgelegt. Ein KI-Server ist auf GPU-Beschleuniger ausgelegt – sie erledigen die gesamte Arbeit mit den Modellen, während die übrige Hardware sie unterstützt. Daraus ergeben sich drei praktische Unterschiede.
- GPU-Beschleuniger und ihr Speicher. In einer solchen Maschine arbeiten vier bis acht Beschleuniger – in Rack-Servern meist als PCIe-Karten, in den leistungsstärksten Plattformen als auf einer gemeinsamen Platine verlötete Module. Ihr gemeinsamer Speicher ist der wichtigste Parameter bei der gesamten Beschaffung – dazu gleich mehr.
- Strom. Acht Karten unter Last benötigen 5–6 kW, also so viel wie mehrere Dutzend Bürocomputer. Dafür sind eine entsprechend ausgelegte Stromversorgung des Racks und eine effiziente Wärmeabfuhr aus dem Serverraum erforderlich.
- Netzwerk. Für eine einzelne Maschine genügt ein Standard-Hochgeschwindigkeitsnetzwerk. Werden mehrere Server zu einem System zusammengeschlossen, sind deutlich schnellere Verbindungen erforderlich, da die GPUs in verschiedenen Gehäusen Daten mit einer Latenz austauschen müssen, die mit der Arbeit innerhalb eines Gehäuses vergleichbar ist.
Es handelt sich also nicht einfach um einen „leistungsstärkeren Server“. Es ist eine andere Hardwarekategorie, die nach anderen Kriterien ausgewählt wird.
GPU-Speicher: die eine Kennzahl, die die gesamte Auswahl strukturiert
Ein Parameter ist wichtiger als der Preis: wie viel Speicher die GPUs im Server zusammen bereitstellen.
Warum? Das Modell muss vollständig in diesen Speicher passen – ähnlich wie eine Datei zunächst in ein Programm geladen werden muss, um damit arbeiten zu können. Passt es nicht hinein, startet es schlicht nicht.
Das Modell selbst ist jedoch nur der Anfang der Rechnung. Jeder angemeldete Benutzer und jedes analysierte Dokument beanspruchen zusätzlichen Speicher für die laufende Konversation. Dasselbe Modell benötigt für einhundert Personen daher deutlich mehr Platz als für eine Person – und meist entscheidet gerade die Anzahl der Nutzer, nicht allein die Modellgröße, welche Hardwarestufe erforderlich ist.
Den grundlegenden Speicherbedarf von Modellen erläutert der Leitfaden Welchen Computer für KI wählen. Die folgende Tabelle zeigt die zweite Dimension dieser Kalkulation: wie sich der Bedarf mit dem Umfang der Implementierung verändert. Die Werte sind Richtwerte und beziehen sich auf eine typische Produktionskonfiguration.
| Modellgröße | 5 Benutzer | 50 Benutzer | 200 Benutzer | Hardwarestufe |
|---|---|---|---|---|
| klein (Klasse 8B) | ca. 8 GB | ca. 20 GB | ca. 50 GB | DGX Spark |
| mittel (Klasse 70B) | ca. 45 GB | ca. 70 GB | ca. 130 GB | Rack-Server, 1–2 Karten |
| groß (Klasse 200B+) | ca. 130 GB | ca. 200 GB | ca. 350 GB | Server mit acht Karten |
| Training eines eigenen Modells | mehrfach höher als der reine Betrieb | – | – | HGX-Plattform B200 |
Bezeichnungen wie 8B oder 70B geben an, aus wie vielen Milliarden Parametern ein Modell besteht – 8B steht für acht Milliarden. Je mehr Parameter, desto besser die Antwortqualität und desto mehr GPU-Speicher beansprucht das Modell.
Hinzu kommt ein Punkt, der leicht vergessen wird.
Reserve. Die obigen Werte gelten für den Normalbetrieb. Für Lastspitzen sollten Sie 20–30 % Reserve einplanen, sonst beginnt das System bei höherem Datenverkehr, Anfragen abzulehnen.
Stufe 1: NVIDIA DGX Spark – der Einstiegspunkt
NVIDIA DGX Spark ist ein buchgroßes Desktop-Gerät mit 128 GB einheitlichem Speicher und einer KI-Rechenleistung von rund 1 PetaFLOP. Es ermöglicht, Modelle der Klasse, die gängige Assistenten antreibt, lokal auszuführen, ohne auch nur ein Dokument in die Cloud zu senden. Es gibt mehrere Varianten, die sich hauptsächlich durch die Speicherkapazität (1, 2 oder 4 TB) und das Support-Paket unterscheiden. Das vollständige Angebot dieser Hardwareklasse einschließlich der Modelle von acht Herstellern finden Sie in der Kategorie KI-Computer.
Für wen? Für Unternehmen, die zunächst prüfen möchten, ob KI den Kundenservice, die Vertragsanalyse oder die Angebotserstellung verbessert, bevor jemand ein großes Budget freigibt. Die Investition liegt bei rund 5.499,99 € netto und damit unter den jährlichen Abonnementkosten für KI-Tools eines Teams mit mehr als zehn Personen. Zwei Geräte können zu einem System verbunden werden.
Einschränkung. Diese Hardware ist für ein einzelnes Team gedacht, nicht für die gesamte Organisation. Sie lässt sich nicht in einem Rack montieren, verfügt über keine redundante Stromversorgung und kann nicht in die im Rechenzentrum geltenden Servicerichtlinien eingebunden werden. Wenn einhundert Personen gleichzeitig KI nutzen sollen, ist die nächsthöhere Stufe erforderlich.
Stufe 2: GPU-Rack-Server – produktive KI für Unternehmen
Diese Stufe wird meiner Ansicht nach heute am häufigsten übergangen, ist für Unternehmen mit einem konkreten KI-Einsatz aber die sinnvollste Wahl.
Gemeint ist eine dedizierte GPU-Rack-Plattform (5U), die für acht Karten mit doppelter Breite ausgelegt ist. Sie ist nicht an ein bestimmtes Beschleunigermodell gebunden – die Auswahl der Karten richtet sich nach dem Einsatzzweck. Die Basis bilden zwei AMD-EPYC-Prozessoren, bis zu 6 TB DDR5 Speicher in 24 Steckplätzen sowie sechs redundante 2700 W-Netzteile.
Entscheidend ist die Anzahl der Karten, denn sie bestimmt den GPU-Speicher. Zwei RTX PRO 6000 mit jeweils 96 GB ergeben 192 GB und versorgen einen internen Assistenten für mehrere Dutzend Personen. Die Vollausstattung mit acht Karten bietet 768 GB – genug für mehrere Hundert Nutzer oder sehr große Modelle. Weitere Karten lassen sich im selben Gehäuse ergänzen, ohne den Server auszutauschen – das ist der größte Vorteil dieser Stufe: Der Einstieg muss nicht gleich die Vollausstattung sein.
Konkretes Modell: Supermicro AS-5126GS-TNRT Gold Series
Wird als komplettes, konfiguriertes System verkauft. Investitionsvolumen für die Einstiegskonfiguration mit zwei Karten: ca. 114.571,62 € netto. Die genaue Konfiguration und den aktuellen Preis finden Sie auf der Produktseite.
Was bedeutet das in der Praxis? Ein solcher Server kann große Sprachmodelle lokal betreiben, ein unternehmensweites Dokumentenarchiv analysieren, den Kundenservice automatisieren, Inhalte in vielen Sprachen generieren oder Bilder aus der Produktionslinie auswerten. Darüber hinaus sind RTX-PRO-Karten vielseitig einsetzbar: Derselbe Server kann für Rendering, technische Simulationen oder die Virtualisierung von Workstations genutzt werden. Das ist oft ausschlaggebend für die Entscheidung: Die Hardware bleibt zwischen KI-Projekten nicht ungenutzt.
Für wen? In der Einstiegskonfiguration: für Unternehmen mit mehreren Dutzend Beschäftigten, die die Testphase abgeschlossen haben und ihren Teams Zugriff auf einen internen Assistenten geben möchten, der die Unternehmensprozesse kennt. In der Vollausstattung: für große Organisationen, Hunderte gleichzeitige Nutzer und regulierte Branchen wie Finanzwesen, Medizin oder den öffentlichen Sektor, in denen Daten das Gebäude nicht verlassen dürfen.
Worauf ist zu achten? Die Leistungsaufnahme steigt mit der Anzahl der Karten: von ca. 2 kW bei zwei Karten auf 5–6 kW bei acht. Das Rack muss diese Leistung bereitstellen können, und die Kühlung muss die Abwärme abführen. Wenn Sie einen Ausbau planen, sollten Sie die Kapazität der Stromversorgung und Klimatisierung von Anfang an für die Zielkonfiguration berechnen, nicht für die Einstiegskonfiguration.
Stufe 3: NVIDIA HGX B200 – Infrastruktur für das Training von Modellen
An der Spitze steht Hardware, über die in Berichten zum technologischen Wettlauf der weltweit größten Unternehmen zu lesen ist. Ein Server mit der Plattform NVIDIA HGX B200 verfügt über acht Blackwell-Chips, derzeit die leistungsstärksten KI-Beschleuniger am Markt, mit insgesamt 1,44 TB HBM3e-Speicher – dem schnellsten, der heute erhältlich ist.
Die Maschine belegt 10U im Rack und verfügt über acht Netzwerkschnittstellen mit 400 Gb/s, da sie für die Clusterbildung mit weiteren identischen Servern konzipiert wurde. Die Stromversorgung basiert auf sechs Netzteilen mit jeweils ca. 5 kW, die redundant im 3+3-Verbund arbeiten. Die tatsächliche Leistungsaufnahme der Maschine unter Last liegt bei etwa 10 kW; der Rest ist Reserve und Absicherung für den Störungsfall. Zur Ausstattung gehören ein BlueField-3-Prozessor, der das Hauptsystem bei Netzwerk- und Sicherheitsaufgaben entlastet, sowie drei Jahre Support mit Vor-Ort-Service am nächsten Arbeitstag.
Konkretes Modell: Supermicro AS-A126GS-TNBR
Konzipiert für wissenschaftliche Berechnungen, KI, industrielle Automatisierung und Datenanalyse. Investitionsvolumen: ca. 458.286,93 € netto pro Server; den aktuellen Preis finden Sie auf der Produktseite.
Der Unterschied zu einem GPU-Server der zweiten Stufe besteht nicht darin, dass B200 „dasselbe nur schneller“ erledigt. Vielmehr kann er Aufgaben bewältigen, die der andere nicht in angemessener Zeit schafft: eigene Modelle von Grund auf trainieren, Modelle mit Hunderten Milliarden Parametern feinabstimmen, Hunderte Nutzer gleichzeitig bedienen, wissenschaftliche Forschung und Simulationen im industriellen Maßstab.
Für wen? Für Unternehmen, die KI-basierte Produkte entwickeln und nicht auf fertige Modelle zurückgreifen, sondern eigene erstellen. Für Forschungseinrichtungen und Hochschulen. Für Telekommunikationsanbieter, Banken, große Industriegruppen und Pharmaunternehmen.
In der Praxis wird eine solche Maschine nur selten allein angeschafft. Hinzu kommen Netzwerkinfrastruktur, Stromversorgung und die Kühlung des Serverraums – bei 10 kW pro Gehäuse ist in der Regel Flüssigkeitskühlung erforderlich. Das ist keine reine Hardwareanschaffung, sondern eine strategische Entscheidung.
Wie wählen Sie einen KI-Server aus? Fünf Fragen, die Sie sich stellen sollten
Wissen Sie bereits, welche Aufgaben KI in Ihrem Unternehmen übernehmen soll?
Wenn nicht: Wählen Sie die erste Stufe. Zum Preis eines Premium-Laptops erhalten Sie eine Umgebung, in der Sie innerhalb von zwei Wochen mehrere Ideen prüfen und auf Basis von Fakten statt Präsentationen entscheiden können.
Wie viele Personen werden die Lösung nutzen und wie häufig?
Wenn die Antwort „das gesamte Unternehmen, täglich“ lautet, reicht ein Desktop-Gerät nicht aus; dann ist ein GPU-Server für das Rack die richtige Wahl. Es lohnt sich, die aktuellen Ausgaben für Cloud-APIs und Abonnements zu berechnen. Bei großem Umfang ist eigene Hardware über einen Zeitraum von zwei bis drei Jahren günstiger. Wann sich eine solche Investition amortisiert, zeigt der Artikel über lokale LLMs im Unternehmen.
Entwickeln Sie eigene Modelle oder nutzen Sie fertige?
Die Nutzung fertiger, auch sehr großer Modelle ist der zweiten Stufe zuzuordnen. Die Entwicklung eigener Modelle erfordert dagegen bereits B200. Die Grenze ist hier klar und lässt selten Zweifel daran, auf welcher Seite ein Unternehmen steht.
Wie groß ist das Modell, das Sie betreiben müssen, und für wie viele Personen?
Sehen Sie noch einmal in die Tabelle zum Speicherbedarf. Wenn das gewählte Modell 60 GB belegt und von fünfzig Personen gleichzeitig genutzt werden soll, ist eine Karte mit 96 GB Speicher das absolute Minimum; zwei Karten bieten Reserven und Spielraum für Wachstum.
Was kann Ihr Serverraum leisten?
Die häufigste Überraschung bei KI-Projekten betrifft nicht die Hardware, sondern das Gebäude: Wie viel Strom kann zugeführt werden, kann die Klimatisierung die zusätzliche Wärme abführen und ist im Rack genügend Platz vorhanden? Das sollten Sie besser vor der Bestellung prüfen als nach der Lieferung.
Was gehört außerdem zum Implementierungsbudget?
Der Preis des Servers macht in der Regel 70–85 % des Projektbudgets aus. Die übrigen Positionen sollten bereits in der Planungsphase berücksichtigt werden.
- Stromversorgung und Rack – PDU mit ausreichender Leistung, Phasenverteilung, unterbrechungsfreie Stromversorgung und bei einigen Installationen auch ein neuer Netzanschluss.
- Kühlung – bis etwa 5–6 kW pro Rack reicht in der Regel eine Präzisionsklimatisierung aus. Oberhalb von 10 kW kommt Flüssigkeitskühlung zum Einsatz, was Anpassungen des Raums und ein separates Wartungsverfahren erfordert. Wenn der Serverraum nicht dafür ausgelegt wurde, sollten diese Kosten bereits in der Kalkulation berücksichtigt werden.
- Arbeitsspeicher – KI-Konfigurationen beginnen bei mehreren hundert Gigabyte, und die Preise für Servermodule sind im Jahr 2026 deutlich gestiegen. Der Unterschied zwischen 512 GB und 1 TB kann einen wesentlichen Posten in der Kostenkalkulation ausmachen.
- Netzwerk – ein Switch mit ausreichender Bandbreite, Transceiver und Verkabelung. Bei Cluster-Konfigurationen kommt ein separates Netzwerk für die GPUs hinzu.
- Massenspeicher – Modelle und Dokumentensammlungen beanspruchen Terabytes, und der Lesedurchsatz sollte der Leistung der Karten entsprechen.
- Implementierung – Installation der Software, Inbetriebnahme des Modells, Integration in die Unternehmensanmeldung und in die von Ihnen genutzten Systeme.
- Support und Garantie – für Produktionsumgebungen ist On-Site-Service am nächsten Arbeitstag Standard.
Womit Sie beginnen sollten
Der häufigste Fehler bei solchen Beschaffungen ist, mit dem Katalog zu beginnen. Die bewährte Reihenfolge ist umgekehrt: zunächst ein einzelner Anwendungsfall, dann die Anzahl der Nutzer, danach ein Vergleich mit den aktuellen Cloud-Kosten und erst zum Schluss die Konfiguration.
Wenn Sie noch nicht genau wissen, wofür KI eingesetzt werden soll, reicht Stufe eins für einige Monate Tests und kostet etwa so viel wie ein Laptop. Wenn die Tests bereits abgeschlossen sind und ein Assistent im gesamten Unternehmen arbeiten soll, ist Stufe zwei derzeit für die meisten Organisationen die sinnvollste Wahl. Stufe drei kommt infrage, wenn Sie eigene Modelle entwickeln – dann ist die Entscheidung in der Regel eindeutig.
Wenn die Konfiguration an Ihren Serverraum angepasst werden muss – hinsichtlich Anzahl der Karten, Speicher, Netzwerk oder Kühlung –, erstellt unser Team einen Vorschlag für Ihren konkreten Anwendungsfall.
FAQ
Die Preisspanne ist groß: von etwa 5.499,42 € netto für ein Desktop-Gerät der DGX-Spark-Klasse über etwa 114.571,16 € für einen GPU-Server für ein Rack in einer Einstiegskonfiguration bis hin zu etwa 458.284,64 € für eine HGX-Plattform B200. Zum Hardwarepreis kommen 15–30 % für Stromversorgung, Kühlung, Netzwerk und Implementierung hinzu.
Das hängt vom Umfang ab. Die Cloud-Kosten steigen mit der Anzahl der Anfragen, während die Kosten eines eigenen Servers fix sind – nach dem Kauf zahlen Sie nicht für jeden einzelnen Aufruf. Daher sollten Sie die aktuellen API-Rechnungen und Abonnements mit den auf drei Jahre verteilten Hardwarekosten und den Energiekosten vergleichen. Bei intensiver Nutzung ist die eigene Infrastruktur vorteilhafter, bei gelegentlicher Nutzung bleibt die Cloud günstiger.
Das Modell muss vollständig in den Speicher der Karten passen. Als Orientierung: Ein Modell der Klasse 8B benötigt mehrere zehn Gigabyte, Modelle der Klasse 70B benötigen je nach Speicherpräzision des Modells 70 bis 140 GB, und Modelle mit mehr als 200 Milliarden Parametern beginnen bei mehreren hundert Gigabyte. Hinzu kommt Speicher für laufende Gespräche, der mit der Anzahl der Nutzer wächst.
Für Tests und einzelne Anwendungsfälle – ja. Für den Produktivbetrieb in der Regel nicht, da der Gesamtspeicher der Karten sowie die Stromversorgung und Kühlung eines Gehäuses begrenzend sind, das nicht für acht Beschleuniger ausgelegt wurde.
Wenn KI für alle produktiv eingesetzt werden soll, ist ein GPU-Server für ein Rack mit zwei Karten und der Option zur Nachrüstung weiterer Karten die sinnvollste Wahl. Befinden Sie sich noch in der Testphase oder nutzt ihn nur ein Team, genügt ein Desktop-Gerät der DGX-Spark-Klasse, gegebenenfalls zwei zu einem System zusammengeschaltete Geräte.
Ein Desktop-Gerät benötigt etwa 240 W. Ein GPU-Server für ein Rack benötigt bei zwei Karten ab etwa 2 kW und bei acht Karten 5–6 kW, während eine HGX-Plattform B200 bei etwa 10 kW liegt. Berechnen Sie die Kosten anhand Ihres eigenen kWh-Tarifs und der geplanten Betriebszeit – im Dauerbetrieb ist der Unterschied zwischen den Stufen um ein Vielfaches höher.
