Mehr Leistung für Workstations und Server

Schnellere KI-Anwendungen

Eine zusätzliche Grafikkarte beschleunigt Training und Inferenz auf bereits vorhandener Hardware, und die VRAM-Kapazität lässt sich an die Größe der Modelle anpassen. Ideal für IT-Abteilungen, Data-Science-Teams und Integratoren, die ihre KI-Infrastruktur selbst ausbauen.

Von 4 GB bis über 140 GB Speicher

Von 4 GB bis über 140 GB Speicher

Kleinere Karten eignen sich für Visualisierung und einfache Aufgaben, die größten bewältigen auch große LLMs.

Formate für verschiedene Gehäuse

Formate für verschiedene Gehäuse

Low-Profile- und Kompaktversionen passen in kleine Rechner, die übrigen in gängige Tower.

Aktive oder passive Kühlung

Aktive oder passive Kühlung

Varianten mit Lüftern arbeiten am Schreibtisch, passive nutzen den Luftstrom im Rack-Schrank.

KI-Grafikkarten

zeigen
Sortieren nach
Ausgewählte Filter:

NVIDIA RTX PRO 6000 Blackwell 96GB GDDR7 Workstation Retail

Part number: 900-5G144-2500-000

Manufacturer: NVIDIA

GPU: RTX PRO 6000

Separater Grafik-Adapterspeicher: 96 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 512 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 2 Lüfter

Länge (mm): 304.8 mm

18.802,53 € exkl. MwSt.
22.375,01 € inkl. MwSt.
Verfügbarkeit:
3  Stück

NVIDIA RTX PRO 4500 Blackwell 32GB GDDR7 Bulk

Part number: 900-5G147-2250-000

Manufacturer: NVIDIA

GPU: RTX PRO 4500

Separater Grafik-Adapterspeicher: 32 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 256 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

4.178,04 € exkl. MwSt.
4.971,87 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
21-30  Stück

NVIDIA RTX PRO 5000 Blackwell 48GB GDDR7 Bulk

Part number: 900-5G153-2250-000

Manufacturer: NVIDIA

GPU: RTX PRO 5000

Separater Grafik-Adapterspeicher: 48 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 384 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

7.250,00 € exkl. MwSt.
8.627,50 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
50+  Stück

NVIDIA 900-2G147-0000-000 RTX PRO 4500 Blackwell 32 GB GDDR7 GPU-Beschleuniger Server Edition

Part number: 900-2G147-0000-000

Manufacturer: NVIDIA

GPU: RTX PRO 4500

Separater Grafik-Adapterspeicher: 32 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 256 b

Kühlung: Passiv

Länge (mm): 266.7 mm

4.400,06 € exkl. MwSt.
5.236,07 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
10  Stück

NVIDIA RTX A1000 8GB GDDR6

Part number: 900-5G172-2580-000

Manufacturer: NVIDIA

GPU: RTX A1000

Separater Grafik-Adapterspeicher: 8 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

484,80 € exkl. MwSt.
576,91 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
9  Stück

NVIDIA RTX 2000 Ada 16GB GDDR6

Part number: 900-5G192-2240-000

Manufacturer: NVIDIA

GPU: RTX 2000 Ada

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 167.6 mm

1.201,34 € exkl. MwSt.
1.429,59 € inkl. MwSt.
Verfügbarkeit:
21-30  Stück

PNY VCNRTXPRO2000-SB NVIDIA RTX PRO 2000 Blackwell Grafikkarte mit 16 GB GDDR7, OEM-Version

Part number: VCNRTXPRO2000-SB

Manufacturer: PNY

GPU: RTX PRO 2000

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 167.6 mm

1.625,35 € exkl. MwSt.
1.934,17 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
11-20  Stück

NVIDIA RTX PRO 4000 SFF Blackwell Bulk

Part number: 900-5G195-2200-000

Manufacturer: NVIDIA

GPU: RTX PRO 4000

Separater Grafik-Adapterspeicher: 24 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 192 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

2.673,75 € exkl. MwSt.
3.181,76 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
8  Stück

NVIDIA RTX A400 4GB GDDR6

Part number: 900-5G172-2560-000

Manufacturer: NVIDIA

GPU: RTX A400

Separater Grafik-Adapterspeicher: 4 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 64 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 162.6 mm

210,00 € exkl. MwSt.
249,90 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
50+  Stück

NVIDIA RTX 2000 Ada 16GB GDDR6 Retail

Part number: 900-5G192-2541-000

Manufacturer: NVIDIA

GPU: RTX 2000 Ada

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

1.100,00 € exkl. MwSt.
1.309,00 € inkl. MwSt.
Verfügbarkeit:
21-30  Stück

HP AV8J4AA Grafikkarte NVIDIA RTX A1000 8 GB GDDR6

Part number: AV8J4AA

Manufacturer: HP

GPU: RTX A1000

Separater Grafik-Adapterspeicher: 8 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

485,50 € exkl. MwSt.
577,75 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
21-30  Stück

NVIDIA RTX A400 4GB GDDR6 ATX

Part number: 900-5G172-2260-000

Manufacturer: NVIDIA

GPU: RTX A400

Separater Grafik-Adapterspeicher: 4 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 64 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 162.6 mm

218,49 € exkl. MwSt.
260,00 € inkl. MwSt.
Verfügbarkeit:
50+  Stück

Lenovo 4X61Q73040 NVIDIA RTX A400 Grafikkarte mit 4 GB GDDR6

Part number: 4X61Q73040

Manufacturer: Lenovo

GPU: RTX A400

Separater Grafik-Adapterspeicher: 4 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 64 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Gewicht: 250 g

181,93 € exkl. MwSt.
216,50 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
41-50  Stück

PNY VCNRTXPRO6000MQ-SB NVIDIA RTX PRO 6000 Blackwell 96 GB GDDR7 Max-Q Workstation Edition OEM-Version Grafikkarte

Part number: VCNRTXPRO6000MQ-SB

Manufacturer: PNY

GPU: RTX PRO 6000

Separater Grafik-Adapterspeicher: 96 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 512 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 266.7 mm

15.500,00 € exkl. MwSt.
18.445,00 € inkl. MwSt.
Verfügbarkeit:
31-40  Stück

NVIDIA RTX PRO 4000 Blackwell 24GB GDDR7 Bulk

Part number: 900-5G147-2270-000

Manufacturer: NVIDIA

GPU: RTX PRO 4000

Separater Grafik-Adapterspeicher: 24 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 192 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

2.637,26 € exkl. MwSt.
3.138,34 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
21-30  Stück

NVIDIA L4 24GB GDDR6 ATX

Part number: 900-2G193-0000-001

Manufacturer: NVIDIA

GPU: L4

Separater Grafik-Adapterspeicher: 24 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 192 b

Kühlung: Passiv

3.200,00 € exkl. MwSt.
3.808,00 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
7  Stück

Lenovo 4X61P69962 NVIDIA RTX 2000 Ada Grafikkarte mit 16 GB GDDR6

Part number: 4X61P69962

Manufacturer: Lenovo

GPU: RTX 2000 Ada

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Gewicht: 500 g

Länge (mm): 155.9 mm

690,00 € exkl. MwSt.
821,10 € inkl. MwSt.
Verfügbarkeit:
7  Stück

HP B5CH7AA NVIDIA RTX PRO 2000 Blackwell 16 GB GDDR7 Grafikkarte

Part number: B5CH7AA

Manufacturer: HP

GPU: RTX PRO 2000

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR7

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Gewicht: 308 g

890,00 € exkl. MwSt.
1.059,10 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
21-30  Stück
1.400,00 € exkl. MwSt.
1.666,00 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
2  Stück

HP 8D6B7AA NVIDIA RTX 4000 Ada Grafikkarte, 20 GB GDDR6

Part number: 8D6B7AA

Manufacturer: HP

GPU: RTX 4000 Ada

Separater Grafik-Adapterspeicher: 20 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 360 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Gewicht: 596 g

Länge (mm): 243 mm

2.848,28 € exkl. MwSt.
3.389,45 € inkl. MwSt.
Verfügbarkeit:
11-20  Stück

HP AV8J3AA NVIDIA RTX A400 Grafikkarte mit 4 GB GDDR6

Part number: AV8J3AA

Manufacturer: HP

GPU: RTX A400

Separater Grafik-Adapterspeicher: 4 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 64 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Länge (mm): 162.6 mm

198,20 € exkl. MwSt.
235,86 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
11-20  Stück

HP 8D6B8AA NVIDIA RTX 2000 Ada Grafikkarte mit 16 GB GDDR6

Part number: 8D6B8AA

Manufacturer: HP

GPU: RTX 2000 Ada

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Min. Systemstromversogung: 300 W

Gewicht: 308 g

Länge (mm): 167.6 mm

800,80 € exkl. MwSt.
952,95 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
50+  Stück

PNY VCNRTX2000EADA-SB NVIDIA RTX 2000E Ada Grafikkarte, 16 GB GDDR6, Low Profile, OEM-Version

Part number: VCNRTX2000EADA-SB

Manufacturer: PNY

GPU: RTX 2000 Ada

Separater Grafik-Adapterspeicher: 16 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 1

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

1.650,00 € exkl. MwSt.
1.963,50 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
11-20  Stück

Lenovo 4X61Q73041 NVIDIA RTX A1000 Grafikkarte, 8 GB GDDR6

Part number: 4X61Q73041

Manufacturer: Lenovo

GPU: RTX A1000

Separater Grafik-Adapterspeicher: 8 GB

Grafikkartenspeichertyp: GDDR6

Breite der Speicherschnittstelle: 128 b

Anzahl DisplayPort Anschlüsse: 4

Kühlung: Aktiv

Anzahl Lüfter: 1 Lüfter

Gewicht: 250 g

Länge (mm): 164.2 mm

448,75 € exkl. MwSt.
534,01 € inkl. MwSt.
24h Versand in 24 Stunden
Verfügbarkeit:
10  Stück
nr

KI-GPUs im Senetic-Shop

Eine KI-GPU (engl. Graphics Processing Unit) ist ein Beschleuniger, der Tausende Berechnungen parallel ausführt. Deshalb kommt die GPU beim maschinellen Lernen (Modelltraining), bei der Inferenz (Ausführung fertiger Modelle) und bei der Arbeit mit Sprachmodellen (LLMs) zum Einsatz. In dieser Kategorie finden Sie professionelle GPUs für Workstations und Server: von kompakten Modellen mit wenigen Gigabyte Speicher bis hin zu Beschleunigern mit über 100 GB HBM-Speicher. Bei der Auswahl einer solchen Karte sind Speicher, Bandbreite und Zuverlässigkeit bei lang andauernden Berechnungen entscheidend – nicht die Leistung bei Spielen oder Grafik.

Die Auswahl hängt von drei Faktoren ab: Art der Arbeitslast (Training, Inferenz, Datenanalyse), VRAM-Kapazität und Einsatzumgebung – Workstation oder Rack-Server. Im Folgenden erläutern wir, worauf Sie bei jedem dieser Faktoren achten sollten.

Wofür werden GPUs in KI-Projekten eingesetzt?

GPUs beschleunigen Aufgaben, bei denen große Datenmengen gleichzeitig verarbeitet werden müssen. In Unternehmen kommen sie am häufigsten für folgende Zwecke zum Einsatz:

  • Modelltraining – neuronale Netze mit eigenen Daten trainieren. Dafür sind viel Speicher und Rechenleistung erforderlich, häufig mit mehreren Karten in einem Server,
  • Inferenz – ein trainiertes Modell ausführen, z. B. zur Dokumentenanalyse, Bilderkennung oder für KI-Assistenten; die Anforderungen sind in der Regel geringer als beim Training,
  • lokale Sprachmodelle (LLMs) – das Modell läuft auf der Hardware des Unternehmens, sodass die Daten dessen Infrastruktur nicht verlassen,
  • Datenanalyse – große Datensätze verarbeiten, z. B. in der Analytik und in Empfehlungssystemen,
  • Simulationen und wissenschaftliche Berechnungen.

KI-GPUs unterscheiden sich von Consumer-Grafikkarten unter anderem durch ECC-Speicher (Fehlerkorrektur), stabile Treiber und eine für den Dauerbetrieb ausgelegte Konstruktion. In dieser Kategorie finden Sie auch Modelle ohne ECC. Prüfen Sie diesen Parameter daher in der Produktbeschreibung.

Arten von KI-GPUs

KI-GPUs lassen sich in zwei Gruppen einteilen. Sie unterscheiden sich hinsichtlich Einsatzzweck, Kühlung und Montageart.

Karten für Workstations

Diese Karten verfügen über eine aktive Kühlung (eigene Lüfter) und werden in einen Computer oder eine Workstation eingebaut. Sie sind in Standardformaten sowie als SFF (Small Form Factor, also kompakte Ausführungen) und Low Profile erhältlich, die auch in kleine Gehäuse passen. Die Speicherkapazität reicht von wenigen bis zu mehreren Dutzend Gigabyte. Sie eignen sich für Prototyping, Inferenz und die Arbeit mit lokalen Modellen.

Serverkarten (Beschleuniger)

Diese Rechenbeschleuniger sind für Rechenzentren und Rack-Server vorgesehen. Sie verfügen in der Regel über eine passive Kühlung (nur Kühlkörper); die Wärme wird durch den Luftstrom im Server abgeführt. Die leistungsstärksten Modelle nutzen HBM-Speicher mit einer Kapazität von teils über 100 GB. Sie werden für das Training großer Modelle und die organisationsweite Inferenz eingesetzt, häufig in Konfigurationen mit mehreren Karten.

Wie viel VRAM braucht eine KI-GPU?

VRAM (Video RAM) ist der Speicher der Karte, in dem das Modell, die Daten und der Kontext der Anfrage Platz finden. Wenn das Modell nicht hineinpasst, läuft es langsamer oder kann gar nicht gestartet werden. Als Richtwerte gelten:

  • 16–24 GB – Inferenz kleinerer Modelle und Prototyping,
  • 32–48 GB – größere quantisierte Modelle (bei denen die Zahlengenauigkeit reduziert wird, damit das Modell weniger Speicher belegt), längerer Kontext und Fine-Tuning kleinerer Modelle,
  • 72–96 GB – große Modelle lokal auf einer einzelnen Karte,
  • 80 GB und mehr, einschließlich HBM-Speicher – Training und Inferenz in Servern, auch mit mehreren Karten gleichzeitig.

Der genaue Speicherbedarf hängt von der Anzahl der Modellparameter und der verwendeten Genauigkeit ab. Es empfiehlt sich daher, einen Speicherpuffer einzuplanen.

GDDR- und HBM-Speicher

GDDR (z. B. GDDR6 und GDDR7) ist der Standard bei Workstation-Karten. Der neuere GDDR7 bietet eine höhere Bandbreite als GDDR6. HBM (High Bandwidth Memory) ist ein Speicher mit sehr hoher Bandbreite, der direkt neben dem GPU-Chip platziert ist. Er kommt in Serverbeschleunigern zum Einsatz, bei denen es bei großen Modellen auf eine schnelle Datenübertragung ankommt.

Mit der Bandbreite hängt auch der Speicherbus (in Bit angegeben) zusammen: Je breiter er ist, desto mehr Daten kann die Karte gleichzeitig übertragen.

Wichtige GPU-Spezifikationen für KI-Berechnungen

Neben dem Speicher bestimmen auch die Rechenparameter und das Zusammenspiel der Karte mit dem übrigen System, wie gut sie sich für KI eignet:

  • Rechenkerne und unterstützte Genauigkeiten – KI-Karten verfügen über spezialisierte Kerne (z. B. Tensor-Kerne), die Matrixmultiplikationen beschleunigen – die Grundlage für Berechnungen in neuronalen Netzen. Wichtig ist auch die Unterstützung niedrigerer Rechengenauigkeiten (FP16, FP8, INT8, also Zahlen mit 16 oder 8 Bit): Sie ermöglichen eine schnellere Ausführung von Modellen und benötigen weniger Speicher,
  • Verbindung mehrerer Karten – bei großen Modellen arbeiten mehrere Karten gleichzeitig. Eine schnelle Verbindung zwischen ihnen (z. B. NVLink) verkürzt die Zeit für den Datenaustausch, wird aber nicht von jeder Karte unterstützt. Ohne diese Verbindung kommunizieren die Karten über den PCIe-Bus, was langsamer ist,
  • Leistungsaufnahme – TDP (Thermal Design Power) gibt die Wärmeleistung an, die von der Karte abgeführt werden muss. In einem Server mit mehreren Karten summieren sich die Werte und beeinflussen die Auswahl des Netzteils und der Kühlung,
  • Softwarekompatibilität – die meisten gängigen KI-Frameworks (z. B. PyTorch, TensorFlow) nutzen die CUDA-Plattform von NVIDIA. Prüfen Sie daher vor dem Kauf, ob Treiber und Bibliotheken die ausgewählte Karte und das Betriebssystem unterstützen.

Die Werte dieser Parameter finden Sie in den technischen Daten des Kartenherstellers.

Kühlung, Bauform und Stromversorgung

Neben dem Speicher hängt die Auswahl der Karte auch davon ab, ob sie in das Gehäuse passt und ob die Hardware geeignete Betriebsbedingungen gewährleisten kann.

Aktive und passive Kühlung

  • Aktive Kühlung – die Karte verfügt über eigene Lüfter (einen oder zwei). Sie eignet sich für Workstations und Gehäuse mit kontrollierter Luftzirkulation.
  • Passive Kühlung – die Karte besitzt nur einen Kühlkörper; die Wärme wird durch den Luftstrom der Serverlüfter abgeführt. Ohne diesen Luftstrom überhitzt sie und ist daher nicht für ein gewöhnliches Gehäuse geeignet.

Bauform, Abmessungen und Stromversorgung

Prüfen Sie vor dem Kauf die Länge und Höhe der Karte, die Anzahl der belegten Steckplätze sowie die Stromanschlüsse. Karten sind zwischen einigen Zentimetern und über 30 cm lang. Low-Profile- und SFF-Varianten sind für schmale Gehäuse vorgesehen. Die Max-Q-Variante hat eine geringere Leistungsaufnahme, was die Kühlung in dicht bestückten Workstations erleichtert. Die erforderliche Netzteilleistung gibt der Hersteller in den technischen Daten der Karte an.

OEM-, Retail- und Bulk-Varianten

  • OEM – Version für Systemintegratoren, in der Regel ohne vollständige Einzelhandelsverpackung.
  • Retail – Karte in Einzelhandelsverpackung mit vollständigem Zubehör.
  • Bulk – Karte in Sammelverpackung ohne Einzelhandelsverpackung.

Die Karte selbst ist bei allen Varianten gleich, doch Garantiebedingungen und Lieferumfang können sich unterscheiden. Prüfen Sie diese Angaben daher in der Produktbeschreibung.

Hersteller von KI-GPUs im Angebot

Die GPU-Chips in diesen Karten werden von NVIDIA entwickelt. Die Karten selbst werden sowohl vom Chiphersteller als auch von dessen Partnern und Herstellern von Hardwareplattformen angeboten:

  • PNY – NVIDIA-Partner, der professionelle GPUs und Beschleuniger produziert und vertreibt. Das Portfolio der Marke umfasst sowohl Workstation-Karten als auch Serverbeschleuniger. Die Marke bietet eine große Auswahl an Speicherkapazitäten und Bauformen – von kompakten bis hin zu Karten in voller Baugröße.
  • NVIDIA – Entwickler der GPU-Chips und der CUDA-Plattform, die von den meisten gängigen KI-Frameworks genutzt wird. Die Karten der Marke umfassen sowohl Workstation-Modelle als auch Beschleuniger für Rechenzentren. Angeboten werden Varianten mit Speicherkapazitäten von wenigen bis über 100 GB, darunter auch Modelle mit HBM-Speicher.
  • Lenovo – GPUs für Lenovo-Workstations und -Server. Sie sind teilweise als OEM-Varianten erhältlich, die speziell für Hardware dieser Marke entwickelt wurden. Sie eignen sich zur Erweiterung bereits genutzter Lenovo-Hardware.
  • HP – GPUs für HP-Workstations. Das Portfolio umfasst Modelle mit unterschiedlichen Speicherkapazitäten, auch in kompakten Bauformen für kleine Gehäuse. Sie werden unter anderem für Prototyping und Inferenz auf Workstations eingesetzt.
  • Dell – GPUs für Dell-Workstations und -Server. Sie sind für den Einsatz in Hardware dieser Marke konzipiert und eignen sich zur Erweiterung einer bereits vorhandenen Dell-Infrastruktur.
  • Supermicro – Hersteller von Servern und GPU-Plattformen, der in dieser Kategorie auch passende Karten und Beschleuniger anbietet. Die Karten dieser Marke sind für Server mit einem oder mehreren Beschleunigern vorgesehen, bei denen Kühlung und Packungsdichte entscheidend sind. Prüfen Sie die Auswahl anhand der Spezifikationen der jeweiligen Plattform.

Karten von Plattformherstellern sind oft speziell für deren eigene Workstations und Server konzipiert. Prüfen Sie daher vor dem Kauf die Kompatibilität mit dem konkreten Hardwaremodell.

Häufig gestellte Fragen zu KI-GPUs

Worin unterscheidet sich eine KI-GPU von einer gewöhnlichen Grafikkarte?

Eine KI-GPU wird für Berechnungen ausgewählt: Entscheidend sind die VRAM-Kapazität, die Speicherbandbreite, häufig ECC-Speicher und eine für den Dauerbetrieb ausgelegte Konstruktion. Eine Grafikkarte für Spiele oder Grafik ist dagegen auf die Bildausgabe und Leistung in der 3D-Grafik optimiert. Einige Workstation-Karten eignen sich für beide Anwendungsbereiche.

Welche KI-GPU eignet sich für ein Unternehmen?

Das hängt von der Aufgabe und dem Einsatzort ab. Für die Inferenz kleinerer Modelle und Prototyping reichen in der Regel Workstation-Karten mit 16–48 GB Speicher aus. Für große Modelle und Training werden Karten mit 80 GB oder mehr Speicher benötigt – oder mehrere Karten in einem Server.

Wie viel VRAM ist für die Ausführung von Sprachmodellen erforderlich?

Der Speicher muss das Modell, die Daten und den Kontext der Anfrage aufnehmen können. Kleinere quantisierte Modelle laufen auf Karten mit 16–24 GB, größere benötigen mindestens 48 GB. Der genaue Bedarf hängt von der Anzahl der Modellparameter und der Genauigkeit des Modells ab. Es empfiehlt sich daher, einen Puffer einzuplanen.

Worin unterscheidet sich eine Workstation-GPU von einer Server-GPU?

Eine Workstation-Karte verfügt in der Regel über eine aktive Kühlung und wird in einen Computer eingebaut. Eine Serverkarte ist meist passiv gekühlt und für Server mit erzwungener Luftzirkulation vorgesehen. Die leistungsstärksten Modelle nutzen HBM-Speicher.

Worin unterscheiden sich GDDR- und HBM-Speicher?

GDDR ist der Standard bei Workstation-Karten, während HBM ein Speicher mit deutlich höherer Bandbreite ist, der in Serverbeschleunigern eingesetzt wird. HBM eignet sich für große Modelle und das Training, aber Karten mit diesem Speicher sind teurer und für Server vorgesehen.

Wann sollte man eine Karte mit passiver Kühlung wählen?

Wenn die Karte in einem Server eingesetzt wird, dessen Lüfter für einen konstanten Luftstrom durch den Kühlkörper sorgen. In einem gewöhnlichen Computergehäuse kann eine passiv gekühlte Karte überhitzen. In diesem Fall ist ein Modell mit aktiver Kühlung die bessere Wahl.

Ist ECC-Speicher für die Arbeit mit KI erforderlich?

Für die Ausführung eines Modells ist ECC nicht erforderlich, doch der Speicher kann damit Fehler erkennen und korrigieren. Das ist bei lang andauernden Berechnungen, beim Training und in Produktionsumgebungen hilfreich, in denen Stabilität wichtig ist.

Kann eine KI-GPU in einem Rack-Server installiert werden?

Ja, sofern der Server über geeignete PCIe-Steckplätze, eine ausreichende Stromversorgung und passende Kühlung verfügt. Prüfen Sie die Höhe und Länge der Karte, die Anzahl der belegten Steckplätze sowie die Liste der mit dem Server kompatiblen Karten.

Wie prüft man, ob eine Karte in das Gehäuse passt und vom Netzteil versorgt werden kann?

Vergleichen Sie Länge, Höhe und Anzahl der Steckplätze der Karte mit dem verfügbaren Platz im Gehäuse. Prüfen Sie anschließend in den technischen Daten die erforderliche Mindestleistung des Netzteils und die benötigten Stromanschlüsse. Für kleinere Gehäuse sind Low-Profile- und SFF-Varianten vorgesehen.

Worin unterscheiden sich OEM-, Retail- und Bulk-Varianten?

Sie unterscheiden sich durch Verpackung und Lieferumfang. OEM ist eine Version für Systemintegratoren, Retail wird in Einzelhandelsverpackung mit Zubehör geliefert und Bulk in einer Sammelverpackung. Die Garantiebedingungen finden Sie in der Produktbeschreibung.

Training oder Inferenz – welche Anforderungen stellen die beiden Aufgaben?

Das Training von Modellen erfordert mehr Speicher und Rechenleistung und wird häufig gleichzeitig auf mehreren Karten ausgeführt. Für die Inferenz reichen in der Regel weniger Ressourcen aus, entscheidend sind dabei jedoch die Antwortzeit und die Anzahl der gleichzeitig bedienten Nutzer.

Sind für große Modelle mehrere GPUs und eine Verbindung zwischen ihnen erforderlich?

Wenn ein Modell nicht in den Speicher einer einzelnen Karte passt, kann es auf mehrere Karten verteilt werden. Eine schnelle Verbindung zwischen den Karten (z. B. NVLink) beschleunigt den Datenaustausch, wird aber nicht von jeder Karte unterstützt. Ohne eine solche Verbindung kommunizieren die Karten über PCIe, was langsamer ist. Prüfen Sie dies in den Spezifikationen der Karte und des Servers.

Ist CUDA-Unterstützung für die Arbeit mit KI erforderlich?

Die meisten gängigen KI-Frameworks nutzen CUDA, die Programmierplattform von NVIDIA. Daher bieten NVIDIA-Karten die umfassendste Unterstützung. Prüfen Sie vor dem Kauf, ob Treiber und Bibliotheken mit dem verwendeten System und der Software kompatibel sind.

Bleiben Sie in Kontakt!
Abonnieren Sie unseren Newsletter und bleiben Sie über unsere Werbeaktionen und Neuigkeiten auf dem Laufenden.

Wenn Sie auf „Abonnieren“ klicken, stimmen Sie zu, Marketing-Informationen an Ihre E-Mail-Adresse zu erhalten. Ihre persönlichen Daten werden von Senetic GmbH mit registriertem Sitz in Kronstadter Straße 4, 81677 München, Deutschland verwaltet. Sie haben sowohl das Recht Zugriff auf personenbezogene Daten zu verlangen und sie zu berichtigen, zu löschen oder ihre Verarbeitung einzuschränken als auch der Verarbeitung zu widersprechen. Detaillierte Informationen zur Verarbeitung personenbezogener Daten sind in der Datenschutzrichtlinie zu finden.

Falsche E-Mail-Adresse.
Diese E-Mail-Adresse wurde schon bestätigt.
Diese E-Mail-Adresse wurde noch nicht bestätigt.
Danke!
Überprüfen Sie Ihren E-Mail-Eingang - Sie werden eine Nachricht von uns erhalten, in der wir Sie bitten, Ihr Newsletter-Abonnement zu bestätigen.
Please wait ...
Vergleichen (0/4)