<\/span><\/h2>\n\n\n\nFunktioniert ein lokales LLM ohne Internet?<\/h3>\n\n\n\n
Ja. Nach dem Herunterladen des Modells und der Tools kann es vollst\u00e4ndig offline genutzt werden. Eine Verbindung wird nur f\u00fcr Updates, das Herunterladen neuer Modelle und gegebenenfalls f\u00fcr Integrationen mit externen Diensten ben\u00f6tigt.<\/p>\n\n\n\n
Ist ein lokales Modell genauso gut wie Cloud-Modelle?<\/h3>\n\n\n\n
F\u00fcr allt\u00e4gliche Aufgaben wie Zusammenfassungen, Klassifizierung oder Antworten auf Basis von Dokumenten reichen Open-Weight-Modelle h\u00e4ufig aus. Bei komplexeren Aufgaben h\u00e4ngt das Ergebnis von der Modellgr\u00f6\u00dfe ab: Gro\u00dfe Open-Weight-Modelle, die auf Workstations oder Servern ausgef\u00fchrt werden, kommen f\u00fchrenden Cloud-Modellen nahe. Daher empfiehlt sich ein Vergleich anhand eigener Aufgaben.<\/p>\n\n\n\n
Ist lokale KI automatisch DSGVO-konform?<\/h3>\n\n\n\n
Nein. Ein lokales Modell begrenzt die \u00dcbermittlung von Daten nach au\u00dfen, doch das Unternehmen bleibt weiterhin f\u00fcr die Rechtsgrundlage der Verarbeitung, den Datenzugriff und die L\u00f6schung der Daten verantwortlich.<\/p>\n\n\n\n
Wie viel Speicher ben\u00f6tigt ein lokales LLM?<\/h3>\n\n\n\n
Das h\u00e4ngt von der Modellgr\u00f6\u00dfe und dem Grad seiner Komprimierung (Quantisierung) ab. Bei einer Komprimierung auf 4 Bit belegt jede Milliarde Parameter etwa 0,5\u20130,6 GB Speicher. Zus\u00e4tzlich ist Reserve f\u00fcr den Gespr\u00e4chskontext und das System erforderlich. In der Praxis ben\u00f6tigt ein Modell mit 8 Milliarden Parametern etwa 5\u20136 GB, eines mit 70 Milliarden etwa 40 GB und eines mit 200 Milliarden mehr als 100 GB. Ohne Komprimierung sind die Anforderungen ungef\u00e4hr viermal so hoch.<\/p>\n\n\n\n
Ersetzt ein lokales LLM Microsoft 365 Copilot?<\/h3>\n\n\n\n
Nein, die Tools sind f\u00fcr unterschiedliche Aufgaben konzipiert. Copilot arbeitet mit E-Mails, Dateien und Kalendern in Microsoft 365. Ein lokales Modell eignet sich f\u00fcr Daten, die nicht in die Cloud gelangen sollen, sowie f\u00fcr unternehmenseigene KI-Anwendungen. Viele Unternehmen nutzen beides.<\/p>\n\n\n\n
L\u00e4sst sich ein Projekt von lokaler Hardware in ein Rechenzentrum oder in die Cloud \u00fcbertragen?<\/h3>\n\n\n\n
Ja, sofern dieselben Tools verwendet werden, etwa CUDA und Container. Allerdings muss die Prozessorarchitektur ber\u00fccksichtigt werden: NVIDIA DGX Spark und NVIDIA RTX Spark-Laptops basieren auf Arm, w\u00e4hrend viele Server auf x86 laufen. Daher m\u00fcssen einige Bibliotheken und Container-Images m\u00f6glicherweise f\u00fcr die jeweils andere Architektur bereitgestellt werden.<\/p>\n\n\n\n