GPU-Rack-Kühlstrategien: Multi-GPU-Setups für lokale LLMs und intensive Rechenlasten kühl halten

Das GPU-Dichte-Problem

Eine einzelne GPU zu betreiben ist unkompliziert. Vier, acht oder sechzehn in einem Rack — das ist eine thermische Ingenieursaufgabe. Jede High-End-GPU gibt 300–700W Wärme in einen begrenzten Raum ab. Stapeln Sie ein paar davon und Sie managen Kilowatt an Wärmeleistung in einem Volumen kleiner als ein Kühlschrank.

Das ist heute relevanter denn je. Lokale LLM-Inferenz, Stable Diffusion, KI-Feinabstimmung, wissenschaftliche Simulationen — die Gründe für Multi-GPU-Setups zu Hause oder im kleinen Büro haben sich vervielfacht. Aber die Kühlstrategien, die für einen einzelnen Gaming-PC funktionieren, versagen auf Rack-Ebene komplett.

Dieser Guide behandelt, was tatsächlich funktioniert — übernommen aus der Rechenzentrumsspraxis und angepasst für die wachsende Community, die ernsthafte GPU-Compute-Aufgaben außerhalb von Hyperscale-Anlagen betreibt.

Die Wärmelast verstehen

Wie viel Wärme sprechen wir hier?

GPU	TDP	Typische Last (LLM-Inferenz)	Spitzenlast (Training)
RTX 4090	450W	300–350W	450W
RTX 5090	575W	400–450W	575W
A100 (SXM)	400W	300–350W	400W
H100 (SXM)	700W	500–550W	700W
L40S	350W	250–300W	350W

Ein 4-GPU-Setup mit RTX 4090 erzeugt 1.200–1.800W Wärme bei typischen LLM-Workloads. Ein 8-GPU-H100-Knoten erreicht 4.000–5.600W. Das ist kein Kühlproblem — das ist eine Heizanlage.

Warum LLM-Workloads thermisch anders sind

LLM-Inferenz und -Training erzeugen ein spezifisches Wärmeprofil:

• Dauerhaft hohe Auslastung. Anders als Gaming (mit Schwankungen) halten LLM-Workloads GPUs stunden- oder tagelang bei 80–100%.
• Speicherintensive Lasten heizen den VRAM auf. Große Modelle füllen den VRAM komplett und erzeugen zusätzliche Wärme über den GPU-Chip hinaus.
• Batch-Verarbeitung bedeutet gleichzeitige Last aller GPUs. Kein gestaffelter Betrieb — jede GPU erreicht gleichzeitig Spitzenlast.

Diese anhaltende, gleichzeitige Wärmeabgabe ist der Grund, warum Rack-Kühlung grundlegend anders ist als Desktop-Kühlung.

Luftkühlung auf Rack-Ebene

Das Hot-Aisle / Cold-Aisle-Prinzip

Rechenzentren haben das vor Jahrzehnten gelöst: Trennen Sie Zuluft von Abluft.

In einem Heim- oder kleinen Büro-Rack bedeutet das:

1. Alle Geräte zeigen in dieselbe Richtung. Kalte Luft tritt vorne ein, warme Luft tritt hinten aus.
2. Lassen Sie heiße Abluft nicht zur Vorderseite rezirkulieren. Das ist der häufigste Fehler bei Heim-Rack-Setups.
3. Blindplatten füllen jeden leeren Rack-Slot. Ohne sie zirkuliert warme Luft durch Lücken zurück zur kalten Seite.

Selbst ein einfaches offenes Rack profitiert enorm von konsistenter Luftstromrichtung. Ein Satz Blindplatten für 20 € kann GPU-Temperaturen um 5–10°C senken, indem Rezirkulation verhindert wird.

Anforderungen an das Luftvolumen

Die Rechnung ist einfach. Um 1kW Wärme bei 10°C Temperaturanstieg abzuführen, benötigen Sie etwa 280 CFM (Kubikfuß pro Minute) Luftstrom. Für ein 4× RTX 4090 Setup unter Last:

• ~1.500W Wärmeleistung
• ~420 CFM Minimum erforderlich
• Das entspricht ungefähr 4–6 High-Static-Pressure 120mm-Lüftern bei voller Drehzahl, allein für die GPUs

Für 8× H100 bei 5.000W brauchen Sie 1.400+ CFM — an diesem Punkt brauchen Sie Rack-montierte Lüfter-Trays oder Gebläsesysteme.

Lüfter-Platzierungsstrategien

Zuluft-Lüfter (Rack-Vorderseite):

• Montage auf GPU-Einholhöhe — nicht oben oder unten im Rack
• High-Static-Pressure-Lüfter (3+ mmH₂O), da sie Luft durch dichte Komponenten drücken
• Noctua NF-A12x25 oder Phanteks T30-120 bei 2000+ RPM für Heim-Setups
• Industriedick 40mm-Lüfter für ernsthafte Dichte

Abluft-Lüfter (Rack-Rückseite):

• Weniger kritisch bei ausreichendem Frontdruck — warme Luft will natürlich austreten
• Nützlich zur Vermeidung von Hotspots in geschlossenen Racks
• Oben-Abluft ist effektiv, da Wärme steigt

Die Lautstärke-Realität: Effektive Luftkühlung für Multi-GPU-Racks ist laut. Ein 4-GPU-Heim-Setup unter Last erzeugt 50–65 dBA. Ein 8-GPU-Rack mit Server-Lüftern erreicht leicht 75 dBA+. Planen Sie entsprechend — Keller, Garagen oder dedizierte Serverräume sind gängige Lösungen.

Flüssigkühlung für GPU-Racks

Wenn Luft nicht reicht

Luftkühlung stößt bei etwa 2–4kW pro Rack in den meisten Heim-/Büroumgebungen an praktische Grenzen. Darüber hinaus haben Sie entweder extreme Lautstärke oder unzureichende Kühlung. Flüssigkühlung wird zur praktischen Lösung.

Option 1: AIO / CLC pro GPU

Der einfachste Flüssigkühlungsansatz — ein Closed-Loop-Kühler pro GPU.

Vorteile:

• Keine spezielle Installation
• Jede GPU wird unabhängig gekühlt
• Einzelne GPUs leicht austauschbar
• Garantiesicher für Consumer-GPUs

Nachteile:

• Radiatorfläche wird zum Engpass — 4 GPUs × 240mm Radiator ≈ fast 1 Meter Radiator
• Schlauchführung im Rack wird unübersichtlich
• Radiatorwärme muss trotzdem aus dem Rack abgeführt werden

Am besten für: 2–4 GPU-Setups in Standard-Rack oder Open-Frame-Gehäusen.

Option 2: Custom-Loop mit externem Radiator

Ein einziger Kühlkreislauf durch alle GPUs, mit dem Radiator komplett außerhalb des Racks.

Vorteile:

• Entfernt Wärme vollständig aus dem Rack
• Leiser — Lüfter am externen Radiator können größer und langsamer sein
• Skaliert auf 4–8 GPUs in einem Kreislauf

Nachteile:

• Komplexe Installation mit mehreren GPU-Wasserblöcken
• Single Point of Failure — Pumpenausfall betrifft alle GPUs
• Wartung (Flüssigkeitswechsel, Dichtigkeitsprüfungen)

Am besten für: 4–8 GPU-Setups, wo Lautstärke oder Umgebungstemperatur ein Problem ist.

Option 3: Rear-Door-Wärmetauscher

Ein am Rack montierter Wärmetauscher an der Hintertür fängt Abwärme mit Kaltwasser ab.

Vorteile:

• Funktioniert mit luftgekühlten GPUs — keine Modifikationen nötig
• Kann 20–40kW pro Rack bewältigen
• Standard-Rechenzentrums-Ansatz

Nachteile:

• Erfordert Kaltwasser-Infrastruktur
• Teuer (2.000–10.000€+ allein für die Einheit)
• Überdimensioniert für die meisten Heimanwender

Am besten für: Kleine Rechenzentrumsdeployments, 8+ GPU-Racks.

Option 4: Immersionskühlung

Die komplette GPU in dielektrische Kühlflüssigkeit eintauchen.

Vorteile:

• Bewältigt extreme Dichte — 100kW+ pro Rack
• Nahezu lautloser Betrieb
• Keine Lüfter, kein Staub, minimale Wartung

Nachteile:

• Sehr teuer (10.000€+ als Einstieg)
• Spezielle Hardware und Flüssigkeiten
• Hardware-Wartung bedeutet Herausziehen aus dem Tank

Am besten für: Forschungslabore, Mining-Betriebe oder alle, die andere Optionen bereits ausgeschöpft haben.

Best Practices für Rack-Layout

GPU-Abstände

Stapeln Sie GPUs niemals in benachbarten Slots ohne Luft dazwischen. Consumer-GPUs mit Open-Air-Kühlern brauchen mindestens einen freien Slot zwischen den Karten im Tower. Im Rack:

• 1U-Server-Chassis: Spezielle GPU-Server regeln den Abstand intern — vertrauen Sie dem Chassis-Design
• 4U-Server-Chassis: Fasst typisch 4–8 GPUs mit integrierten Luftkanälen
• Offenes Rack mit Tower-GPUs: Mindestens 40–60mm zwischen Karten, mit gerichtetem Luftstrom

Platzierung der Stromversorgung

Netzteile erzeugen auch Wärme. Im Rack:

• Montieren Sie Netzteile so, dass ihre Abluft nicht in die GPU-Zuluft gelangt
• Separate Stromkreise für GPU-Strom — ein 4× RTX 4090 Setup zieht 15–20A bei 230V unter Volllast
• Server-grade Netzteile (80+ Titanium) verwenden — höhere Effizienz bedeutet weniger Abwärme

Kabelmanagement ist thermisch relevant

Das ist keine Frage der Ästhetik. Kabel, die den Luftstrom in einem dichten GPU-Rack blockieren, erzeugen Hotspots. In der Rechenzentrums-Praxis:

• Stromkabel an den Rack-Seiten führen, nicht durch den Luftstrompfad
• Kurze Kabel verwenden — überschüssige Kabellänge bündelt sich und blockiert Luft
• Klettverschlüsse statt Kabelbinder — Sie werden die Kabelführung anpassen, wenn Hardware dazukommt

Monitoring im Großbetrieb

Was zu überwachen ist

Einzelne GPU zu überwachen ist einfach. Multi-GPU-Monitoring erfordert ein System:

• Temperatur pro GPU: nvidia-smi oder HWiNFO64 für Echtzeitwerte
• Zuluft-Temperatur: Ein USB-Temperatursensor (~15 €) an der Rack-Vorderseite
• Abluft-Temperatur: Gleicher Sensor an der Rückseite — die Differenz zeigt, ob die Kühlung ausreicht
• Leistungsaufnahme pro GPU: nvidia-smi --query-gpu=power.draw zur Lastüberprüfung

Temperaturziele für Dauerbetrieb

Komponente	Ziel	Bedenken
GPU-Die	Unter 80°C	Throttling beginnt typisch bei 83–90°C
VRAM (GDDR6X/HBM)	Unter 95°C	GDDR6X drosselt bei 110°C, degradiert aber langfristig über 95°C
Zuluft	Unter 30°C	Höhere Zuluft = höhere GPU-Temps, 1:1
Abluft	Unter 50°C	Darüber deutet auf unzureichendes Luftvolumen hin
Delta (Abluft - Zuluft)	Unter 20°C	Höheres Delta bedeutet, Wärme wird nicht schnell genug abgeführt

Automatische Alarme

Für 24/7 LLM-Inferenz oder Trainingsläufe richten Sie Alarme ein:

# Einfacher nvidia-smi Temperaturcheck (Linux)
gpu_temp=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits | sort -rn | head -1)
if [ "$gpu_temp" -gt 85 ]; then
  echo "GPU Temperaturalarm: ${gpu_temp}°C" | mail -s "GPU Thermal Alert" [email protected]
fi

Oder verwenden Sie Prometheus + Grafana mit dem nvidia_gpu_exporter für Dashboards und historische Daten.

Raumebene-Überlegungen

Ihr Rack existiert nicht im Vakuum

Ein GPU-Rack, das 3kW Wärme in ein Schlafzimmer abgibt, erhöht die Raumtemperatur innerhalb einer Stunde um 5–10°C. Die Kühlkette geht über das Rack hinaus:

1. GPU → Rack-Airflow entfernt Wärme von der GPU
2. Rack → Raum gibt diese Wärme an die Umgebung ab
3. Raum → Außen erfordert Klimaanlage oder Belüftung

Wenn Schritt 3 versagt, steigt Ihre Raumtemperatur, bis die Zuluft zu warm für effektive GPU-Kühlung ist. Dieser thermische Runaway ist der häufigste Fehlermodus für Heim-GPU-Racks.

Praktische Raumkühlung

• Dedizierte Klimaanlage: Ein 3kW GPU-Rack benötigt ungefähr eine 12.000 BTU (3,5kW) Klimaanlage. Budget: 300–1.500 €.
• Abluftkanal: Führen Sie einen Kanal vom Rack-Abluft zu einem Fenster oder einer Außenöffnung. Günstigste Option, überraschend effektiv.
• Kelleraufstellung: Natürlich kühlere Temperaturen geben kostenlosen thermischen Spielraum.
• Garage oder Technikraum: Isoliert Lärm und Wärme von Wohnräumen.

Luftfeuchtigkeit ist relevant

GPUs sind bei normaler Luftfeuchtigkeit (30–70% RH) unempfindlich. Aber Kondensation ist ein Problem:

• Wenn Rack-Abluft auf kalte Außenluft trifft, kann sich Kondensation auf Zuluft-Komponenten bilden
• Zu kalte Klimaanlage in einem feuchten Raum verursacht dasselbe Problem
• Raumtemperatur über dem Taupunkt halten — generell 18°C+ bei normaler Luftfeuchtigkeit

Skalierung vom Hobby zum kleinen Rechenzentrum

1–4 GPUs: Die Enthusiasten-Stufe

• Standard-Tower oder Open-Frame-Rackmontage
• Luftkühlung mit guten Lüftern meist ausreichend
• Ein 20A-Stromkreis reicht für die Leistung
• Raum-Klimaanlage oder Abluftkanal für die Wärme
• Budget: 100–500 € für Kühlinfrastruktur

4–8 GPUs: Die Profi-Stufe

• Spezielles GPU-Server-Chassis oder Custom Open Rack
• Luftkühlung funktioniert, wird aber laut — AIO pro GPU oder Custom-Loop erwägen
• Dedizierter 30–40A Stromkreis oder mehrere Kreise
• Dedizierter Raum mit Kühlplan
• Budget: 500–3.000 € für Kühlinfrastruktur

8–32 GPUs: Die kleine Rechenzentrums-Stufe

• Professionelles Rack mit Hot/Cold-Aisle-Management
• Flüssigkühlung dringend empfohlen — Rear-Door-Wärmetauscher oder Custom-Loops
• Drehstromanschluss oder mehrere dedizierte Kreise
• Raumebene-Kühlinfrastruktur (dedizierte Klimaanlage, Abluftsysteme)
• Remote-Monitoring und Alerting unerlässlich
• Budget: 3.000–20.000€+ für Kühlinfrastruktur

32+ GPUs: Sie brauchen ein Rechenzentrum

In diesem Maßstab ziehen Sie Rechenzentrums-Kühlexperten hinzu. Die technischen Anforderungen für Strom, Kühlung, Brandschutz und Redundanz übersteigen den DIY-Bereich.

Häufige Fehler

1. „Ich füge einfach mehr Lüfter hinzu." Lüfter bewegen Luft, aber wenn die Luft nirgendwo Kühles hin kann, rezirkulieren Sie warme Luft. Schritt eins ist immer Zuluft-/Abluft-Trennung.

2. VRAM-Temperaturen ignorieren. Die GPU-Die-Temperatur bekommt alle Aufmerksamkeit, aber GDDR6X-VRAM bei Karten wie der 4090 läuft 15–25°C heißer. Prüfen Sie mit nvidia-smi -q -d TEMPERATURE oder HWiNFO64.

3. Keine Blindplatten. Die günstigste Änderung mit dem größten Effekt bei Rack-Kühlung. Füllen Sie jeden leeren Slot.

4. Ohne Zuluft-Temperaturüberwachung betreiben. Wenn Ihr Raum 35°C hat, können Ihre GPUs nicht kühl sein. Umgebungsmonitoring erkennt Probleme, bevor GPU-Throttling es tut.

5. Unterdimensionierte Raumkühlung. Jedes Watt, das Ihre GPUs verbrauchen, wird zu einem Watt Wärme in Ihrem Raum. Ein 2kW GPU-Setup braucht 2kW Raumkühlung.

6. Luftstromrichtungen mischen. Jedes Gerät im Rack muss Luft aus derselben Richtung ziehen. Ein falsch ausgerichtetes Gerät erzeugt Turbulenzen, die die Kühlung für alles andere verschlechtern.

Das Fazit

GPU-Rack-Kühlung ist ein gelöstes Problem — Rechenzentren machen das seit Jahrzehnten. Die Kernprinzipien sind einfach:

1. Warme Luft von kalter Luft trennen (Hot/Cold Aisle, Blindplatten)
2. Genug Luft bewegen (CFM-Berechnung basierend auf Wattleistung)
3. Wärme aus dem Raum entfernen (Klimaanlage, Abluftkanäle oder beides)
4. Alles überwachen (GPU-Temps, Umgebungstemps, Leistungsaufnahme)
5. Kühlung mit Dichte skalieren (Luft → Flüssig → Immersion beim Wachsen)

Bekommen Sie das hin, können Sie Multi-GPU-Inferenz und -Training 24/7 ohne Throttling, Hardware-Degradation oder unerwartete Ausfälle betreiben.

GPU-Stresstest laufen lassen? Probieren Sie den ThermalStats-Stresstest um Ihre GPU-Temperaturen vor und nach Kühlverbesserungen zu messen.

Verwandte Guides:

• Sichere CPU- & GPU-Temperaturen — Kennen Sie Ihre thermischen Ziele
• PC-Gehäuse-Airflow-Guide — Airflow-Grundlagen, die auf Racks skalieren
• Jenseits von CPU und GPU: Ganzheitliche Systemkühlung — VRMs, RAM und SSDs nicht vergessen
• Luftkühler vs AIO — Kühlsystem-Trade-offs
• Undervolting-Guide — Wärme an der Quelle reduzieren