GPU 랙 냉각 전략: 로컬 LLM과 고성능 컴퓨팅을 위한 멀티GPU 셋업 쿨링

GPU 밀도 문제

GPU 하나를 돌리는 것은 간단합니다. 랙에 4개, 8개, 16개를 넣는 것은 열 공학의 도전입니다. 각 하이엔드 GPU는 제한된 공간에 300~700W의 열을 방출합니다. 몇 개를 쌓으면 냉장고보다 작은 공간에서 수 킬로와트의 열을 관리하게 됩니다.

지금이야말로 이것이 중요합니다. 로컬 LLM 추론, Stable Diffusion, AI 파인튜닝, 과학 시뮬레이션 — 집이나 작은 사무실에서 멀티GPU 셋업을 구축하는 이유가 급증했습니다. 하지만 단일 게이밍 PC에 통하는 냉각 전략은 랙 스케일에서 완전히 무너집니다.

이 가이드는 실제로 효과가 있는 것들을 다룹니다 — 데이터센터 실무에서 차용하여 하이퍼스케일 시설 밖에서 진지한 GPU 컴퓨팅을 운영하는 성장하는 커뮤니티에 맞게 조정했습니다.

열 부하 이해하기

얼마나 많은 열인가?

GPU	TDP	일반 부하 (LLM 추론)	최대 부하 (훈련)
RTX 4090	450W	300~350W	450W
RTX 5090	575W	400~450W	575W
A100 (SXM)	400W	300~350W	400W
H100 (SXM)	700W	500~550W	700W
L40S	350W	250~300W	350W

RTX 4090 4대 셋업은 일반적인 LLM 워크로드에서 1,200~1,800W의 열을 생산합니다. H100 8대 노드는 4,000~5,600W에 달합니다. 이것은 냉각 문제가 아니라 난방 시스템입니다.

LLM 워크로드가 열적으로 다른 이유

LLM 추론과 훈련은 특수한 열 프로필을 만듭니다:

• 지속적 높은 사용률. 게이밍(변동이 있음)과 달리, LLM 추론은 GPU를 수 시간 또는 수 일간 80~100%로 유지합니다.
• 메모리 집약 부하가 VRAM을 가열. 대형 모델은 VRAM을 완전히 채워 GPU 다이 이상의 열 부하를 추가합니다.
• 배치 처리는 모든 GPU가 동시에 작동한다는 의미. 순차 부하 없이 — 모든 GPU가 동시에 피크에 달합니다.

이 지속적이고 동시적인 열 출력이 랙 냉각을 데스크톱 냉각과 근본적으로 다르게 만듭니다.

랙 스케일의 공냉

핫 아일 / 콜드 아일 원칙

데이터센터는 수십 년 전에 이것을 해결했습니다: 흡기 공기를 배기 공기와 분리하세요.

가정용이나 소규모 오피스 랙에서:

1. 모든 장비가 같은 방향을 향합니다. 차가운 공기는 앞에서, 뜨거운 공기는 뒤로 나갑니다.
2. 뜨거운 배기가 앞으로 재순환되지 않게 하세요. 홈 랙에서 가장 흔한 실수입니다.
3. 블랭킹 패널로 빈 슬롯을 모두 채우세요. 없으면 뜨거운 공기가 틈새로 차가운 쪽으로 돌아갑니다.

단순한 오픈 랙도 일관된 에어플로우 방향에서 큰 이점을 얻습니다. 블랭킹 패널 세트 하나로 재순환을 방지하여 GPU 온도를 5~10°C 낮출 수 있습니다.

풍량 요구사항

계산은 간단합니다. 10°C 온도 상승으로 1kW의 열을 제거하려면 약 280 CFM의 에어플로우가 필요합니다. 부하 상태의 4× RTX 4090 셋업:

• ~1,500W 열 출력
• ~420 CFM 최소 필요
• GPU만을 위해 풀 스피드 120mm 고정압 팬 4~6개에 해당

5,000W의 8× H100의 경우 1,400+ CFM 필요 — 이 시점에서 랙 장착 팬 트레이나 블로워 시스템이 필요합니다.

팬 배치 전략

흡기 팬 (랙 전면):

• GPU 흡기 높이에 장착 — 랙 상단이나 하단이 아닌
• 고정압 팬 (3+ mmH₂O) 사용
• 홈 셋업용 Noctua NF-A12x25 또는 Phanteks T30-120 (2000+ RPM)
• 고밀도용 산업용 40mm 두께 팬

배기 팬 (랙 후면):

• 전면 압력이 충분하면 덜 중요
• 밀폐형 랙에서 핫스팟 방지에 유용
• 열이 올라가므로 상부 배기가 효과적

소음 현실: 멀티GPU 랙의 효과적인 공냉은 시끄럽습니다. 부하 상태의 4GPU 홈 셋업은 50~65 dBA를 냅니다. 서버급 팬이 있는 8GPU 랙은 쉽게 75 dBA+ 도달합니다. 그에 따라 계획하세요 — 지하실, 차고, 전용 서버룸이 일반적인 해결책입니다.

GPU 랙용 수냉

공기가 부족할 때

공냉은 대부분의 가정/사무실 환경에서 랙당 약 2~4kW에서 실질적 한계에 도달합니다. 그 이상은 극심한 소음이나 부족한 냉각입니다. 수냉이 현실적 답이 됩니다.

옵션 1: GPU당 AIO / CLC

가장 간단한 수냉 — GPU당 폐쇄형 루프 쿨러 하나.

장점:

• 커스텀 배관 불필요
• 각 GPU 독립 냉각
• 개별 GPU 교체 용이
• 소비자 GPU 보증 안전

단점:

• 라디에이터 공간이 병목 — 4 GPU × 240mm = 거의 1미터
• 랙 내 호스 배선이 지저분
• 라디에이터 열은 여전히 랙에서 배출 필요

적합: 표준 랙이나 오픈프레임 케이스의 2~4 GPU 셋업.

옵션 2: 외부 라디에이터 커스텀 루프

모든 GPU를 하나의 쿨링 루프로, 라디에이터는 랙 외부에 완전히 장착.

장점:

• 랙에서 열을 완전히 제거
• 더 조용 — 외부 라디에이터 팬이 크고 느릴 수 있음
• 하나의 루프에 4~8 GPU 확장 가능

단점:

• 여러 GPU 워터블록의 복잡한 배관
• 단일 장애점 — 펌프 고장 시 모든 GPU 영향
• 유지보수 (쿨런트 교체, 누수 점검)

적합: 소음이나 실온이 문제인 4~8 GPU 셋업.

옵션 3: 후면 도어 열교환기

랙 후면 도어에 장착된 열교환기가 냉수로 배기열을 포집.

장점:

• 공냉 GPU와 함께 작동 — 수정 불필요
• 랙당 20~40kW 처리 가능
• 표준 데이터센터 방식

단점:

• 냉수 인프라 필요
• 고가 (유닛만 300만~1,500만원+)
• 대부분의 가정 사용자에게는 과잉

적합: 소규모 데이터센터 배포, 8+ GPU 랙.

옵션 4: 침지 냉각

GPU 전체를 유전체 냉각액에 담금.

장점:

• 극단적 밀도 처리 — 랙당 100kW+
• 거의 무소음 운영
• 팬 없음, 먼지 없음, 최소 유지보수

단점:

• 매우 고가 (시작에 1,500만원+)
• 전문 하드웨어와 유체
• 하드웨어 서비스 = 탱크에서 꺼내기

적합: 연구실, 마이닝 운영, 또는 다른 옵션을 모두 소진한 경우.

랙 레이아웃 모범 사례

GPU 간격

에어플로우 공간 없이 인접 슬롯에 GPU를 쌓지 마세요. 오픈에어 쿨러가 있는 소비자 GPU는 카드 사이에 최소 한 슬롯이 필요합니다. 랙에서:

• 1U 서버 섀시: 전용 GPU 서버가 내부적으로 간격 관리
• 4U 서버 섀시: 통합 에어 채널로 보통 4~8 GPU 수용
• 타워형 GPU의 오픈 랙: 카드 간 최소 40~60mm, 방향성 에어플로우

파워 서플라이 배치

PSU도 열을 발생시킵니다. 랙에서:

• PSU 배기가 GPU 흡기로 들어가지 않도록 배치
• GPU 전원 전용 회로 분리 — 4× RTX 4090 셋업은 220V에서 풀 로드 시 15~20A
• 서버급 PSU (80+ Titanium) 사용 — 높은 효율 = 적은 폐열

케이블 관리가 열적으로 중요

미관이 아닙니다. 고밀도 GPU 랙에서 에어플로우를 막는 케이블은 핫스팟을 만듭니다:

• 전원 케이블은 에어 경로가 아닌 랙 측면으로 배선
• 짧은 케이블 사용 — 여분은 뭉쳐서 공기를 차단
• 케이블 타이가 아닌 벨크로 — 하드웨어 추가 시 배선 조정 필요

대규모 모니터링

무엇을 감시할 것인가

단일 GPU 모니터링은 쉽습니다. 멀티GPU는 시스템이 필요합니다:

• GPU별 온도: 실시간 확인용 nvidia-smi 또는 HWiNFO64
• 흡기 온도: 랙 전면 USB 온도 센서 (~2만원)
• 배기 온도: 후면 동일 센서 — 델타로 냉각 적정성 판단
• GPU별 전력 소비: nvidia-smi --query-gpu=power.draw

지속 운영을 위한 온도 목표

구성요소	목표	주의
GPU 다이	80°C 미만	쓰로틀링 보통 83~90°C에서 시작
VRAM (GDDR6X/HBM)	95°C 미만	GDDR6X는 110°C에서 쓰로틀, 95°C 이상 장기 열화
흡기 공기	30°C 미만	흡기 온도 상승 = GPU 온도 상승, 1:1
배기 공기	50°C 미만	초과 시 풍량 부족 시사
델타 (배기 - 흡기)	20°C 미만	높은 델타 = 열 배출 부족

자동 알림

24/7 LLM 추론이나 훈련 실행 시 알림 설정:

# 간단한 nvidia-smi 온도 체크 (Linux)
gpu_temp=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits | sort -rn | head -1)
if [ "$gpu_temp" -gt 85 ]; then
  echo "GPU 온도 알림: ${gpu_temp}°C" | mail -s "GPU Thermal Alert" [email protected]
fi

또는 대시보드와 히스토리를 위해 Prometheus + Grafana와 nvidia_gpu_exporter 사용.

방(룸) 레벨 고려사항

랙은 진공 속에 존재하지 않습니다

침실에 3kW의 열을 방출하는 GPU 랙은 한 시간 내에 실온을 5~10°C 올립니다. 냉각 체인은 랙을 넘어 확장됩니다:

1. GPU → 랙 에어플로우가 GPU에서 열 제거
2. 랙 → 방이 열을 주변 공간으로
3. 방 → 외부에 에어컨이나 환기 필요

3단계가 실패하면 실온이 올라가 흡기 공기가 너무 따뜻해집니다. 이 열 폭주가 가정용 GPU 랙의 가장 흔한 실패 모드입니다.

실용적 방 냉각

• 전용 에어컨: 3kW GPU 랙에 약 12,000 BTU (3.5kW) 에어컨 필요. 예산: 30~200만원.
• 배기 덕트: 랙 배기에서 창문까지 덕트. 가장 저렴하고 놀랍도록 효과적.
• 지하실 배치: 자연적으로 낮은 온도 = 무료 열적 여유.
• 차고나 유틸리티 룸: 생활 공간에서 소음과 열 격리.

습도가 중요합니다

GPU는 정상 범위(30~70% RH) 습도에 민감하지 않습니다. 하지만 결로:

• 랙 배기가 차가운 외부 공기로 나가면 흡기 부품에 결로 가능
• 습한 방에서 에어컨이 너무 차가우면 같은 문제
• 실온을 이슬점 이상으로 유지 — 보통 습도에서 18°C 이상

취미에서 소규모 데이터센터로 확장

1~4 GPU: 열정가 레벨

• 표준 타워 또는 오픈프레임 랙 마운트
• 좋은 팬으로 공냉 보통 충분
• 20A 단일 회로로 전력 관리
• 방 에어컨 또는 배기 덕트
• 예산: 15~70만원 냉각 인프라

4~8 GPU: 진지한 레벨

• 전용 GPU 서버 섀시 또는 커스텀 오픈 랙
• 공냉은 되지만 시끄러움 — GPU당 AIO나 커스텀 루프 고려
• 전용 30~40A 회로 또는 다중 회로
• 냉각 계획이 있는 전용 방
• 예산: 70~400만원 냉각 인프라

8~32 GPU: 소규모 데이터센터 레벨

• 핫/콜드 아일 관리가 있는 전문 랙
• 수냉 강력 권장
• 삼상 전력 또는 다중 전용 회로
• 방 레벨 냉각 인프라
• 원격 모니터링과 알림 필수
• 예산: 400~2,500만원+ 냉각 인프라

32+ GPU: 데이터센터가 필요합니다

이 규모에서는 데이터센터 냉각 전문가에게 상담하세요. 요구사항이 DIY 영역을 초과합니다.

흔한 실수

1. "팬만 더 달면 돼." 팬은 공기를 움직이지만, 시원한 곳으로 갈 곳이 없으면 뜨거운 공기를 재순환시킬 뿐입니다. 1단계는 항상 흡기/배기 분리입니다.

2. VRAM 온도 무시. GPU 다이 온도가 모든 관심을 받지만, 4090 같은 카드의 GDDR6X VRAM은 15~25°C 더 뜨겁습니다.

3. 블랭킹 패널 없음. 가장 저렴하고 효과 큰 변화. 빈 슬롯을 모두 채우세요.

4. 흡기 온도 모니터링 없이 운영. 방이 35°C면 GPU가 시원할 수 없습니다.

5. 부족한 방 냉각. GPU가 소비하는 모든 와트가 방안의 열이 됩니다.

6. 에어플로우 방향 혼합. 랙의 모든 장비가 같은 방향에서 공기를 흡입해야 합니다.

핵심 요약

GPU 랙 냉각은 이미 해결된 문제입니다 — 데이터센터가 수십 년간 해왔습니다. 핵심 원칙은 간단합니다:

1. 뜨거운 공기를 차가운 공기와 분리 (핫/콜드 아일, 블랭킹 패널)
2. 충분한 공기 이동 (와트 기반 CFM 계산)
3. 방에서 열 제거 (에어컨, 배기 덕트, 또는 둘 다)
4. 모든 것을 모니터링 (GPU 온도, 실온, 전력 소비)
5. 밀도에 맞게 냉각 확장 (공냉 → 수냉 → 침지로 성장)

이것을 제대로 하면 쓰로틀링, 하드웨어 열화, 예기치 않은 셧다운 없이 멀티GPU 추론과 훈련을 24/7 운영할 수 있습니다.

GPU 스트레스 테스트 중? 냉각 개선 전후 GPU 온도를 측정하려면 ThermalStats 스트레스 테스트를 해보세요.

관련 가이드:

• 안전한 CPU & GPU 온도 — 열적 목표 알기
• PC 케이스 에어플로우 가이드 — 랙으로 확장 가능한 기본기
• CPU와 GPU를 넘어: 총체적 냉각 — VRM, RAM, SSD를 잊지 마세요
• 공냉 vs AIO — 냉각 타입 트레이드오프
• 언더볼팅 가이드 — 원천에서 열 줄이기