엔비디아 H200 vs B200 — 데이터로 본 성능과 가격 효율

최신 데이터센터용 GPU 가속기 모듈이 서버 보드에 장착된 모습을 통해 세대 간 하드웨어 차이를 암시합니다.

AI 인프라를 구축하거나 클라우드 GPU 인스턴스를 선택할 때, 어떤 가속기를 쓰느냐에 따라 프로젝트 전체 비용과 일정이 크게 달라져요. 특히 엔비디아의 H200과 B200은 같은 호퍼 아키텍처 기반이지만, 메모리 구성과 전력 효율에서 확연히 다른 길을 걸으면서 많은 분들이 고민에 빠지곤 합니다.

실제로 “H200이면 충분할까, 아니면 B200으로 가야 하나”라는 질문을 자주 받는데요. 단순히 스펙 시트의 TFLOPS 숫자만 보고 판단하기엔 실제 워크로드 특성과 총소유비용(TCO)이 너무 큰 변수로 작용해요. 이 글에서는 공개된 스펙과 실제 사례를 바탕으로 두 GPU의 차이를 데이터 중심으로 풀어볼게요.

특히 대규모 언어 모델 학습, 고해상도 이미지 생성, 실시간 추론 서빙처럼 워크로드 성격이 다를 때 어떤 선택이 더 합리적인지, 그리고 예상치 못한 숨은 비용은 어디서 발생하는지 꼼꼼하게 짚어드리려고 합니다.

H200과 B200 스펙 차이를 한눈에

두 GPU 모두 엔비디아의 호퍼 아키텍처를 기반으로 하지만, B200은 사실상 두 개의 호퍼 다이를 하나의 패키지로 묶은 듀얼 칩 구성이에요. 이로 인해 연산 유닛 수와 메모리 컨트롤러 개수가 크게 늘어났고, 단순히 클럭 속도만 높인 마이너 업그레이드와는 차원이 다릅니다.

H200은 H100의 후속으로 HBM3e 메모리를 처음 도입한 제품이에요. 141GB 용량에 4.8TB/s의 메모리 대역폭을 제공하는데, 이는 H100 대비 약 1.4배 높은 수치입니다. 반면 B200은 192GB HBM3e 메모리를 탑재하고 8TB/s의 대역폭을 제공해, 메모리 집약적 워크로드에서도 여유를 갖도록 설계되었어요.

연산 성능을 보면 차이가 더 극명해집니다. H200은 FP8 텐서 연산 기준 약 1,979 TFLOPS를 제공하는 반면, B200은 동일 정밀도에서 약 4,500 TFLOPS(4.5 PFLOPS)에 달해요. FP16 기준으로도 B200은 2.25 PFLOPS로 H200의 약 990 TFLOPS를 크게 앞서요. 다만 이 수치는 희소성(sparsity)을 활용한 최대치라서, 실제 워크로드에서는 70~80% 수준의 효율을 보이는 경우가 많아요.

표를 보면 B200이 모든 면에서 앞서는 것처럼 느껴지지만, 실제 도입 환경에서는 전력과 발열이라는 물리적 제약이 큰 변수로 작용해요. 1,200W TDP는 기존 데이터센터의 랙당 전력 한도를 초과할 가능성이 높고, 액체 냉각 없이는 안정적인 운영이 어려울 수 있습니다.

AI 학습과 추론에서 실제 성능 차이

스펙 시트의 숫자만 보면 B200이 압도적이지만, 실제 AI 워크로드에서는 메모리 대역폭과 연산 능력 중 무엇이 병목이 되느냐에 따라 체감 성능이 크게 달라져요. 특히 대규모 언어 모델의 추론 단계에서는 연산보다 메모리 대역폭이 더 중요한 경우가 많습니다.

예를 들어 GPT-3 175B 모델을 FP8로 추론할 때, H200은 141GB 메모리 덕분에 모델 전체를 단일 GPU에 올릴 수 있어요. 이 경우 텐서 병렬화 없이도 배치 크기 1 기준으로 초당 30~40토큰을 생성할 수 있습니다. B200도 동일한 작업을 수행할 수 있지만, 메모리 대역폭이 1.67배 높은 만큼 이론적으로는 더 빠른 토큰 생성 속도를 기대할 수 있어요.

하지만 학습 워크로드로 넘어가면 이야기가 달라집니다. Llama 3 70B 모델을 1,000억 토큰으로 사전 학습한다고 가정할 때, H200 8개로 구성된 단일 노드는 약 15~20일이 소요될 수 있어요. 반면 B200 8개 노드는 연산 능력이 2배 이상 높아서 7~10일로 학습 시간을 단축할 수 있습니다. 이 차이는 단순히 GPU 가격 차이를 상쇄하고도 남을 만큼 인건비와 기회비용 측면에서 의미가 있어요.

추론 서빙 시나리오도 살펴볼게요. 실시간 챗봇 서비스처럼 초당 수천 건의 요청을 처리해야 하는 환경에서는 GPU당 처리량이 중요해요. H200은 메모리 용량이 넉넉해서 여러 모델을 동시에 로드하거나 큰 배치를 처리할 수 있고, B200은 연산량이 많아서 더 많은 요청을 빠르게 처리할 수 있어요. 실제 서비스에서는 두 GPU를 혼합 구성하는 전략도 자주 등장합니다.

가격 효율 — GPU당 비용과 TCO 비교

H200과 B200의 정확한 가격은 엔비디아가 공식적으로 공개하지 않지만, 클라우드 서비스 제공사들의 인스턴스 가격과 시스템 통합사들의 견적을 통해 대략적인 수준을 가늠할 수 있어요. H200은 카드당 약 2만~2만 5천 달러, B200은 3만~4만 달러 선으로 추정됩니다.

이 가격 차이를 단순히 GPU 한 대 값으로만 보면 B200이 1.5~2배 비싸요. 하지만 동일한 학습 작업을 완료하는 데 걸리는 시간이 절반 이하로 줄어든다면, 전체 클러스터 임대 비용이나 연구 인력의 대기 시간까지 고려했을 때 B200이 더 경제적일 수 있습니다. 반대로 추론 서빙처럼 메모리 용량이 핵심이고 연산 여유가 남는 워크로드라면, H200 여러 대를 운용하는 편이 가성비가 더 좋을 수 있어요.

클라우드 환경에서의 시간당 비용도 중요한 지표예요. AWS나 구글 클라우드에서 H100 인스턴스가 시간당 약 12~15달러 수준이었던 점을 고려하면, H200은 15~20달러, B200은 25~35달러 수준에서 책정될 가능성이 높아요. 하지만 B200 인스턴스가 동일 작업을 40% 더 빨리 처리한다면 실질 비용은 비슷하거나 오히려 저렴해질 수 있습니다.

여기서 간과하기 쉬운 게 소프트웨어 라이선스 비용이에요. 엔비디도 AI Enterprise 같은 소프트웨어 스택은 GPU당 연간 라이선스 비용이 발생하는데, B200처럼 코어 수가 많은 GPU는 라이선스 비용도 더 높게 책정될 수 있어요. 도입 전에 소프트웨어 비용까지 포함한 3년 TCO를 계산해보는 게 안전합니다.

전력 소비와 발열, 그리고 숨은 비용

B200의 최대 TDP 1,200W는 데이터센터 운영자에게 꽤 부담스러운 숫자예요. 기존 H100의 700W와 비교하면 1.7배나 높은데, 이는 단순히 전기 요금만의 문제가 아니에요. 랙당 전력 밀도가 높아지면 냉각 인프라를 업그레이드해야 하고, 경우에 따라서는 데이터센터 계약 전력 자체를 증설해야 할 수도 있습니다.

H200은 700W로 상대적으로 낮은 편이지만, 이것도 결코 적은 전력이 아니에요. 8-GPU 서버 한 대면 5.6kW를 소비하고, 여기에 CPU, 메모리, 네트워크 장비까지 더하면 8~10kW를 훌쩍 넘깁니다. B200 8-GPU 서버는 12~15kW에 달할 수 있어서, 기존 공랭식 데이터센터에서는 운영이 사실상 불가능한 수준이에요.

냉각 방식도 중요한 변수입니다. H200은 잘 설계된 공랭 시스템으로도 운영 가능하지만, B200은 액체 냉각이 사실상 필수예요. 액체 냉각 인프라를 새로 구축하려면 랙당 수천만 원의 추가 비용이 들 수 있고, 기존 데이터센터에 후적용하기도 쉽지 않아요. 이런 숨은 비용 때문에 B200의 실질 도입 비용은 GPU 가격의 1.3~1.5배까지 늘어날 수 있습니다.

전력 효율을 워크로드별로 따져보면 관점이 조금 달라져요. 동일한 학습 작업을 완료하는 데 B200이 H200보다 총 전력 소비량이 적을 수 있어요. 작업 시간이 짧아지기 때문이죠. 예를 들어 100시간 걸리던 학습이 50시간으로 줄면, GPU당 전력은 1.7배 높아도 총 소비 전력은 오히려 15% 감소하는 효과가 날 수 있어요. 이런 관점에서 B200이 항상 전력 낭비라고 말하기는 어렵습니다.

워크로드별 선택 체크리스트

H200과 B200 중 어떤 GPU를 선택할지는 결국 “무엇을 주로 돌릴 것인가”에 달려 있어요. 아래 체크리스트를 통해 본인의 상황에 맞는 선택지를 좁혀보세요.

• 대규모 LLM 사전 학습(1,000억 토큰 이상): B200이 유리해요. 연산 성능 차이가 학습 시간을 절반 이하로 줄여줍니다.
• LLM 미세 조정(LoRA/QLoRA): H200으로도 충분히 가능하고, 메모리 용량이 넉넉해서 큰 모델도 다룰 수 있어요.
• 실시간 추론 서빙(초당 1,000건 이상): 요청량이 많다면 B200, 메모리에 여러 모델을 올려야 한다면 H200이 유리합니다.
• 이미지 생성(Stable Diffusion 계열): H200으로도 충분히 빠르고, B200의 추가 연산 능력이 크게 빛을 발하지 않는 영역이에요.
• 과학 시뮬레이션(FP64 연산): 두 GPU 모두 FP64 성능은 FP32 대비 1/64 수준이라 전문 가속기가 더 적합할 수 있어요.
• 기존 데이터센터 공랭 환경: H200이 사실상 유일한 선택지예요. B200은 액체 냉각 인프라가 필수입니다.
• 클라우드 단기 임대: 두 GPU 모두 시간 단위로 쓸 수 있지만, B200은 가용 리전이 제한적일 수 있어요.
• 예산이 절대적 제약: H200 2대와 B200 1대를 비교해보고, 워크로드 병렬화가 가능하다면 H200 2대가 더 나은 선택일 수 있어요.

자주 묻는 질문 (FAQ)

H200과 H100의 차이는 무엇인가요?

H200은 H100과 동일한 GH100 다이를 사용하지만, HBM2e 대신 HBM3e 메모리를 탑재해 용량이 80GB에서 141GB로, 대역폭이 3.35TB/s에서 4.8TB/s로 향상되었어요. 연산 코어 자체는 동일해서 순수 연산 성능은 큰 차이가 없고, 메모리 집약적 워크로드에서만 체감 성능 향상이 있어요.

B200을 공랭으로 운영할 수 있나요?

공식적으로는 권장되지 않아요. 1,200W TDP는 공랭 히트싱크로 감당하기 어려운 수준이고, 장시간 풀로드 시 쓰로틀링이 발생할 가능성이 높아요. 일부 서버 제조사에서 고성능 공랭 솔루션을 개발 중이라는 소식도 있지만, 안정적인 운영을 위해서는 액체 냉각을 갖추는 게 현실적입니다.

H200 2개와 B200 1개 중 어느 구성이 더 좋을까요?

워크로드에 따라 달라요. 모델 병렬화가 필요한 대규모 학습에서는 B200 1개가 NVLink 5.0의 높은 대역폭 덕분에 더 효율적일 수 있어요. 반면 데이터 병렬화로 여러 작은 모델을 동시에 학습하거나, 독립적인 추론 요청을 여러 개 처리하는 경우에는 H200 2개 구성이 더 높은 총 메모리 용량과 처리량을 제공할 수 있습니다.

두 GPU 모두 FP8 학습을 지원하나요?

네, 둘 다 호퍼 아키텍처 기반이라 FP8 텐서 코어를 내장하고 있어요. FP8은 FP16 대비 메모리 사용량을 절반으로 줄이면서도 대부분의 생성형 AI 워크로드에서 유의미한 정확도 손실 없이 학습과 추론이 가능해요. 다만 FP8로 학습할 때는 손실 스케일링(loss scaling) 전략을 신경 써야 하고, 일부 민감한 레이어는 FP16이나 BF16으로 유지하는 혼합 정밀도 전략이 필요할 수 있습니다.

H200에서 B200으로 마이그레이션할 때 코드 수정이 필요한가요?

기본적으로 CUDA 코드는 호환되지만, B200의 듀얼 다이 구성을 제대로 활용하려면 NVLink 5.0 토폴로지에 맞춰 NCCL 설정이나 텐서 병렬화 전략을 조정해야 할 수 있어요. 특히 8-GPU 노드에서 GPU 간 통신 패턴이 달라질 수 있어서, 기존에 최적화했던 분산 학습 스크립트를 다시 튜닝하는 과정이 필요할 수 있습니다.

국내 클라우드에서 H200이나 B200을 바로 쓸 수 있나요?

2025년 상반기 기준으로 국내 주요 클라우드 사업자들은 H100 기반 인스턴스를 주로 제공하고 있고, H200은 일부 사업자에서 사전 예약이나 제한적 공급을 시작했어요. B200은 아직 국내 클라우드에서 범용적으로 제공되지 않고 있고, 글로벌 클라우드의 특정 리전을 통해 신청해야 할 가능성이 높아요. 도입 전에 클라우드 사업자의 로드맵을 확인하는 게 좋습니다.

중고 H100을 사는 것과 신규 H200을 사는 것 중 어느 쪽이 나을까요?

중고 H100의 가격이 신규 H200의 60~70% 수준이라면, 메모리 용량이 중요하지 않은 워크로드에서는 중고 H100도 매력적인 선택이에요. 하지만 LLM 추론처럼 메모리 용량이 병목이 되는 경우에는 H200의 141GB가 절대적인 이점을 제공해요. 중고 GPU는 남은 수명과 워런티 여부도 꼭 확인해야 합니다.

본 글은 공개된 스펙 시트, 클라우드 사업자 공시 정보, 업계 리포트를 바탕으로 작성했지만, 실제 가격과 성능은 공급 시점, 서버 구성, 소프트웨어 스택 버전에 따라 달라질 수 있어요. GPU 도입을 결정하기 전에 반드시 자체 워크로드에 대한 PoC(개념 검증)를 수행하고, 제조사 또는 클라우드 사업자의 최신 공식 자료를 확인하시길 권해드립니다.