H100은 94GB HBM3 메모리와 3.9 TB/s 대역폭을 갖춘 Hopper 데이터센터 GPU로, 대규모 LLM 학습과 추론을 처리합니다. 4세대 Tensor 코어와 Transformer Engine, 기밀 컴퓨팅을 지원하며 MIG로 최대 7개 인스턴스로 분할할 수 있습니다.
Hopper 세대의 주요 기술을 한 카드에 담았습니다.
Hopper 아키텍처로 대규모 AI 학습·추론을 가속합니다.
FP8 기준 3,341 TFLOPS(희소성)의 Tensor 성능과 Transformer Engine으로 대규모 LLM을 가속합니다.
Transformer Engine과 FP8 정밀도로 대규모 트랜스포머 모델의 학습·추론을 가속합니다.
NVLink 600GB/s 인터커넥트로 여러 GPU를 연결해 대규모 모델을 확장합니다.
94GB HBM3 메모리와 3.9 TB/s 대역폭으로 대규모 모델과 데이터셋을 처리합니다. ECC를 지원합니다.
하나의 GPU를 최대 7개의 독립 인스턴스로 분할해 여러 워크로드를 안전하게 격리·운영합니다.
7개의 NVDEC와 7개의 JPEG 디코더로 대규모 영상·이미지 디코딩을 가속합니다.
PCIe 5.0과 NVLink로 호스트·GPU 간 데이터를 고속 전송합니다.
PCIe 듀얼슬롯·SXM 폼팩터로 표준 데이터센터 서버에 통합됩니다.
기밀 컴퓨팅(Confidential Computing)을 지원해 멀티테넌트·규제 환경에서도 사용 중인 데이터와 모델을 보호합니다.
NVIDIA AI Enterprise, CUDA-X, Base Command Manager, Run:ai 등 소프트웨어 스택과 함께 배포·운영·가상화를 지원합니다.
AI·그래픽·미디어를 아우르는 데이터센터 워크로드에 대응합니다.
94GB HBM3 메모리와 4세대 Tensor 코어로 대규모 LLM 학습·추론을 데이터센터에서 처리합니다.
Omniverse·OpenUSD 기반 3D와 시뮬레이션, 로보틱스용 합성 데이터 생성, 대규모 과학 계산을 가속합니다.
7개의 NVDEC·JPEG 디코더로 대규모 영상·이미지 디코딩과 미디어 처리를 지원합니다.
전체 사양입니다. 상세 구성·가격은 별도문의로 안내드립니다. (사양 출처: NVIDIA 공식)
| 아키텍처 | |
| GPU 아키텍처 | NVIDIA Hopper |
|---|---|
| CUDA 코어 | 미공개 |
| 인터커넥트 | NVLink 600 GB/s |
| Tensor 코어 | 4세대 |
| 연산 성능 | |
| FP8 (Tensor) | 3,341 TFLOPS (희소성) |
| FP16 (Tensor) | 1,671 TFLOPS (희소성) |
| TF32 (Tensor) | 835 TFLOPS (희소성) |
| FP32 | 60 TFLOPS |
| FP64 | 30 TFLOPS |
| FP64 Tensor | 60 TFLOPS |
| 메모리 | |
| 용량 | 94 GB HBM3 |
| 인터페이스 | HBM3 |
| 대역폭 | 3.9 TB/s |
| ECC | 지원 |
| 미디어 엔진 | |
| 인코더 (NVENC) | 없음 |
| 디코더 (NVDEC) | 7개 |
| 코덱 | H.264 · HEVC 4:2:2 등 |
| 전력 · 폼팩터 | |
| 최대 소비전력 | 최대 400W |
| 폼팩터 | PCIe 듀얼슬롯 |
| 쿨링 | SXM |
| 연결 | |
| 버스 인터페이스 | PCIe 5.0 |
| 인터커넥트 | NVLink 600 GB/s |
| 기능 · 소프트웨어 | |
| MIG | 최대 7개 인스턴스 |
| 보안 | 기밀 컴퓨팅(Confidential Computing) 지원 |
| 소프트웨어 | NVIDIA AI Enterprise 지원 |
