| 제품명 | NVIDIA H100 NVL 94GB |
|---|---|
| 제품사양 |
Hopper architecture
Memory size 94GB Memory bandwidth 3.9TB/s FP64 30 TFLOPS FP64 Tensor Core 60 TFLOPS FP32 60 TFLOPS TF32 Tensor Core 835 TFLOPS* BFLOAT16 Tensor Core 1,671 TFLOPS* FP16 Tensor Core 1,671 TFLOPS* FP8 Tensor Core 3,341 TFLOPS* INT8 Tensor Core 3,341 TOPS* |
| 내용 |
최대 1,750억 개의 파라미터를 추론하는 LLM의 경우, NV링크 브리지가 있는 PCIe 기반 H100 NVL은 Transformer 엔진, NV링크 및 188GB HBM3 메모리를 활용하여 모든 데이터센터에서 최적의 성능과 간편한 확장을 제공함으로써 LLM을 메인스트림으로 가져옵니다. H100 NVL GPU가 탑재된 서버는 전력 제약이 있는 데이터센터 환경에서 낮은 레이턴시를 유지하면서 NVIDIA DGX™ A100 시스템보다 GPT-175B 모델
|