NVIDIA Datacenter GPU > NVIDIA GB200 NVL72

NVIDIA GB200 NVL72
엔비디아코리아 정품

Configuration 36 Grace CPU : 72 Blackwell GPUs
FP4 Tensor Core 1,440 PFLOPS
FP8/FP6 Tensor Core 720 PFLOPS
INT8 Tensor Core 720 POPS
FP16/BF16 Tensor Core 360 PFLOPS
TF32 Tensor Core 180 PFLOPS
FP32 6,480 TFLOPS
FP64 3,240 TFLOPS
FP64 Tensor Core 3,240 TFLOPS

데이터시트 다운
NVIDIA GB200 NVL72 엔비디아코리아 정품

리더스시스템즈에서 제공하는 데이터 센터를 위한 맞춤형 솔루션

  • 워크스테이션 딥 러닝 솔루션

    딥 러닝 워크스테이션 솔루션을 통해 작업 공간에서 편리하게 AI 슈퍼 컴퓨팅 성능을 활용하고 NGC에서 필요한 모든 딥 러닝 소프트웨어를 사용할 수 있습니다. 이제 딥 러닝을 필요로 하는 누구든지 데스크 사이드 딥 러닝을 시작할 수 있습니다.

  • GPU 클라우드 컴퓨팅 솔루션

    모든 엔터프라이즈에서 물리적 데이터센터를 구축할 필요 없이 손쉽게 대규모 컴퓨팅 성능에 액세스할 수 있습니다. AI, 고성능 컴퓨팅(HPC) 및 의료 영상 활용, 차세대 그래픽 기술 적용 등 워크로드 전반에서 최고 성능을 경험할 수 있습니다.

  • 온 프레미스 가속 컴퓨팅 솔루션

    GPU 가속 데이터센터는 원하는 규모와 더 적은 수의 서버로 컴퓨팅 및 그래픽 워크로드에 혁신적인 성능을 제공하여 더 빠르게 정보를 얻고 비용을 획기적으로 절감할 수 있습니다. 가장 복잡한 딥 러닝 모델을 트레이닝하여 가장 심각한 문제를 해결하세요.

  • 엣지 컴퓨팅 솔루션

    현대 기업은 이제 수 십억 개의 IoT 센서를 통해 생성 된 데이터를 활용해 더 빠른 통찰력과 시간과 비용 절감을 할 수 있습니다. 실시간으로 결정을 내리고 강력하고 분산 된 컴퓨팅과 안전하고 간단한 원격 관리 및 업계 최고 기술과의 호환성을 기대할 수 있습니다.

실시간 1조 매개 변수 추론 및 훈련을 위한
Blackwell 랙 스케일 아키텍처

GB200 NVL72는 36개의 Grace CPU와 72개의 Blackwell GPU를 랙 스케일 디자인으로 연결합니다. GB200 NVL72는 수냉식 랙 스케일 솔루션으로, 단일 대규모 GPU처럼 작동하는 72-GPU NV링크 도메인을 자랑하며 1조개 파라미터 LLM 추론을 위해 30배 빠른 실시간 성능을 제공합니다. GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 두 개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 NVIDIA® NVLink®-C2C 인터커넥트를 사용하여 두 개의 Blackwell GPU에 NVIDIA Grace CPU를 연결합니다.

이미지

차세대 AI 및 가속 컴퓨팅 강화

GB200은 NVLink 도메인에서 36개 및 72개의 GPU를 지원합니다. 각 랙은 MGX 참조 설계 및 NVLink 스위치 시스템을 기반으로 18개의 컴퓨팅 노드를 호스팅합니다. 하나의 랙에 36개의 GPU와 9개의 듀얼 GB200 컴퓨팅 노드를 갖춘 GB200 NVL36 구성으로 제공됩니다. GB200 NVL72는 1개의 랙에 72개의 GPU와 18개의 듀얼 GB200 컴퓨팅 노드로 구성되거나, 18개의 단일 GB200 컴퓨팅 노드가 있는 2개의 랙에 72개의 GPU로 구성됩니다. GB200 NVL72는 작동 단순화를 위해 구리 케이블 카트리지를 사용하여 GPU를 촘촘하게 포장하고 상호 연결합니다. 또한 액체 냉각 시스템 설계를 사용하여 비용과 에너지 소비를 25배 절감합니다.

  • LLM Inference 30X vs. NVIDIA H100 Tensor Core GPU
  • LLM Training 4X vs. NVIDIA H100
  • Energy Efficiency 25X vs. NVIDIA H100
  • Data Processing 18X vs. CPU

LLM 추론 및 에너지 효율성: TTL = 50밀리초(ms) 실시간, FTL = 5초, 32,768 입력/1,024 출력, NVIDIA HGX™ H100 스케일 오버 InfiniBand(IB) 대 GB200 NVL72,
훈련 1.8T MOE 4096x HGX H100 스케일 오버 IB 대 456x GB200 NVL72 스케일 오버 IB. 클러스터 크기: 32,768
TPC-H Q4 쿼리에서 파생된 스내피/디플레이트 압축을 사용한 데이터베이스 병합 및 집계 워크로드. x86, H100 단일 GPU 및 GB200 NLV72의 단일 GPU와 Intel Xeon 8480+에 대한 사용자 맞춤형 쿼리 구현 비교 예상 성능은 변경될 수 있습니다.

  • 실시간 LLM 추론

    GB200 NVL72는 최첨단 기능과 2세대 Transformer Engine을 도입하여 FP4 AI를 구현하고 5세대 NVIDIA NVLink와 결합하면 1조 개 매개변수 언어 모델에 대해 30배 빠른 실시간 LLM 추론 성능을 제공합니다. 이러한 발전은 새로운 마이크로 스케일링 형식을 도입하여 높은 정확도와 더 많은 처리량을 제공하는 차세대 Tensor 코어를 통해 가능해졌습니다. 또한 GB200 NVL72는 NV링크와 액체 냉각을 사용하여 통신 병목 현상을 극복할 수 있는 단일 대규모 72-GPU 랙을 생성합니다.

  • 대규모 훈련

    GB200에는 FP8 정밀도를 갖춘 더 빠른 2세대 Transformer 엔진이 포함되어 있어 대규모 거대 언어 모델을 4배 더 빠르게 훈련할 수 있습니다. 이러한 혁신은 초당 1.8테라바이트(TB/s)의 GPU 간 인터커넥트, InfiniBand 네트워킹, NVIDIA Magnum IO™ 소프트웨어를 제공하는 5세대 NVLink를 통해 보완됩니다.

  • 에너지 효율적인 인프라

    수냉식 GB200 NVL72 랙은 데이터센터의 탄소 발자국과 에너지 소비를 줄여줍니다. 수냉식 냉각은 컴퓨팅 밀도를 높이고, 상면 사용 공간을 줄이며, 대규모 NVLink 도메인 아키텍처와의 고대역폭, 저지연 GPU 통신을 용이하게 합니다. NVIDIA H100 공랭식 인프라에 비해 GB200은 동일한 전력으로 25배 더 높은 성능을 제공하면서 물 소비는 줄입니다.

  • 데이터 처리

    데이터베이스는 기업의 대용량 데이터 처리, 처리 및 분석에서 중요한 역할을 합니다. GB200은 고대역폭 메모리 성능의 NVLink-C2C와 NVIDIA Blackwell 아키텍처의 전용 압축 해제 엔진을 활용하여 주요 데이터베이스 쿼리 속도를 CPU 대비 18배 향상시키고 TCO를 5배 절감합니다.

  • Blackwell 아키텍처

    NVIDIA Blackwell 아키텍처가 생성형 AI와 가속 컴퓨팅에 제공하는 획기적인 발전에 대해 알아보세요. 여러 세대에 걸친 NVIDIA 기술을 기반으로 구축된 Blackwell은 탁월한 성능, 효율성과 규모로 생성형 AI의 다음 장을 정의합니다. Blackwell 프로세서는 2,080억 개의 트랜지스터를 탑재하고 있으며 NVIDIA를 위해 맞춤 제작된 TSMC 4NP 프로세스를 사용하여 제조되었습니다.

  • NVIDIA Grace CPU

    NVIDIA Grace™는 막대한 양의 데이터를 처리하여 최대 에너지 효율성으로 인텔리전스를 생성하는 데이터센터를 위해 설계되었습니다. 이러한 데이터센터는 AI, 데이터 분석, 하이퍼스케일 클라우드 애플리케이션, 고성능 컴퓨팅(HPC) 같은 다양한 워크로드를 실행합니다. 데이터센터의 가장 까다로운 요구를 충족하며 오늘날 최고 수준의 서버에 비해 와트당 2배의 성능, 2배의 패키징 밀도, 가장 높은 메모리 대역폭을 제공합니다.

  • 5세대 NVIDIA NVLink

    엑사스케일 컴퓨팅과 매개 변수가 조 단위인 AI 모델의 잠재력을 최대한 활용하려면 서버 클러스터 내의 모든 GPU 간 통신이 빠르고 원활해야 합니다. 5세대 NVIDIA® NVLink®는 수조 개의 매개 변수 AI 모델의 성능을 가속하는 확장형 인터커넥트 기술을 지원합니다. 단일 NVIDIA Blackwell Tensor 코어 GPU는 최대 18개의 NVLink 100GB/s 연결을 지원하여 1.8TB/s의 총 대역폭을 구현합니다.

  • NVIDIA 네트워킹

    데이터센터의 네트워크는 분산된 AI 모델 훈련 및 생성형 AI 성능의 중추 역할을 하며 AI의 발전과 성능을 주도하는 데 중요한 역할을 합니다. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum-X800 이더넷 및 NVIDIA BlueField-3 DPU는 최적의 애플리케이션 성능을 위해 수백수천 개의 Blackwell GPU에서 효율적인 확장성을 지원합니다.

가속화된 최신 데이터센터를 위한 소프트웨어
모든 워크로드에 대해 최적화된 솔루션을 이용하세요.

데이터 사이언스와 AI를 발전시키려면 조직은 클라우드 및 데이터센터에서 엣지에 이르는 GPU 기반 시스템을 최적화할 수 있는 도구를 이용해야 합니다.
NVIDIA의 소프트웨어 솔루션은 모든 최신 워크로드를 포괄하므로 IT 관리자, 데이터 사이언티스트, DevOps 팀과 개발자가 필요한 것을 빠르고 쉽게 이용할 수 있습니다.

  • NVIDIA AI Enterprise

    모든 조직에서 AI를 사용할 수 있도록 최적화된 엔드 투 엔드 클라우드 기반 AI 및 데이터 분석 소프트웨어 제품군입니다. 엔터프라이즈 데이터센터에서 퍼블릭 클라우드에 이르기까지 어디에서나 배포할 수 있도록 인증받았고, AI 프로젝트를 순조롭게 진행하기 위한 글로벌 엔터프라이즈 지원이 포함됩니다.

  • NVIDIA® CUDA-X AI

    CUDA-X AI는 딥 러닝, 머신 러닝 및 HPC(고성능 컴퓨팅)를 위한 필수 최적화를 제공하는 NVIDIA의 획기적인 병렬 프로그래밍 모델인 CUDA® 위에 구축된 소프트웨어 가속화 라이브러리 컬렉션입니다. cuDNN, cuML, NVIDIA® TensorRT™, cuDF, cuGraph 및 13개 이상의 기타 라이브러리가 포함됩니다.

  • NVIDIA® Magnum IO™

    NVIDIA Magnum IO™는 병렬의 비동기식 지능형 데이터센터 IO를 위한 아키텍쳐로, 멀티 GPU, 멀티 노드 가속화를 위해 스토리지 및 네트워크 IO 성능을 극대화합니다. 스토리지 IO, 네트워크 IO, 인-네트워크 컴퓨팅 및 IO 관리를 활용하여 멀티 GPU, 멀티 노드 시스템을 위한 데이터 이동, 액세스 및 관리를 단순화하고 가속화합니다.

  • NVIDIA Fleet Command™

    NVIDIA Fleet Command™를 통해 엣지에서 시스템과 AI 애플리케이션의 프로비저닝 및 배포를 간소화하세요. 컨테이너 오케스트레이션을 위한 관리형 플랫폼으로 클라우드의 확장성과 복원력을 갖춘 분산 컴퓨팅 환경의 관리를 단순화하여 모든 사이트를 안전한 지능형 위치로 전환합니다.

  • NVIDIA Riva

    NVIDIA® Riva는 완전히 사용자 정의 가능한 실시간 대화형 AI 파이프라인을 구축하기 위한 GPU 가속 다국어 음성 및 번역 마이크로서비스 세트입니다. Riva에는 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 신경 기계 번역(NMT)이 포함되며 모든 장치에 배포할 수 있습니다. LLM(대형 언어 모델) 및 RAG(검색 증강 생성)를 활용하세요.

  • NVIDIA Base Command™ Manager

    엣지, 데이터 센터, 멀티 및 하이브리드 클라우드 환경에서 이기종 AI 및 고성능 컴퓨팅(HPC) 클러스터에 대한 빠른 배포와 엔드투엔드 관리를 제공합니다. 몇 개의 노드에서 수십만 개의 노드에 이르는 클러스터의 프로비저닝 및 관리를 자동화하고, NVIDIA GPU 가속 및 기타 시스템을 지원하며, Kubernetes와의 오케스트레이션을 활성화합니다.

  • NVIDIA® NGC™ 카탈로그

    NVIDIA NGC™는 엔터프라이즈 서비스, 소프트웨어, 관리 도구, 엔드 투 엔드 AI 및 디지털 트윈 워크플로우 지원을 위한 포털입니다. 완전 관리형 서비스를 통해 솔루션을 더 빠르게 출시하거나, 성능 최적화된 소프트웨어를 활용하여 선호하는 클라우드, 온프레미스, 엣지 시스템에서 솔루션을 구축하고 배포할 수 있습니다.

미션 크리티컬 AI를 위한 엔터프라이즈 인프라
NVIDIA DGX SuperPOD with DGX GB200 Systems

NVIDIA DGX GB200 시스템을 탑재한 NVIDIA DGX SuperPOD™는 1000조 매개변수 생성 AI 모델을 훈련하고 추론하기 위해 특별히 제작되었습니다. 각 수냉식 랙에는 NVIDIA NVLink로 하나로 연결된 36개의 NVIDIA GB200 Grace Blackwell Superchip(36개의 NVIDIA Grace CPU 및 72개의 Blackwell GPU)이 있습니다. 여러 랙을 NVIDIA Quantum InfiniBand와 연결하여 최대 수만 개의 GB200 슈퍼칩까지 확장할 수 있습니다.

  • 개발자 생산성 극대화

    지능형 제어 평면은 하드웨어, 소프트웨어 및 데이터 센터 인프라 전반에 걸쳐 수천 개의 데이터 포인트를 추적하여 지속적인 운영 및 데이터 무결성을 보장하고 유지 관리를 계획하며 가동 중지 시간을 방지하기 위해 클러스터를 자동으로 재구성합니다.

  • 생성적 AI를 위한 대규모 슈퍼컴퓨팅

    최대 수만 개의 NVIDIA GB200 Superchip으로 확장 가능한 DGX GB200 시스템을 갖춘 DGX SuperPOD는 최첨단 1조 매개변수 생성 AI 모델 에 대한 교육 및 추론을 손쉽게 수행합니다.

  • NVIDIA Grace Blackwell을 기반으로 구축

    각각 Grace CPU 1개와 Blackwell GPU 2개를 갖춘 NVIDIA GB200 Superchip은 5세대 NVLink를 통해 연결되어 초당 1.8테라바이트(TB/s)의 GPU-GPU 대역폭을 달성합니다.

Specifications

Specifications
GB200 NVL72 GB200 Grace Blackwell Superchip
Configuration 36 Grace CPU : 72 Blackwell GPUs 1 Grace CPU : 2 Blackwell GPUs
FP4 Tensor Core2 1,440 PFLOPS 40 PFLOPS
FP8/FP6 Tensor Core2 720 PFLOPS 20 PFLOPS
INT8 Tensor Core2 720 POPS 20 POPS
FP16/BF16 Tensor Core2 360 PFLOPS 10 PFLOPS
FP32 6,480 TFLOPS 180 TFLOPS
FP64 3,240 TFLOPS 90 TFLOPS
FP64 Tensor Core 3,240 TFLOPS 90 TFLOPS
GPU Memory | Bandwidth Up to 13.5 TB HBM3e | 576 TB/s Up to 384 GB HBM3e | 16 TB/s
NVLink Bandwidth 130 TB/s 3.6 TB/s
CPU Core Count 2,592 Arm® Neoverse V2 cores 72 Arm® Neoverse V2 cores
CPU Memory | Bandwidth Up to 17 TB LPDDR5X | Up to 18.4 TB/s Up to 480 GB LPDDR5X | Up to 512 GB/s

Information

상품명 NVIDIA GB200 NVL72 엔비디아코리아 정품
KC 인증번호 -
정격전압 / 최대소비전력 -
정품 품질 보증 3년 무상보증
출시년월 2024
제조사 NVIDIA Corporation
제조국 -
크기 -

제품문의

제품과 관련하여 궁금하신 사항을
문의하기를 통해 해결하세요.

문의 바로가기

기술지원 문의

A/S 서비스 및 기술지원 관련하여
궁금하신 사항을 문의하기를 통해 해결하세요.

문의 바로가기

교육문의

딥러닝 교육 및 트레이닝 관련하여
궁금하신 사항을 문의하기를 통해 해결하세요.

문의 바로가기
견적문의 교육문의
맨위로가기