제품문의
제품과 관련하여 궁금하신 사항을
문의하기를 통해 해결하세요.
AI and Data Science
Data Center &
Cloud Computing
Design and
Visualization
Robotics &
Edge Computing
HPC-Performance
Computing
Self-Driving Vehicles
8x NVIDIA Blackwell GPUs
GPU Memory 1,440GB total
CPU : 2 Intel® Xeon® Platinum 8570 Processors
112 Cores total, 2.1 GHz (Base), 4 GHz (Max Boost)
System Memory Up to 4 TB
Performance : 72 petaFLOPS training, 144 petaFLOPS inference
NVIDIA® NVSwitch™ : 2x
NVIDIA NVLink Bandwidth 14.4 TB/s aggregate bandwidth
Storage : OS: 2x 1.9TB NVMe M.2
Internal storage: 8x 3.84TB NVMe U.2
NVIDIA DGX™ B200은 비교할 수 없는 성능, 효율성 및 규모로 생성 AI의 다음 장을 정의합니다. 8개의 Blackwell GPU로 구성되며 1.4 TB의 대용량 GPU 메모리, 초당 64 TB/s의 HBM3e 메모리 대역폭, 14.4TB/s의 all-to-all 메모리 대역폭을 제공합니다.
NVIDIA Blackwell 아키텍처 기반으로 하는 DGX B200은 DGX H100 대비 3배의 훈련 성능과 15배의 추론 성능을 제공합니다. NVIDIA DGX BasePOD™ 및 NVIDIA DGX SuperPOD™의 기반인 DGX B200은 모든 워크로드에 최첨단 성능을 제공합니다.
엔터프라이즈는 훈련에서 미세 조정, 추론에 이르는 AI 파이프라인 전 단계에서 복잡한 AI 데이터세트를 처리하기 위해 막대한 컴퓨팅 성능이 필요합니다. NVIDIA DGX B200을 통해 엔터프라이즈는 워크플로우를 가속화하도록 구축된 단일 플랫폼으로 개발자를 무장할 수 있습니다.
DGX B200은 완전히 최적화된 하드웨어 및 소프트웨어 플랫폼으로, NVIDIA Base Command 및 NVIDIA AI Enterprise 소프트웨어, 풍부한 타사 지원 에코시스템, NVIDIA 전문 서비스의 전문가 조언을 포함한 완전한 NVIDIA AI 소프트웨어 스택이 포함되어 있습니다.
딥 러닝 워크스테이션 솔루션을 통해 작업 공간에서 편리하게 AI 슈퍼 컴퓨팅 성능을 활용하고 NGC에서 필요한 모든 딥 러닝 소프트웨어를 사용할 수 있습니다. 이제 딥 러닝을 필요로 하는 누구든지 데스크 사이드 딥 러닝을 시작할 수 있습니다.
딥러닝 솔루션 바로가기 >모든 엔터프라이즈에서 물리적 데이터센터를 구축할 필요 없이 손쉽게 대규모 컴퓨팅 성능에 액세스할 수 있습니다. AI, 고성능 컴퓨팅(HPC) 및 의료 영상 활용, 차세대 그래픽 기술 적용 등 워크로드 전반에서 최고 성능을 경험할 수 있습니다.
클라우드 컴퓨팅 솔루션 바로가기 >GPU 가속 데이터센터는 원하는 규모와 더 적은 수의 서버로 컴퓨팅 및 그래픽 워크로드에 혁신적인 성능을 제공하여 더 빠르게 정보를 얻고 비용을 획기적으로 절감할 수 있습니다. 가장 복잡한 딥 러닝 모델을 트레이닝하여 가장 심각한 문제를 해결하세요.
온 프레미스 솔루션 바로가기 >현대 기업은 이제 수 십억 개의 IoT 센서를 통해 생성 된 데이터를 활용해 더 빠른 통찰력과 시간과 비용 절감을 할 수 있습니다. 실시간으로 결정을 내리고 강력하고 분산 된 컴퓨팅과 안전하고 간단한 원격 관리 및 업계 최고 기술과의 호환성을 기대할 수 있습니다.
엣지 컴퓨팅 솔루션 바로가기 >Blackwell 프로세서는 2,080억 개의 트랜지스터를 탑재하고 있으며 NVIDIA를 위해 맞춤 제작된 TSMC 4NP 프로세스를 사용하여 제조되었습니다. 모든 Blackwell 제품은 10TB/s의 칩 간 상호 연결을 통해 연결된 레티클 제한 다이 2개를 제공하여 캐시가 완전히 일관되고 CUDA와 호환되는 단일 GPU 슈퍼칩에서 GPU 다이 2개의 성능을 제공합니다.
FP8(8비트 부동점) 및 FP16(16비트 부동점) 정밀도로 교육을 가속화하는 트랜스포머 엔진 기술을 지원하는 것 외에도 Blackwell은 새로운 생성형 AI 엔진을 도입합니다. 생성형 AI 엔진은 NVIDIA® TensorRT™-LLM 및 NeMo™ Framework 혁신과 결합된 맞춤형 Blackwell Tensor 코어 기술을 사용하여 거대 언어 모델(LLM) 및 전문가 혼합(MoE) 모델의 추론 및 교육을 가속화합니다.
NVIDIA NVLink 스위치 칩은 하나의 72-GPU NVLink 도메인에서 130TB/s의 GPU 대역폭을 구현하며, NVIDIA 확장 가능한 계층적 집계 및 감소 프로토콜(SHARP)™ FP8 지원으로 4배의 대역폭 효율성을 달성합니다. 또한 1.8TB/s의 놀라운 상호 연결 속도로 단일 서버 이상의 클러스터를 지원하고 있습니다.
NVIDIA Blackwell은 업계 최초의 TEE-I/O 지원 GPU로, NVIDIA® NVLink®를 통한 인라인 보호 및 TEE-I/O 지원 호스트와 함께 최고 성능의 컨피덴셜 컴퓨팅 솔루션을 제공합니다. AI의 IP를 보호하고 기밀 AI 훈련, 추론 및 Federated Learning을 안전하게 지원하는 것은 물론 가장 큰 모델도 성능이 뛰어난 방식으로 보호할 수 있습니다.
Blackwell의 Decompression Engine과 고속 링크(900GB/s 양방향 대역폭)를 통해 NVIDIA Grace™ CPU의 방대한 메모리에 액세스하는 기능은 데이터에서 최고의 성능을 위해 데이터베이스 쿼리의 전체 파이프라인을 가속화합니다. LZ4, Snappy 및 Deflate와 같은 최신 압축 형식을 지원하여 분석 및 데이터 사이언스를 지원합니다.
Blackwell은 발생할 수 있는 잠재적인 결함을 조기에 식별하여 가동 중단 시간을 최소화하기 위해 전용 RAS 엔진으로 지능형 복원력을 추가합니다. NVIDIA의 RAS 엔진은 우려되는 영역을 식별하고 유지 관리를 계획할 수 있는 심층 진단 정보를 제공합니다. RAS 엔진은 문제의 원인을 신속하게 파악하여 소요 시간을 단축하고 효과적인 해결을 촉진하여 가동 중단 시간을 최소화합니다.
딥 러닝 신경망이 더욱 복잡 해짐에 따라 훈련 시간이 크게 증가하여 생산성이 낮아지고 비용이 높아집니다. NVIDIA의 딥 러닝 기술과 완전한 솔루션 스택은 AI 교육을 크게 가속화하여 더 짧은 시간에 더 깊은 통찰력을 얻고 상당한 비용을 절감하며 ROI 달성 시간을 단축합니다.
이제 컴퓨터는 스스로 학습하고 생각할 수 있는 단계 까지 왔습니다. 이로 인해 로봇, 의료, 자율 주행 차량 분야 등에서 혁신적인 기회가 생겨나고 있습니다. 딥 러닝 애플리케이션을 설계하고 개발하면 이러한 놀라운 기회를 직접 만나보실 수 있습니다.
NVIDIA Tensor 코어 GPU의 성능을 얻기 위한 핵심인 고성능 인퍼런스 플랫폼은 CPU로만 구성된 플랫폼과 비교해 최대 40배 높은 처리량을 제공하는 동시에 지연 시간을 최소화합니다. TensorRT를 사용하면 모든 프레임워크에서 시작하여 트레이닝한 신경망을 생산에서 빠르게 최적화, 검증 및 배포할 수 있습니다.
GPU 가속 딥 러닝 프레임 워크는 사용자 지정 심층 신경망을 설계 및 훈련하는 유연성을 제공하고 Python 및 C/C ++와 같이 일반적으로 사용되는 프로그래밍 언어에 대한 인터페이스를 제공합니다. TensorFlow, PyTorch 등과 같은 모든 주요 딥 러닝 프레임 워크 는 이미 GPU 가속화되어 있어 GPU 프로그래밍없이 몇 분 만에 생산성을 높일 수 있습니다.
비즈니스는 머신 러닝을 사용하여 제품, 서비스 및 운영을 개선합니다. 대량의 과거 데이터를 활용하여 고객 행동을 예측하고 내부 프로세스를 개선하기 위한 모델을 구축할 수 있습니다. 머신 러닝은 엔터프라이즈에 놀라운 가치를 제공하지만 오늘날의 CPU 기반 방식은 복잡성과 오버헤드를 가중시켜 비즈니스의 투자 수익을 감소시킬 수 있습니다.
모델 반복으로 인한 오버헤드 추가, 다운 샘플링으로 모델의 정확도 감소 또는 모델 프로덕션화에 걸리는 시간 소모 등 최적화된 하드웨어와 소프트웨어를 결합하여 기존에 존재하던 머신 러닝의 복잡성과 비효율성이 사라지고 비즈니스에서 가속화된 머신 러닝의 성능을 활용 가능합니다.
고성능 처리 기능을 통해 테라바이트 단위의 데이터세트를 분석하여 더 정확한 결과를 도출하고 더 빠르게 보고할 수 있으며 모든 데이터를 활용하여 더 나은 비즈니스 의사 결정을 내리고, 조직의 성과를 개선하고, 고객의 요구를 더 잘 충족할 수 있습니다.
CPU 기반 업계 표준보다 19배 빠른 솔루션으로 프로세스가 끝날 때까지 기다리는 시간은 줄이고 솔루션 반복과 테스트에 더 많은 시간을 할애할 수 있으며 CPU 기반 업계 표준보다 7배 비용 효율적인 솔루션을 갖춘 GPU 가속화로 예산을 최대한 활용할 수 있습니다.
데이터 사이언스와 AI를 발전시키려면 조직은 클라우드 및 데이터센터에서 엣지에 이르는 GPU 기반 시스템을 최적화할 수 있는 도구를 이용해야 합니다. NVIDIA의 소프트웨어 솔루션은 모든 최신 워크로드를 포괄하므로 IT 관리자, 데이터 사이언티스트, DevOps 팀과 개발자가 필요한 것을 빠르고 쉽게 이용할 수 있습니다.
온프레미스나 클라우드 또는 엣지에서 가상 시스템(VM)을 완전히 격리할 수 있으며, 사용 중인 데이터와 AI 워크로드의 기밀성과 무결성을 보호합니다. 또한 NVIDIA의 GPU 최적화 소프트웨어를 사용하면 보안, 개인 정보 보호, 규정 준수를 유지하면서 엔드 투 엔드 AI 워크로드를 가속화할 수 있습니다.
NVLink®는 수조 개의 매개 변수 AI 모델의 성능을 가속하는 확장형 인터커넥트 기술을 지원합니다. NVLink는 서버 내에서 멀티 GPU 입출력(IO)을 확장하는 GPU 간 직접적 1.8TB/s 양방향 상호 연결 기술입니다. NVIDIA NVLink Switch 칩은 여러 NVLink를 연결하여 단일 랙 및 랙 간 전체 NVLink 속도에서 올 투 올 GPU 통신을 제공합니다.
Tensor 코어는 혼합 정밀도 컴퓨팅을 지원해 정확도를 유지하고 향상된 보안을 제공하면서 처리량을 가속화하도록 계산을 동적으로 조정할 수 있습니다. NVIDIA Tensor 코어는 매개 변수가 1조 개인 생성형 AI 모델 훈련 속도 4배 개선부터 추론 성능 30배 향상에 이르기까지 최신 AI 팩토리의 모든 워크로드를 가속화합니다.
데이터 사이언스와 AI를 발전시키려면 조직은 클라우드 및 데이터센터에서 엣지에 이르는 GPU 기반 시스템을
최적화할 수 있는 도구를 이용해야 합니다.
NVIDIA의 소프트웨어 솔루션은 모든 최신 워크로드를 포괄하므로
IT 관리자, 데이터 사이언티스트, DevOps 팀과 개발자가 필요한 것을 빠르고 쉽게 이용할 수 있습니다.
모든 조직에서 AI를 사용할 수 있도록 최적화된 엔드 투 엔드 클라우드 기반 AI 및 데이터 분석 소프트웨어 제품군입니다. 엔터프라이즈 데이터센터에서 퍼블릭 클라우드에 이르기까지 어디에서나 배포할 수 있도록 인증받았고, AI 프로젝트를 순조롭게 진행하기 위한 글로벌 엔터프라이즈 지원이 포함됩니다.
CUDA-X AI는 딥 러닝, 머신 러닝 및 HPC(고성능 컴퓨팅)를 위한 필수 최적화를 제공하는 NVIDIA의 획기적인 병렬 프로그래밍 모델인 CUDA® 위에 구축된 소프트웨어 가속화 라이브러리 컬렉션입니다. cuDNN, cuML, NVIDIA® TensorRT™, cuDF, cuGraph 및 13개 이상의 기타 라이브러리가 포함됩니다.
NVIDIA Magnum IO™는 병렬의 비동기식 지능형 데이터센터 IO를 위한 아키텍처로, 멀티 GPU, 멀티 노드 가속화를 위해 스토리지 및 네트워크 IO 성능을 극대화합니다. 스토리지 IO, 네트워크 IO, 인-네트워크 컴퓨팅 및 IO 관리를 활용하여 멀티 GPU, 멀티 노드 시스템을 위한 데이터 이동, 액세스 및 관리를 단순화하고 가속화합니다.
NVIDIA Fleet Command™를 통해 엣지에서 시스템과 AI 애플리케이션의 프로비저닝 및 배포를 간소화하세요. 컨테이너 오케스트레이션을 위한 관리형 플랫폼으로, 클라우드의 확장성과 복원력을 갖춘 분산 컴퓨팅 환경의 관리를 단순화하여 모든 사이트를 안전한 지능형 위치로 전환합니다.
NVIDIA® Riva는 완전히 사용자 정의 가능한 실시간 대화형 AI 파이프라인을 구축하기 위한 GPU 가속 다국어 음성 및 번역 마이크로서비스 세트입니다. Riva에는 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 신경 기계 번역(NMT)이 포함되며 모든 장치에 배포할 수 있습니다. LLM(대형 언어 모델) 및 RAG(검색 증강 생성)를 활용하세요.
엣지, 데이터 센터, 멀티 및 하이브리드 클라우드 환경에서 이기종 AI 및 고성능 컴퓨팅(HPC) 클러스터에 대한 빠른 배포와 엔드투엔드 관리를 제공합니다. 몇 개의 노드에서 수십만 개의 노드에 이르는 클러스터의 프로비저닝 및 관리를 자동화하고, NVIDIA GPU 가속 및 기타 시스템을 지원하며, Kubernetes와의 오케스트레이션을 활성화합니다.
NVIDIA NGC™는 엔터프라이즈 서비스, 소프트웨어, 관리 도구, 엔드 투 엔드 AI 및 디지털 트윈 워크플로우 지원을 위한 포털입니다. 완전 관리형 서비스를 통해 솔루션을 더 빠르게 출시하거나, 성능 최적화된 소프트웨어를 활용하여 선호하는 클라우드, 온프레미스, 엣지 시스템에서 솔루션을 구축하고 배포할 수 있습니다.
NVIDIA AI 엔터프라이즈 소프트웨어 제품군에는 NVIDIA 최고의 데이터 과학 도구, 사전 훈련된 모델, 최적화된 프레임워크 등이 포함되어 있으며 NVIDIA 엔터프라이즈 지원이 완벽하게 지원됩니다. NVIDIA AI Enterprise는 DGX 플랫폼에 포함되어 있으며 NVIDIA Base Command와 함께 사용됩니다.
NVIDIA AI Enterprise는 데이터 사이언스 파이프라인을 가속화하고 생성형 AI를 포함한 프로덕션급 AI 애플리케이션의 개발 및 배포를 간소화하는 엔드 투 엔드 클라우드 네이티브 소프트웨어 플랫폼입니다. AI를 기반으로 비즈니스를 운영하는 기업들은 파일럿에서 프로덕션으로 원활하게 전환할 수 있도록 NVIDIA AI Enterprise가 제공하는 보안, 지원 및 안정성을 신뢰합니다. AI 실무자를 위한 동급 최고의 개발 도구, 프레임 워크, 사전 트레이닝된 모델과 IT 전문가를 위한 신뢰할 수 있는 관리 및 오케스트레이션을 통해 성능, 고가용성, 보안을 보장합니다.
MIG 없이 동일한 GPU에서 서로 다른 AI 추론 요청 등의 다양한 작업을 실행하면 각 작업이 동일한 리소스를 두고 경쟁합니다. 더 큰 메모리 대역폭을 소비하는 작업이 다른 작업을 방해하여 일부 작업은 지연 시간 목표를 달성하지 못하는 결과가 발생합니다. MIG를 사용하면 컴퓨팅, 메모리, 메모리 대역폭을 위한 전용 리소스를 갖춘 서로 다른 인스턴스에서 작업이 동시에 실행되므로 서비스 품질을 통한 예측 가능한 성능과 GPU 사용률을 극대화할 수 있습니다.
MIG를 사용하면 단일 GPU에서 최대 7배 더 많은 GPU 리소스를 달성할 수 있습니다. MIG는 연구자와 개발자에게 그 어느 때보다 더 많은 리소스와 유연성을 제공합니다.
MIG는 여러 다양한 인스턴스 크기를 선택할 수 있는 유연성을 제공하여 각 워크로드에 적절한 크기의 GPU 인스턴스를 프로비저닝할 수 있으므로, 궁극적으로 활용도를 최적화하고 데이터센터 투자를 극대화할 수 있습니다.
MIG를 사용하면 확정된 지연 시간 및 처리량으로 단일 GPU에서 추론, 트레이닝, 고성능 컴퓨팅(HPC) 워크로드를 동시에 실행할 수 있습니다. 타임 슬라이싱과 달리 각 워크로드가 병렬로 실행되어 고성능을 제공합니다.
NVIDIA 엔터프라이즈 서비스는 DGX 인프라에 대한 지원, 교육 및 전문 서비스를 제공합니다. AI 여정의 모든 단계에서 NVIDIA 전문가를 이용할 수 있는 엔터프라이즈 서비스는 프로젝트를 빠르고 성공적으로 시작하고 실행하는 데 도움을 줄 수 있습니다.
모든 NVIDIA DGX™ 플랫폼에는 DGX 인프라, NVIDIA AI Enterprise 및 NVIDIA Base Command™ 소프트웨어에 대한 엔터프라이즈 지원이 포함되어 있으며 여기에는 강화된 시스템 소프트웨어, 최적화된 AI 라이브러리, 세계적 수준의 클러스터 관리, 강력한 작업 예약 및 워크로드 조정이 포함됩니다. NVIDIA DGX 배포를 최대한 활용하고 NVIDIA 전문성과 입증된 방법론을 통해 AI 실험을 간소화하세요.
예상 성능은 변경될 수 있습니다. 토큰 간 지연 시간(TTL) = 실시간 50ms, 첫 토큰 지연 시간(FTL) = 5초, 입력 시퀀스 길이 = 32,768, 출력 시퀀스 길이 = 1,028, 8x 8방향 DGX H100 GPU 공냉식 대 1x 8방향 DGX B200 공냉식, GPU당 성능 비교입니다.
예상 성능은 변경될 수 있습니다. 32,768개의 GPU 규모, 4,096배 8방향 DGX H100 공랭식 클러스터: 400G IB 네트워크, 4,096x 8방향 DGX B200 공랭식 클러스터: 400G IB 네트워크
GPU | 8x NVIDIA Blackwell GPU |
---|---|
GPU Memory | 1,440GB total GPU memory |
Performance | 72 petaFLOPS training and 144 petaFLOPS inference |
Power Consumption | ~14.3kW max |
CPU |
2 Intel® Xeon® Platinum 8570 Processors 112 Cores total, 2.1 GHz (Base), 4 GHz (Max Boost) |
System Memory | Up to 4TB |
Networking |
|
Management network |
10Gb/s onboard NIC with RJ45 100Gb/s dual-port ethernet NIC Host baseboard management controller (BMC) with RJ45 |
Storage |
|
Software |
NVIDIA AI Enterprise: Optimized AI Software NVIDIA Base Command™: Orchestration, Scheduling, and Cluster Management DGX OS / Ubuntu: Operating system |
Rack Units (RU) | 10 RU |
System Dimensions | Height: 17.5in (444mm), Width: 19.0in (482.2mm), Length: 35.3in (897.1mm) |
Operating Temperature | 5–30°C (41–86°F) |
Enterprise Support |
Three-year Enterprise Business-Standard Support for hardware and software 24/7 Enterprise Support portal access Live agent support during local business hours |
상품명 | NVIDIA DGX B200 엔비디아 코리아 정품 |
---|---|
KC 인증번호 | - |
정격전압 / 최대소비전력 | ~14.3kW max |
정품 품질 보증 | 3년 무상보증 |
출시년월 | 2024 |
제조사 | NVIDIA Corporation |
제조국 | 중국 |
크기 | - |