리더스시스템즈

NVIDIA ACC > NVIDIA H200 NVLink Bridge 4-Way

NVIDIA H200 NVLink Bridge 4-Way
엔비디아코리아 정품

564GB HBM3e / NVLink BW 1800 GB/s
Up to 4x H200 NVL 141GB GPU
7 X Faster than PCIe
Llama3 405B within NVL4 (1x Node)
Supported Graphics Cards : NVIDIA H200 NVL

강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축을 위한
향상된 속도와 확장된 상호 연결을 지원합니다.

향상된 멀티 GPU 프로세싱
최근 떠오르고 있는 1조 매개 변수 모델을 비롯한 AI 및 HPC에서 컴퓨팅 수요가 증가함에 따라 모든 GPU 간의 원활한 고속 통신이 가능한 멀티 노드, 멀티 GPU 시스템의 필요성이 높아지고 있습니다. 비즈니스 속도를 충족할 수 있는 가장 강력한 엔드 투 엔드 컴퓨팅 플랫폼을 구축하려면 빠르고 확장 가능한 상호 연결이 필요합니다.
고속 GPU 상호 연결
NVLink™는 다중 GPU 시스템에 사용되는 기존의 PCE-E 기반 솔루션보다 훨씬 빠른 대안을 제공하는 세계 최초의 고속 GPU 상호 연결입니다. NVLink를 통해 두 개의 NVIDIA 그래픽 카드를 연결하면 메모리와 성능을 확장하면 가장 큰 전문적인 비주얼 컴퓨팅 워크로드의 요구사항도 만족시킬 수 있습니다.
H200 GPU NVLink Bridge
NVLink는 전문 애플리케이션의 멀티 GPU 구성을 통해 메모리와 성능을 쉽게 확장할 수 있게 합니다. 다양한 시스템에 맞는 로우 프로파일 디자인을 갖춘 NVIDIA NVLink 브릿지를 통해 4개 or 2개의 NVIDIA H200 GPU를 연결할 수 있습니다.

NVIDIA NVLink로 시스템 처리량 극대화

4세대 NVLink는 GPU 간 메모리 및 연산 공유를 통해 학습, 추론 및 추론 워크플로우를 지원하여 대규모 다중 GPU 시스템의 확장성을 크게 향상시킵니다. 단일 NVIDIA Hopper GPU는 최대 18개의 NVLink 50GB/s 연결을 지원하여 총 900GB/s의 대역폭을 제공합니다. 이는 이전 세대보다 2배, PCIe Gen5보다 7배 이상 높은 대역폭입니다. NVIDIA H200 NVLink Bridge를 활용하면 복잡한 대형 모델에 대한 확장성을 크게 향상시킵니다.

NVLink 대규모 성능

NVIDIA GB300의 NVLink는 이전 세대에 비해 GPU 간 통신 대역폭을 2배로 늘려 연구자들이 더 크고 정교한 애플리케이션을 사용하여 더 복잡한 문제를 해결할 수 있도록 합니다.

NVLink 통신으로 추론 처리량 증가

NVIDIA NVLink 및 NVLink 스위치를 사용하여
GPU를 완벽하게 연결

NVLink는 서버 내에서 여러 GPU의 입출력(IO)을 확장하는 1.8TB/s 속도의 양방향 직접 GPU 간 상호 연결입니다. NVIDIA NVLink 스위치 칩은 여러 NVLink를 연결하여 단일 랙 내부 및 랙 간에 최대 NVLink 속도로 모든 GPU 간 통신을 제공합니다. 고속의 집합적 운영을 가능하게 하기 위해 각 NVLink 스위치에는 네트워크 내 감소 및 멀티캐스트 가속을 위한 NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol(SHARP)™ 엔진이 탑재되어 있습니다.

NVLink 스위치 시스템을 사용하여 수조개 매개변수
모델에 대한 테스트 시간 추론 가속화

NVLink 스위치를 사용하면 NVLink 연결을 노드 전체로 확장하여 원활한 고대역폭의 다중 노드 GPU 클러스터를 구축하여 데이터센터 규모의 GPU를 효과적으로 구성할 수 있습니다. NVIDIA NVLink 스위치는 대규모 모델 병렬 처리를 위해 GB300 NVL72 한 대에서 130TB/s의 GPU 대역폭을 지원합니다. NVLink를 탑재한 다중 서버 클러스터는 컴퓨팅 용량 증가에 맞춰 GPU 통신을 확장하므로, NVL72는 단일 8-GPU 시스템보다 9배 많은 GPU를 지원할 수 있습니다.

NVIDIA NVLink 스위치

NVIDIA NVLink 5 스위치는 144개의 NVLink 포트와 14.4TB/s의 비차단 스위칭 용량을 제공합니다. 이 랙 스위치는 외부 5세대 NVLink 연결을 지원하는 NVIDIA GB300 NVL72 시스템에서 높은 대역폭과 낮은 지연 시간을 제공하도록 설계되었습니다.

엔터프라이즈에서 엑사스케일로 확장

비교할 수 없는 성능을 위한 완벽한 연결

NVLink 스위치는 비차단 컴퓨팅 패브릭에서 최대 576개의 완전히 연결된 GPU를 지원할 수 있는 최초의 랙 레벨 스위치 칩입니다. NVLink 스위치는 모든 GPU 쌍을 놀라운 1,800GB/s 속도로 상호 연결합니다. 완전한 올-투-올(all-to-all) 통신을 지원합니다. NVIDIA GB300 NVL72에 탑재된 72개의 GPU는 최대 1.4엑사플롭스(exaFLOPS)의 AI 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.

가장 강력한 AI 및 HPC 플랫폼

NVLink와 NVLink 스위치는 NVIDIA AI Enterprise 소프트웨어 제품군과 NVIDIA NGC™ 카탈로그의 하드웨어, 네트워킹, 소프트웨어, 라이브러리, 그리고 최적화된 AI 모델과 애플리케이션을 통합하는 완전한 NVIDIA 데이터 센터 솔루션의 필수 구성 요소입니다. 가장 강력한 엔드투엔드 AI 및 HPC 플랫폼인 NVLink는 연구자들이 실제 결과를 도출하고 솔루션을 프로덕션 환경에 배포할 수 있도록 지원하여 모든 규모에서 전례 없는 가속화를 실현합니다.

NVIDIA H200 NVLink Bridge 4-Way