NVIDIA Datacenter GPU > NVIDIA H200 NVL 141GB

NVIDIA H200 NVL 141GB
엔비디아코리아 정품

Hopper Architecture
Memory size 141GB
Memory bandwidth 4.8TB/s
FP64 34 TFLOPS
FP64 Tensor Core 67 TFLOPS
FP32 67 TFLOPS
TF32 Tensor Core 989 TFLOPS*
BFLOAT16 Tensor Core 1,979 TFLOPS*
FP16 Tensor Core 1,979 TFLOPS*
FP8 Tensor Core 3,958 TFLOPS*
INT8 Tensor Core 3,958 TOPS*

데이터시트 다운
NVIDIA H200 NVL 141GB

리더스시스템즈에서 제공하는 데이터 센터를 위한 맞춤형 솔루션

  • 워크스테이션 딥 러닝 솔루션

    딥 러닝 워크스테이션 솔루션을 통해 작업 공간에서 편리하게 AI 슈퍼 컴퓨팅 성능을 활용하고 NGC에서 필요한 모든 딥 러닝 소프트웨어를 사용할 수 있습니다. 이제 딥 러닝을 필요로 하는 누구든지 데스크 사이드 딥 러닝을 시작할 수 있습니다.

    딥러닝 솔루션 바로가기 >
  • GPU 클라우드 컴퓨팅 솔루션

    모든 엔터프라이즈에서 물리적 데이터센터를 구축할 필요 없이 손쉽게 대규모 컴퓨팅 성능에 액세스할 수 있습니다. AI, 고성능 컴퓨팅(HPC) 및 의료 영상 활용, 차세대 그래픽 기술 적용 등 워크로드 전반에서 최고 성능을 경험할 수 있습니다.

    클라우드 컴퓨팅 솔루션 바로가기 >
  • 온 프레미스 딥 러닝 솔루션

    GPU 가속 데이터센터는 원하는 규모와 더 적은 수의 서버로 컴퓨팅 및 그래픽 워크로드에 혁신적인 성능을 제공하여 더 빠르게 정보를 얻고 비용을 획기적으로 절감할 수 있습니다. 가장 복잡한 딥 러닝 모델을 트레이닝하여 가장 심각한 문제를 해결하세요.

    온 프레미스 솔루션 바로가기 >
  • 엣지 컴퓨팅 솔루션

    현대 기업은 이제 수 십억 개의 IoT 센서를 통해 생성 된 데이터를 활용해 더 빠른 통찰력과 시간과 비용 절감을 할 수 있습니다. 실시간으로 결정을 내리고 강력하고 분산 된 컴퓨팅과 안전하고 간단한 원격 관리 및 업계 최고 기술과의 호환성을 기대할 수 있습니다.

    엣지 컴퓨팅 솔루션 바로가기 >

최첨단 TSMC 4N 프로세스를 통해 800억 개 이상의
트랜지스터로 구축된 NVIDIA HOPPER 아키텍처

  • HPC 및 AI를 위한 전례 없는 가속화 4세대 Tensor 코어

    NVIDIA Hopper 아키텍처는 새로운 8비트 부동 소수점 정밀도(FP8)를 사용하는 Transformer Engine으로 4세대 Tensor 코어를 발전시켜 1조 매개변수 모델 교육을 위해 FP16보다 6배 더 높은 성능을 제공합니다. TF32, FP64, FP16 및 INT8 정밀도를 사용하여 3배 향상된 성능과 결합된 Hopper Tensor Core는 모든 워크로드에 최고의 속도 향상을 제공합니다.

  • NVIDIA 컨피덴셜 컴퓨팅

    강력한 하드웨어 기반 보안을 통해 사용자는 온프레미스, 클라우드, 엣지에서 애플리케이션을 실행할 수 있으며, 사용 중인 애플리케이션 코드와 데이터를 허가되지 않은 엔티티가 보거나 수정할 수 없다고 확신할 수 있습니다. 이를 통해 데이터와 애플리케이션의 기밀성과 무결성을 보호하는 동시에 AI 훈련, AI 추론, HPC 워크로드를 위한 H200 GPU의 전례 없는 가속에 액세스할 수 있습니다.

  • 4세대 NVIDIA® NVLink®

    컴퓨팅 집약적 워크로드에 대해 더 높은 대역폭과 감소된 지연 시간을 제공합니다. 고속 공동 작업을 가능하게 하기 위해 각 NVSwitch에는 네트워크 내 감소 및 멀티 캐스트 가속을 위한 NVIDIA SHARP ™ 용 엔진이 장착된 64개의 NVLink 포트가 있습니다.

  • 3세대 NVIDIA NVSwitch ™

    단일 서버에서 더 많은 GPU를 지원하며 GPU 사이에 완전한 대역폭 연결성을 보장하는 GPU 패브릭으로 딥 러닝 성능을 다음 단계로 끌어올립니다. 각 GPU의 NVLink 12개가 NVSwitch로 완전히 연결되어 올투올(All-to-all) 고속 통신을 지원합니다.

  • 2세대 MIG(Multi-Instance GPU)

    Hopper 아키텍처는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 다중 테넌트, 다중 사용자 구성을 지원하여 MIG를 더욱 강화하고 하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는 공유 인프라에서 안전한 고처리량 IVA를 제공합니다. 또한 동시 MIG 프로파일링을 통해 관리자는 적절한 크기의 GPU 가속을 모니터링하고 사용자를 위한 최적화된 리소스 할당이 가능합니다.

  • DPX Instructions

    동적 프로그래밍은 복잡한 재귀 문제를 더 간단한 하위 문제로 분해하여 해결하는 알고리즘 기술로 나중에 다시 계산할 필요가 없도록 하위 문제의 결과를 저장함으로써 기하급수적인 문제 해결의 시간과 복잡성을 줄입니다. Hopper의 DPX 명령은 동적 프로그래밍 알고리즘을 기존의 듀얼 소켓 CPU 전용 서버 대비 40배, NVIDIA Ampere 아키텍처 GPU 대비 7배 가속화합니다. 이를 통해 질병 진단 및 라우팅 최적화 시간뿐 아니라 그래프 분석 시간까지 획기적으로 단축할 수 있습니다.

가속화된 컴퓨팅을 위한 비약적인 도약

NVIDIA H200 Tensor Core GPU는 획기적인 성능과 메모리 기능으로 생성형 AI 및 고성능 컴퓨팅(HPC) 워크로드를 강화합니다. HBM3e를 탑재한 최초의 GPU인 H200의 더 크고 빠른 메모리는 생성형 AI 및 대규모 언어 모델(LLM)의 가속화를 촉진하는 동시에 HPC 워크로드를 위한 과학적 컴퓨팅을 발전시킵니다.

  • AI 트레이닝

    딥 러닝 신경망이 복잡해짐에 따라, AI 트레이닝 시간이 상당히 증가하면서 생산성이 저하되고 비용은 증가하게 되었습니다. NVIDIA GPU는 트레이닝을 가속화하여 보다 짧은 기간에 깊이 있는 정보를 얻음으로써 비용 및 기간을 단축하도록 합니다.

  • AI 추론

    추론은 트레이닝을 마친 신경망이 실질적으로 역할을 수행하는 영역입니다. 이미지, 음성, 비주얼 및 동영상 검색과 같은 새로운 데이터 요소가 등장함에 따라 추론은 수많은 AI 서비스의 중심에서 그에 대한 대답과 추천을 제공합니다.

  • 고성능 컴퓨팅(HPC)

    광범위한 분야에서 700개 이상의 애플리케이션이 GPU 컴퓨팅에 의해 가속화되며 이러한 애플리케이션을 개발, 최적화 및 배포하는데 C, C++, Fortran 및 Python 등의 인기 있는 언어가 사용되어 과학적 발견의 길을 닦고 있습니다.

  • 데이터 분석

    기존의 데이터 사이언스 워크플로우는 느리고 까다로웠으며, 데이터를 로드, 필터링, 조작하고, 모델을 학습하고 배포하는 데 CPU에 의존해 왔습니다. GPU는 인프라 비용을 대폭 절감하고 엔드 투 엔드 데이터 사이언스 워크플로우에 탁월한 성능을 제공합니다.

더 크고 빠른 메모리로 더 높은 성능

NVIDIA Hopper™ 아키텍처를 기반으로 하는 NVIDIA H200은 초당 4.8테라바이트(TB/s)의 141기가바이트(GB) HBM3e 메모리를 제공하는 최초의 GPU입니다. 이는 NVIDIA H100 Tensor Core GPU의 용량의 거의 두 배이며 메모리 대역폭은 1.4배 더 큽니다. H200의 더 크고 빠른 메모리는 생성 AI와 LLM을 가속화하는 동시에 더 나은 에너지 효율성과 낮은 총 소유 비용으로 HPC 워크로드에 대한 과학적 컴퓨팅을 발전시킵니다.

  • 고성능 LLM 추론으로 통찰력 잠금 해제

    끊임없이 진화하는 AI 환경에서 기업은 다양한 추론 요구 사항을 해결하기 위해 LLM에 의존합니다. AI 추론 가속기는 대규모 사용자 기반에 대해 규모에 맞게 배포할 때 가장 높은 처리량을 가장 낮은 TCO로 제공해야 합니다. H200은 Llama2와 같은 LLM을 처리할 때 H100 GPU에 비해 ​추론 속도를 최대 2배까지 높입니다.

    예비 사양입니다. 변경될 수 있습니다.
    Llama2 13B: ISL 128, OSL 2K | 처리량 | H100 SXM 1x GPU BS 64 | H200 SXM 1x GPU BS 128
    GPT-3 175B: ISL 80, OSL 200 | x8 H100 SXM GPU BS 64 | x8 H200 SXM GPU BS 128
    Llama2 70B: ISL 2K, OSL 128 | 처리량 | H100 SXM 1x GPU BS 8 | H200 SXM 1x GPU BS 32

  • 고성능 컴퓨팅을 슈퍼차지하세요

    메모리 대역폭은 더 빠른 데이터 전송을 가능하게 하여 복잡한 처리 병목 현상을 줄여주기 때문에 HPC 애플리케이션에 필수적입니다. 시뮬레이션, 과학 연구, 인공 지능과 같은 메모리 집약적 HPC 애플리케이션의 경우 H200의 더 높은 메모리 대역폭은 데이터에 효율적으로 액세스하고 조작할 수 있도록 보장하여 CPU에 비해 ​​최대 110배 더 빠른 결과를 얻을 수 있습니다.

    예비 사양. 변경될 수 있음.
    HPC MILC- 데이터 세트 NERSC Apex Medium | HGX H200 4-GPU | 듀얼 Sapphire Rapids 8480
    HPC 앱- CP2K: 데이터 세트 H2O-32-RI-dRPA-96points | GROMACS: 데이터 세트 STMV | ICON: 데이터 세트 r2b5 | MILC: 데이터 세트 NERSC Apex Medium | Chroma: 데이터 세트 HMC Medium | Quantum Espresso: 데이터 세트 AUSURF112 | 1x H100 SXM | 1x H200 SXM

  • 에너지 및 TCO 절감

    H200의 도입으로 에너지 효율성과 TCO가 새로운 수준에 도달했습니다. 이 최첨단 기술은 H100과 동일한 전력 프로필 내에서 비교할 수 없는 성능을 제공합니다. 더 빠를 뿐만 아니라 더 친환경적인 AI 공장과 슈퍼컴퓨팅 시스템은 AI와 과학 커뮤니티를 발전시키는 경제적 우위를 제공합니다.

    예상 성능은 변경될 수 있습니다. 입력 시퀀스 길이=128, 출력 시퀀스 길이=20에 대한 Megatron 530B 매개변수 모델 기반 챗봇에 대한 추론 | A100 클러스터: HDR IB 네트워크 | H100 클러스터: NVLink 스위치 시스템, NDR IB

H200 NVL로 주류 엔터프라이즈 서버를 위한 AI 가속을 실현

NVIDIA H200 NVL은 데이터 센터 내에 공간 제약이 있는 고객에게 이상적인 선택으로, 크기에 관계없이 모든 AI 및 HPC 워크로드에 대한 가속을 제공합니다. 이전 세대에 비해 메모리가 1.5배 증가하고 대역폭이 1.2배 증가하여 고객은 몇 시간 내에 LLM을 미세 조정하고 LLM 추론을 1.8배 더 빠르게 경험할 수 있습니다.

NVIDIA H200 NVL 141GB
  • 가속화된 데이터 분석

    데이터 분석은 종종 AI 애플리케이션 개발에서 대부분의 시간을 소모합니다. 대규모 데이터 세트가 여러 서버에 분산되어 있기 때문에 범용 CPU 전용 서버를 갖춘 스케일아웃 솔루션은 확장 가능한 컴퓨팅 성능의 부족으로 인해 정체됩니다.

    H200을 탑재한 가속 서버는 GPU당 3테라바이트/초(TB/s)의 메모리 대역폭과 NVLink 및 NVSwitch™를 통한 확장성과 함께 컴퓨팅 파워를 제공하여 고성능으로 데이터 분석을 처리하고 방대한 데이터 세트를 지원할 수 있습니다. NVIDIA Quantum-2 InfiniBand, Magnum IO 소프트웨어, GPU 가속 Spark 3.0, NVIDIA RAPIDS™ 와 결합된 NVIDIA 데이터 센터 플랫폼은 이러한 방대한 워크로드를 더 높은 성능과 효율성으로 가속화할 수 있는 독보적인 역량을 갖추고 있습니다.

  • 엔터프라이즈에 적합한 MIG

    IT 관리자는 데이터 센터에서 컴퓨팅 리소스의 활용도(피크 및 평균 모두)를 극대화하고자 합니다. 그들은 종종 컴퓨팅의 동적 재구성을 사용하여 사용 중인 워크로드에 적합한 크기의 리소스를 사용합니다.

    MIG를 탑재한 H200을 사용하면 인프라 관리자가 GPU 가속 인프라를 표준화하는 동시에 더욱 세부적으로 GPU 리소스를 프로비저닝할 수 있는 유연성을 확보하여 개발자에게 적절한 양의 가속 컴퓨팅을 안전하게 제공하고 모든 GPU 리소스의 사용을 최적화할 수 있습니다.

  • 내장된 기밀 컴퓨팅

    기존의 기밀 컴퓨팅 솔루션은 CPU 기반이어서 대규모 AI와 같은 컴퓨팅 집약적 워크로드에는 너무 제한적입니다. NVIDIA 기밀 컴퓨팅은 NVIDIA Hopper™ 아키텍처 의 기본 제공 보안 기능으로, H200을 이러한 기능을 갖춘 세계 최초의 가속기로 만들었습니다. NVIDIA Blackwell을 사용하면 사용 중인 데이터와 애플리케이션의 기밀성과 무결성을 보호하면서 성능을 기하급수적으로 높일 수 있는 기회가 생겨 그 어느 때보다 데이터 통찰력을 얻을 수 있습니다. 이제 고객은 가장 성능이 뛰어난 방식으로 전체 워크로드를 보호하고 격리하는 하드웨어 기반 신뢰할 수 있는 실행 환경(TEE)을 사용할 수 있습니다.

  • 대규모 AI 및 HPC를 위한 뛰어난 성능

    Hopper Tensor Core GPU는 테라바이트 규모의 가속 컴퓨팅을 위해 특별히 제작되었으며 대형 모델 AI 및 HPC에서 10배 더 높은 성능을 제공하는 NVIDIA Grace Hopper CPU+GPU 아키텍처를 구동합니다. NVIDIA Grace CPU는 Arm® 아키텍처의 유연성을 활용하여 가속 컴퓨팅을 위해 처음부터 설계된 CPU 및 서버 아키텍처를 만듭니다. Hopper GPU는 NVIDIA의 초고속 칩 간 상호 연결을 사용하여 Grace CPU와 페어링되어 PCIe Gen5보다 7배 빠른 900GB/s의 대역폭을 제공합니다. 이 혁신적인 디자인은 오늘날 가장 빠른 서버에 비해 GPU에 최대 30배 더 높은 총 시스템 메모리 대역폭을 제공하고 테라바이트 규모의 데이터를 실행하는 애플리케이션의 경우 최대 10배 더 높은 성능을 제공합니다.

엔터프라이즈 준비: AI 소프트웨어는 개발 및 배포를 간소화합니다.

NVIDIA H200은 5년 NVIDIA AI Enterprise 구독과 함께 제공되며 엔터프라이즈 AI 지원 플랫폼을 구축하는 방식을 간소화합니다. H200은 컴퓨터 비전, 음성 AI, 검색 증강 생성(RAG) 등을 포함한 프로덕션에 적합한 생성 AI 솔루션에 대한 AI 개발 및 배포를 가속화합니다.

NVIDIA AI Enterprise에는 엔터프라이즈 생성 AI 배포를 가속화하도록 설계된 사용하기 쉬운 마이크로서비스 세트인 NVIDIA NIM TM 이 포함됩니다. 함께 배포하면 엔터프라이즈급 보안, 관리 용이성, 안정성 및 지원이 제공됩니다. 이를 통해 더 빠른 비즈니스 가치와 실행 가능한 통찰력을 제공하는 성능 최적화된 AI 솔루션이 탄생합니다.

Specifications

GPU H200 NVL
FP64 34 TFLOPS
FP64 Tensor Core 67 TFLOPS
TF32 67 TFLOPS
TF32 Tensor Core 989 TFLOPS*
BFLOAT16 Tensor Core 1,979 TFLOPS*
FP16 Tensor Core 1,979 TFLOPS*
FP8 Tensor Core 3,958 TFLOPS*
INT8 Tensor Core 3,958 TFLOPS*
GPU Memory 141GB
GPU Memory Bandwidth 4.8TB/s
Decoders 7 NVDEC | 7 JPEG
Confidential Computing Supported
Max Thermal Design Power (TDP) Up to 600W (configurable)
Multi-Instance GPU Up to 7 MIGs @16.5GB each
Form Factor Included
Interconnect NVLink: 600GB/s PCIe Gen5: 128GB/s
Server Options Linux: R535 or later / Windows: R535 or later
NVIDIA AI Enterprise Included
  • - 희소성 표시, 예비 사양은 변경될 수 있습니다.

Information

상품명 NVIDIA H200 NVL 141GB 엔비디아코리아 정품
KC 인증번호 -
정격전압 / 최대소비전력 -
정품 품질 보증 3년 무상보증
출시년월 2024/04
제조사 NVIDIA Corporation
제조국 중국
크기 -

제품문의

제품과 관련하여 궁금하신 사항을
문의하기를 통해 해결하세요.

문의 바로가기

기술지원 문의

A/S 서비스 및 기술지원 관련하여
궁금하신 사항을 문의하기를 통해 해결하세요.

문의 바로가기

교육문의

딥러닝 교육 및 트레이닝 관련하여
궁금하신 사항을 문의하기를 통해 해결하세요.

문의 바로가기