제품문의
제품과 관련하여 궁금하신 사항을
문의하기를 통해 해결하세요.
NVIDIA H100 PCIe
엔비디아코리아 정품
Ampere Architecture
Memory size 80GB HBM2e with ECC
Memory bandwidth 2TB/s
FP64 26 TFLOPS
FP64 Tensor Core 51 TFLOPS
FP32 51 TFLOPS
TF32 Tensor Core 756 TFLOPS*
BFLOAT16 Tensor Core 1,513 TFLOPS*
FP16 Tensor Core 1,513 TFLOPS*
FP8 Tensor Core 3,026 TFLOPS*
INT8 Tensor Core 3,026 TOPS*
리더스시스템즈에서 제공하는 데이터 센터를 위한 맞춤형 솔루션
-
워크스테이션 딥 러닝 솔루션딥러닝 솔루션 바로가기 >
딥 러닝 워크스테이션 솔루션을 통해 작업 공간에서 편리하게 AI 슈퍼 컴퓨팅 성능을 활용하고 NGC에서 필요한 모든 딥 러닝 소프트웨어를 사용할 수 있습니다. 이제 딥 러닝을 필요로 하는 누구든지 데스크 사이드 딥 러닝을 시작할 수 있습니다.
-
GPU 클라우드 컴퓨팅 솔루션클라우드 컴퓨팅 솔루션 바로가기 >
모든 엔터프라이즈에서 물리적 데이터센터를 구축할 필요 없이 손쉽게 대규모 컴퓨팅 성능에 액세스할 수 있습니다. AI, 고성능 컴퓨팅(HPC) 및 의료 영상 활용, 차세대 그래픽 기술 적용 등 워크로드 전반에서 최고 성능을 경험할 수 있습니다.
-
온 프레미스 딥 러닝 솔루션온 프레미스 솔루션 바로가기 >
GPU 가속 데이터센터는 원하는 규모와 더 적은 수의 서버로 컴퓨팅 및 그래픽 워크로드에 혁신적인 성능을 제공하여 더 빠르게 정보를 얻고 비용을 획기적으로 절감할 수 있습니다. 가장 복잡한 딥 러닝 모델을 트레이닝하여 가장 심각한 문제를 해결하세요.
-
엣지 컴퓨팅 솔루션엣지 컴퓨팅 솔루션 바로가기 >
현대 기업은 이제 수 십억 개의 IoT 센서를 통해 생성 된 데이터를 활용해 더 빠른 통찰력과 시간과 비용 절감을 할 수 있습니다. 실시간으로 결정을 내리고 강력하고 분산 된 컴퓨팅과 안전하고 간단한 원격 관리 및 업계 최고 기술과의 호환성을 기대할 수 있습니다.
최첨단 TSMC 4N 프로세스를 통해 800억 개 이상의
트랜지스터로 구축된 NVIDIA HOPPER 아키텍처
-
HPC 및 AI를 위한 전례 없는 가속화 4세대 Tensor 코어
NVIDIA Hopper 아키텍처는 새로운 8비트 부동 소수점 정밀도(FP8)를 사용하는 Transformer Engine으로 4세대 Tensor 코어를 발전시켜 1조 매개변수 모델 교육을 위해 FP16보다 6배 더 높은 성능을 제공합니다. TF32, FP64, FP16 및 INT8 정밀도를 사용하여 3배 향상된 성능과 결합된 Hopper Tensor Core는 모든 워크로드에 최고의 속도 향상을 제공합니다.
-
NVIDIA 컨피덴셜 컴퓨팅
강력한 하드웨어 기반 보안을 통해 사용자는 온프레미스, 클라우드, 엣지에서 애플리케이션을 실행할 수 있으며, 사용 중인 애플리케이션 코드와 데이터를 허가되지 않은 엔티티가 보거나 수정할 수 없다고 확신할 수 있습니다. 이를 통해 데이터와 애플리케이션의 기밀성과 무결성을 보호하는 동시에 AI 훈련, AI 추론, HPC 워크로드를 위한 H100 GPU의 전례 없는 가속에 액세스할 수 있습니다.
-
4세대 NVIDIA® NVLink®
컴퓨팅 집약적 워크로드에 대해 더 높은 대역폭과 감소된 지연 시간을 제공합니다. 고속 공동 작업을 가능하게 하기 위해 각 NVSwitch에는 네트워크 내 감소 및 멀티 캐스트 가속을 위한 NVIDIA SHARP ™ 용 엔진이 장착된 64개의 NVLink 포트가 있습니다.
-
3세대 NVIDIA NVSwitch ™
단일 서버에서 더 많은 GPU를 지원하며 GPU 사이에 완전한 대역폭 연결성을 보장하는 GPU 패브릭으로 딥 러닝 성능을 다음 단계로 끌어올립니다. 각 GPU의 NVLink 12개가 NVSwitch로 완전히 연결되어 올투올(All-to-all) 고속 통신을 지원합니다.
-
2세대 MIG(Multi-Instance GPU)
Hopper 아키텍처는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 다중 테넌트, 다중 사용자 구성을 지원하여 MIG를 더욱 강화하고 하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는 공유 인프라에서 안전한 고처리량 IVA를 제공합니다. 또한 동시 MIG 프로파일링을 통해 관리자는 적절한 크기의 GPU 가속을 모니터링하고 사용자를 위한 최적화된 리소스 할당이 가능합니다.
-
DPX Instructions
동적 프로그래밍은 복잡한 재귀 문제를 더 간단한 하위 문제로 분해하여 해결하는 알고리즘 기술로 나중에 다시 계산할 필요가 없도록 하위 문제의 결과를 저장함으로써 기하급수적인 문제 해결의 시간과 복잡성을 줄입니다. Hopper의 DPX 명령은 동적 프로그래밍 알고리즘을 기존의 듀얼 소켓 CPU 전용 서버 대비 40배, NVIDIA Ampere 아키텍처 GPU 대비 7배 가속화합니다. 이를 통해 질병 진단 및 라우팅 최적화 시간뿐 아니라 그래프 분석 시간까지 획기적으로 단축할 수 있습니다.
타의 추종을 불허하는 성능, 보안, 확장성을
자랑하는 엔터프라이즈 AI를 개발 및 배포하세요.
메인스트림 서버 내 NVIDIA H100 GPU를 위한 최고의 AI 소프트웨어 NVIDIA AI 플랫폼의 운영 체제인 NVIDIA AI Enterprise 소프트웨어 제품군은 음성 AI, 추천인, 고객 서비스 챗봇, 사이버 보안 등과 같은 NVIDIA의 광범위한 프레임워크 라이브러리와 함께 구축된 제작 지원을 갖춘 애플리케이션에 필수 요건입니다. NVIDIA H100 PCIe GPU에는 NVIDIA AI Enterprise 소프트웨어, 지원 및 트레이닝이 포함됩니다.
가속화된 컴퓨팅을 위한 비약적인 도약
NVIDIA H100 Tensor 코어 GPU로 모든 워크로드에 대해 전례 없는 성능, 확장성, 보안을 달성하세요. NVIDIA® NVLink® 스위치 시스템을 사용하면 최대 256개의 H100을 연결하여 엑사스케일 워크로드를 가속화하고 전용 트랜스포머 엔진으로 매개 변수가 조 단위인 언어 모델을 처리할 수 있습니다. 여러 기술 혁신이 결합된 H100은 대규모 언어 모델의 속도를 이전 세대에 비해 30배 더 향상하여 업계를 선도하는 대화형 AI를 제공할 수 있습니다.
-
AI 트레이닝딥 러닝 신경망이 복잡해짐에 따라, AI 트레이닝 시간이 상당히 증가하면서 생산성이 저하되고 비용은 증가하게 되었습니다. NVIDIA GPU는 트레이닝을 가속화하여 보다 짧은 기간에 깊이 있는 정보를 얻음으로써 비용 및 기간을 단축하도록 합니다.
-
AI 추론추론은 트레이닝을 마친 신경망이 실질적으로 역할을 수행하는 영역입니다. 이미지, 음성, 비주얼 및 동영상 검색과 같은 새로운 데이터 요소가 등장함에 따라 추론은 수많은 AI 서비스의 중심에서 그에 대한 대답과 추천을 제공합니다.
-
고성능 컴퓨팅(HPC)광범위한 분야에서 700개 이상의 애플리케이션이 GPU 컴퓨팅에 의해 가속화되며 이러한 애플리케이션을 개발, 최적화 및 배포하는데 C, C++, Fortran 및 Python 등의 인기 있는 언어가 사용되어 과학적 발견의 길을 닦고 있습니다.
-
데이터 분석기존의 데이터 사이언스 워크플로우는 느리고 까다로웠으며, 데이터를 로드, 필터링, 조작하고, 모델을 학습하고 배포하는 데 CPU에 의존해 왔습니다. GPU는 인프라 비용을 대폭 절감하고 엔드 투 엔드 데이터 사이언스 워크플로우에 탁월한 성능을 제공합니다.
워크로드를 엔터프라이즈에서 엑사스케일까지 안전하게 가속화하세요.
-
혁신적인 AI 훈련
H100은 4세대 Tensor 코어와 FP8 정밀도의 트랜스포머 엔진을 탑재하여 전문가 혼합(MoE) 모델을 이전 세대보다 최대 9배 더 빠르게 훈련합니다. 900GB/s의 GPU 간 상호 연결을 제공하는 4세대 NVLink, 노드 전반의 모든 GPU에서 집단 통신을 가속화하는 NVLINK 스위치 시스템, PCIe Gen5, NVIDIA Magnum IO™ 소프트웨어의 조합은 소규모 엔터프라이즈에서 대규모의 통합 GPU 클러스터에 이르기까지 효율적인 확장성을 제공합니다.
데이터센터 규모로 H100 GPU를 배포하면 탁월한 성능을 제공하며 차세대 엑사스케일 고성능 컴퓨팅(HPC)과 매개 변수가 조 단위인 AI를 모든 연구원이 이용할 수 있습니다
초대형 모델에서 최대 9배의 AI 훈련 다양한 전문가(3,950억 매개 변수)
NVIDIA A100 Tensor core GPU NVIDIA H100 Tensor core GPU 계획 성능은 변경될 수 있습니다. 1T 토큰 데이터세트에서 395B 매개변수로 MoE(Mixture of Experts) 트랜스포머 Switch-XXL 변이 트레이닝 | A100 클러스터: HDR IB 네트워크 | H100 클러스터: NVLINK 스위치 시스템, NDR IB
-
실시간 딥 러닝 추론
AI는 동등하게 광범위한 신경망을 사용하여 다양한 비즈니스 문제를 해결합니다. 뛰어난 AI 추론 가속기는 최고의 성능뿐만 아니라 이러한 네트워크를 가속화할 수 있는 다용성도 제공해야 합니다.
H100은 NVIDIA의 업계 최고의 추론 리더십을 더욱 강화하여 추론을 최대 30배 가속화하고 지연 시간을 최소화합니다. 4세대 Tensor 코어는 FP64, TF32, FP32, FP16, INT8을 비롯한 모든 정밀도에서 속도를 개선하며, 트랜스포머 엔진은 FP8과 FP16을 함께 활용해 대규모 언어 모델의 정확도를 유지하면서 메모리 사용량을 줄이고 성능을 향상합니다.
초대형 모델에서 최대 30배 더 높은 AI 추론 성능 Megatron 챗봇 추론(5,300억 매개 변수)
Latency |. H100 to A100 Comparison - Relative PerformanceProjected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | A100 클러스터: HDR IB 네트워크 | H100 클러스터: 16개의 H100 구성을 위한 NDR IB 네트워크 | 32 A100 대 16 H100(1초 및 1.5초) | 16개의 A100 대 8개의 H100(2초)
-
엑사스케일 고성능 컴퓨팅
NVIDIA 데이터센터 플랫폼은 무어의 법칙을 뛰어넘는 성능 향상을 일관적으로 제공합니다. 또한 H100의 새롭고 획기적인 AI 기능은 HPC+AI의 성능을 더욱 증폭하여 전 세계의 주요 난제들을 해결하기 위해 노력하는 과학자와 연구원의 연구 시간을 단축합니다.
H100은 배정밀도 Tensor 코어의 부동 소수점 연산(FLOPS)을 3배로 증가시켜 HPC에 60 테라플롭스의 FP64 컴퓨팅을 제공합니다. AI 융합 HPC 애플리케이션은 H100의 TF32 정밀도를 활용하여 코드 변경 없이 단정밀도와 행렬 곱셈 연산에서 1페타플롭의 처리량을 달성할 수 있습니다.
H100은 또한 NVIDIA A100 Tensor 코어 GPU에 비해 7배 높은 성능과 더불어 DNA 서열 정렬을 위한 스미스-워터맨 등의 동적 프로그래밍 알고리즘에서 기존 듀얼 소켓 CPU 전용 서버에 비해 40배 더 빠른 속도를 제공하는 DPX 명령 기능이 있습니다.
HPC 애플리케이션 성능 최대 7배
Latency |. H100 to A100 Comparison - Relative Performance계획 성능은 변경될 수 있습니다. 3D FFT(4K^3) 처리량 | A100 클러스터: HDR IB 네트워크 |
H100 클러스터: NVLink 스위치 시스템, NDR IB | 유전체 서열 분석(Smith-Waterman) | 1개 A100 | 1개 H100
-
데이터 분석 가속
AI 애플리케이션 개발에서는 대부분의 시간이 데이터 분석에 소요될 때가 많습니다. 대규모 데이터 세트가 여러 서버에 흩어져 있기 때문에 상용 CPU 전용 서버를 사용하는 스케일아웃 솔루션은 확장 가능한 컴퓨팅 성능이 부족하여 발목을 잡히곤 합니다.
H100을 탑재한 가속화 서버는 GPU당 3TB/s의 메모리 대역폭 및 NVLink와 NVSwitch를 통한 확장성과 함께 컴퓨팅 성능을 제공하여 고성능으로 데이터 분석을 처리하고 대규모 데이터 세트를 지원하도록 확장할 수 있습니다. NVIDIA 데이터센터 플랫폼은 Quantum-2 Infiniband, Magnum IO 소프트웨어, GPU 가속 Spark 3.0, NVIDIA RAPIDS™와 결합하여 비교할 수 없는 성능과 효율성으로 이러한 막대한 워크로드를 가속화할 수 있는 독보적인 위치에 있습니다.
-
엔터프라이즈 지원 활용률
IT 관리자들은 데이터센터에서 컴퓨팅 리소스의 활용률을(최대 활용률과 평균 활용률 모두) 극대화하려고 합니다. 이들은 종종 사용 중인 워크로드에 적합한 크기의 리소스로 컴퓨팅을 동적으로 재구성합니다.
H100의 2세대 MIG(Multi-Instance GPU)는 각 GPU를 최대 7개의 독립된 인스턴스로 안전하게 파티셔닝하여 활용률을 극대화합니다. 기밀 컴퓨팅을 지원하여 안전한 엔드 투 엔드 멀티 테넌트 사용이 가능한 H100은 클라우드 서비스 제공업체(CSP) 환경에 이상적입니다.
MIG를 사용하는 H100을 통해 인프라 관리자는 GPU 가속 인프라를 표준화하는 동시에 GPU 리소스를 더 세분화하여 유연하게 프로비저닝함으로써 개발자에게 적합한 양의 가속화 컴퓨팅을 제공하고 모든 GPU 리소스의 사용을 최적화할 수 있습니다.
-
내장된 기밀 컴퓨팅
오늘날의 기밀 컴퓨팅 솔루션은 CPU 기반이므로 AI 및 HPC와 같은 컴퓨팅 집약적인 워크로드에는 너무 제한적입니다. NVIDIA 기밀 컴퓨팅은 NVIDIA Hopper™ 아키텍처의 내장 보안 기능입니다. 이를 탑재한 H100은 세계 최초로 기밀 컴퓨팅 기능을 갖춘 가속기입니다. 사용자는 비교 불가한 수준으로 가속화된 H100 GPU에 액세스하면서 사용 중인 데이터와 애플리케이션의 기밀성과 무결성을 보호할 수 있습니다. NVIDIA 기밀 컴퓨팅은 단일 H100 GPU, 단일 노드 내의 다중 H100 GPU 또는 개별 MIG 인스턴스에서 실행되는 전체 워크로드를 보호하고 격리하는 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE)을 생성합니다. GPU 가속 애플리케이션은 TEE 내에서 변경하지 않고 실행할 수 있으며, 파티셔닝할 필요가 없습니다. 사용자는 AI 및 HPC용 NVIDIA 소프트웨어의 성능과 NVIDIA 기밀 컴퓨팅이 제공하는 하드웨어 RoT(Root of Trust)의 보안을 결합할 수 있습니다.
GPU와 SmartNIC의 융합 NVIDIA H100 CNX
전례 없는 컨버지드 가속 성능을 경험하세요. NVIDIA H100 CNX는 NVIDIA H100 Tensor 코어 GPU의 성능을 NVIDIA® ConnectX®-7 스마트 네트워크 인터페이스 카드(SmartNIC)의 고급 네트워킹 기능과 결합하여 엔터프라이즈 데이터센터에서의 분산된 AI 트레이닝과 엣지에서의 5G 처리 등과 같은 GPU 기반 입출력(IO) 집약적 워크로드를 가속합니다. 이 결합은 엔터프라이즈 데이터센터의 분산 AI 훈련과 엣지의 5G 처리와 같은 GPU 기반 입력/출력(IO) 집약적 워크로드에 비교할 수 없는 성능을 제공합니다.
대규모 AI 및 HPC의 독보적 성능 Hopper Tensor Core GPU
Hopper Tensor Core GPU는 NVIDIA Grace Hopper CPU+GPU 아키텍처를 지원합니다. 테라바이트 규모의 가속 컴퓨팅을 위해 특별히 제작되었으며, 대규모 모델 AI 및 HPC에서 10배 더 높은 성능을 제공합니다. Hopper GPU와 Grace CPU가 결합되어 NVIDIA의 초고속 칩 간 상호 연결을 사용할 경우, PCIe Gen5 보다 7배 빠른 900GB/s의 대역폭이 제공됩니다. 이 혁신적인 설계는 오늘날 가장 빠른 서버들과 비교할 때 GPU에 대해 최대 30배 높은 전체 대역폭을 제공하며, 테라바이트 규모의 데이터를 실행하는 애플리케이션에 최대 10배 높은 성능을 제공합니다.
Specifications
| 폼 팩터 | H100 SXM | H100 PCIe | H100 NVL2 |
|---|---|---|---|
| FP64 | 34 teraFLOPs | 26 teraFLOPs | 68 teraFLOPs |
| FP64 Tensor 코어 | 67 teraFLOPs | 51 teraFLOPs | 134 teraFLOPs |
| FP32 | 67 teraFLOPs | 51 teraFLOPs | 134 teraFLOPs |
| TF32 Tensor 코어 | 989 teraFLOPs* | 756 teraFLOPs* | 1,979 teraFLOPs1 |
| BFLOAT16 Tensor 코어 | 1,979 teraFLOPs | 1,513 teraFLOPs | 3,958 teraFLOPs1 |
| FP16 Tensor 코어 | 1,979 teraFLOPs | 1,513 teraFLOPs | 3,958 teraFLOPs1 |
| FP8 Tensor 코어 | 3,958 teraFLOPs | 3,026 teraFLOPs | 7,916 teraFLOPs1 |
| INT8 Tensor 코어 | 3,958 TOPS* | 3,026 TOPS* | 7,916 TOPS1 |
| GPU 메모리 | 80GB | 80GB | 188GB |
| GPU 메모리 대역폭 | 3.35TB/s | 2TB/s | 7.8TB/s |
| 디코더 | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
14 NVDEC 14 JPEG |
| 최대 열 설계 전력(TDP) | 최대 700W(구성 가능) | 300~350W(구성 가능) | 2x 350-400W (구성 가능) |
| 멀티 인스턴스 GPU(MIG) | 최대 7개의 MIG, 각각 10GB | 각 12GB에서 최대 14 MIGS |
|
| 폼 팩터 | SXM | PCIe 듀얼 슬롯(공랭식) |
PCIe 2개 듀얼 슬롯 공랭식 |
| 인터커넥트 | NVLink: 900GB/s PCIe Gen5: 128GB/s | NVLINK: 600GB/s PCIe Gen5: 128GB/s | NVLink: 600GB/s PCIe Gen5: 128GB/s |
| 서버 옵션 |
4개 또는 8개의 GPU가 지원되는 NVIDIA HGX™ H100 파트너 및 NVIDIA-Certified Systems™ 8개의 GPU가 지원되는 NVIDIA DGX™ H100 |
GPU가 1~8개인 파트너 인증 시스템 및 NVIDIA-Certified System™ |
파트너 및 NVIDIA 인증 시스템 (2~4쌍) |
| NVIDIA AI Enterprise | 애드온 | 포함 항목 | 추가 사항 |
- - 희소성 표시(*) : 사양은 희소성이 없을 경우 반 정도 낮습니다.
- - 예비 사양입 수 있습니다. 사양은 NVLink Bridge와 페어링된 2개의 H100 NVL PCIe 카드에 대해 표시된 것입니다.
Information
| 상품명 | NVIDIA H100 PCIe 엔비디아코리아 정품 |
|---|---|
| KC 인증번호 | - |
| 정격전압 / 최대소비전력 | ~10.2kW max |
| 정품 품질 보증 | 3년 무상보증 |
| 출시년월 | 2022/07 |
| 제조사 | NVIDIA Corporation |
| 제조국 | China |
| 크기 | - |