제품문의 바로가기
교육신청 바로가기
AI & Datacenter
NVIDIA HOPPER 아키텍처
모든 데이터센터를 위한 유례없는 성능, 확장성, 보안
모든 데이터센터를 위한 유례없는 성능, 확장성, 보안
NVIDIA Hopper™ 아키텍처를 통한 가속 컴퓨팅의 또 다른 대규모 도약에 대해 알아보세요. Hopper는 소규모 엔터프라이즈에서 엑사스케일 고성능 컴퓨팅(HPC) 및 매개 변수가 조 단위인 AI까지 아우르는
모든 데이터센터의 다양한 워크로드를 안전하게 확장하여 뛰어난 혁신가들이 인류 역사상 가장 빠른 속도로 평생의 과업을 성취할 수 있도록 지원합니다.
AI & Datacenter
트랜스포머 엔진
NVIDIA Hopper 아키텍처는 AI 모델의 훈련을 가속하도록 설계된 트랜스포머 엔진을 통해 Tensor 코어 기술을 발전시킵니다.
Hopper Tensor 코어는 FP8과 FP16 정밀도를 혼합 적용하여 트랜스포머의 AI 계산을 획기적으로 가속할 수 있습니다.
또한 Hopper에서는 TF32, FP64, FP16, INT8 정밀도의 부동 소수점 연산(FLOPS)을 이전 세대의 3배로 늘렸습니다.
트랜스포머 엔진 및 4세대 NVIDIA® NVLink®와 결합된 Hopper Tensor 코어는 HPC 및 AI 워크로드에 최고 수준의 속도 향상을 제공합니다.
AI & Datacenter
NVIDIA 컨피덴셜 컴퓨팅
데이터는 저장 공간에 저장되고 네트워크를 통해 전송되는 동안에는 암호화되지만, 처리되는 동안에는 보호되지 않습니다.
NVIDIA 컨피덴셜 컴퓨팅은 사용 중인 데이터와 애플리케이션을 보호하여 이러한 격차를 해소합니다.
NVIDIA Hopper 아키텍처는 세계 최초로 NVIDIA 컨피덴셜 컴퓨 기능을 탑재한 가속 컴퓨팅 플랫폼을 도입했습니다.
강력한 하드웨어 기반 보안을 통해 사용자는 온프레미스, 클라우드, 엣지에서 애플리케이션을 실행할 수 있으며,
사용 중인 애플리케이션 코드와 데이터를 허가되지 않은 엔티티가 보거나 수정할 수 없다고 확신할 수 있습니다.
이를 통해 데이터와 애플리케이션의 기밀성과 무결성을 보호하는 동시에 AI 훈련, AI 추론, HPC 워크로드를 위한
H100 GPU의 전례 없는 가속에 액세스할 수 있습니다.
AI & Datacenter
2세대 MIG
MIG(Multi-Instance GPU)를 사용하면 GPU를 자체 메모리, 캐시, 컴퓨팅 코어가 있는 더 작고 완전히 격리된 여러 인스턴스로 분할할 수 있습니다.
Hopper 아키텍처는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 멀티 테넌트 및 멀티 사용자 구성을 지원하여 MIG를 더욱 향상하고,
하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다. 각 MIG 인스턴스에 대한 전용 비디오 디코더는
공유 인프라에서 안전하고 처리량이 높은 지능형 영상 분석(IVA)을 제공합니다. 또한 관리자는 Hopper의 동시 MIG 프로파일링을 통해
적합한 크기의 GPU 가속을 모니터링하고 사용자를 위한 리소스 할당을 최적화할 수 있습니다.
AI & Datacenter
DPX 명령
동적 프로그래밍은 복잡한 재귀 문제를 더 단순한 하위 문제로 세분화하여 해결하는 알고리즘 기술입니다.
나중에 다시 계산할 필요가 없도록 하위 문제의 결과를 저장함으로써 기하급수적인 문제 해결의 시간과 복잡성을 줄입니다.
동적 프로그래밍은 일반적으로 광범위한 사용 사례에서 사용됩니다. 예를 들어 플로이드-워셜은 운송 및 배송 차량의
최단 경로를 매핑하는 데 사용할 수 있는 경로 최적화 알고리즘입니다.
스미스-워터맨 알고리즘은 DNA 서열 정렬 및 단백질 접힘 애플리케이션에 사용됩니다.
NVIDIA A100 80GB PCIe
Ampere Architecture
Memory size 80GB HBM2e with ECC
Memory bandwidth 1,935GB/s
FP64 - 9.7 TFLOPS
FP64 Tensor Core - 19.5 TFLOPS
FP32 - 19.5 TFLOPS
Tensor Float 32 (TF32) - 156 TFLOPS | 312 TFLOPS
BFLOAT16 Tensor Core - 312 TFLOPS | 624 TFLOPS
FP16 Tensor Core - 312 TFLOPS | 624 TFLOPS
INT8 Tensor Core - 624 TOPS | 1248 TOPS*
Interconnect NVIDIA® NVLink® Bridge
for 2 GPU: 600GB/s PCIe 4.0 x16 (64GB/s)
Max Thermal Design Power (TDP) 300W
Server Options Partner and
NVIDIA-Certified Systems™ with 1-8 GPU
NVIDIA A40
Ampere Architecture
Memory Size 40 GB HBM2 with ECC
Memory Bus width 5120-bit
Memory Bandwidth 1,6 TB/s
Cuda Cores 6,912
9.7 Tflops (GPU Boost Clocks)
19.5 Tflops (GPU Boost Clocks)
312Tflops (GPU Boost Clocks)
System interface PCI Express 4.0 x16
Max power consumption 250 W
NVIDIA A30
Ampere Architecture
GPU Memory 64 GB GDDR6
with Error Correcting Code (ECC)
GPU Memory Bandwidth | 4x 232 GB/s
Max Power Consumption 250 W
Interconnect PCI Express Gen 4.0 x16
Thermal Solution Passive
vGPU Software Support
NVIDIA Virtual PC (vPC)
NVIDIA Virtual Applications (vApps)
NVIDIA RTX Workstation (vWS)
NVIDIA Virtual Compute Server (vCS)
NVIDIA A16
Ampere Architecture
16 GB GDDR6 with ECC
48 RT Cores / 192 Tensor Cores / 6,144 CUDA Cores
PCI Express 4.0 x16
SP(FP32) 19.2 TFLOPS
RT Core Performance 37.4 TFLOPS
Tensor Performance 153.4 TFLOPS
4x DisplayPort 1.4
Memory Bandwidth Up to 448 GB/s
Memory Interface 256 bit
NVIDIA A10
Ampere Architecture
FP32 31.2 TFLOPS
TF32 Tensor Core 62.5 TFLOPS | 125 TFLOPS*
BFLOAT16 Tensor Core 126 TFLOPS | 250 TFLOPS*
FP16 Tensor Core 165 TFLOPS | 330 TF*
INT8 Tensor Core 250 TOPS | 500 TOPS*
INT4 Tensor Core 500 TOPS | 1000 TOPS*
GPU Memory 24 GB GDDR6
Memory Bandwidth 600 GB/s
Thermal Solutions Passive
Maximum Power Consumption 150 W
System Interface PCIe Gen 4.0 | 64 GB/s
vGPU Support Yes
NVIDIA A2
Ampere Architecture
RT Cores 10
Peak FP32 4.5 TF
TF32 Tensor Core 9 TF | 18 TF¹
BFLOAT16 TensorCore 18 TF | 36 TF
Peak FP16 Tensor Core 18 TF | 36 TF
Peak INT8 Tensor Core 36 TOPS | 72 TOPS
Peak INT4 Tensor Core 72 TOPS | 144 TOPS
Media engines 1 video encoder
2 video decoders (includes AV1 decode)
GPU memory 16GB GDDR6
GPU memory bandwidth 200GB/s
Max thermal design power(TDP) 40-60W
Interconnect PCIe Gen4 x8
vGPU Support Yes
NVIDIA T4
Turing Architecture
NVIDIA Turing Tensor Cores 320
NVIDIA CUDA® Cores 2,560
Single-Precision 8.1 TFLOPS
Mixed-Precision (FP16/FP32) 65 TFLOPS
INT8 130 TOPS
INT4 260 TOPS
GPU Memory 16GB GDDR6 300 GB/s