NVIDIA Hopper 아키텍처는 AI 모델의 훈련을 가속하도록 설계된 트랜스포머 엔진을 통해 Tensor 코어 기술을 발전시킵니다. Hopper Tensor 코어는 FP8과 FP16 정밀도를 혼합 적용하여 트랜스포머의 AI 계산을 획기적으로 가속할 수 있습니다. 또한 Hopper에서는 TF32, FP64, FP16, INT8 정밀도의 부동 소수점 연산(FLOPS)을 이전 세대의 3배로 늘렸습니다.

4세대 NVLink는 NVIDIA DGX™ 및 HGX™ 서버를 통해 멀티 GPU 입력 및 출력(IO)을 PCIe Gen5 대역폭의 7배 이상인 GPU당 양방향 900GB/s 속도로 확장할 수 있습니다. 3세대 NVIDIA NVSwitch™는 이전에 Infiniband에서만 사용할 수 있었던 SHARP™ 인-네트워크 컴퓨팅을 지원하며, 이전 세대에 비해 8개의 H200 또는 H100 GPU 서버 내에서 2배 더 증가한 all-reduce 처리량을 제공합니다.

데이터는 저장 공간에 저장되고 네트워크를 통해 전송되는 동안에는 암호화되지만, 처리되는 동안에는 보호되지 않습니다. NVIDIA 컨피덴셜 컴퓨팅은 사용 중인 데이터와 애플리케이션을 보호하여 이러한 격차를 해소합니다. 데이터와 애플리케이션의 기밀성과 무결성을 보호하는 동시에 AI 훈련, AI 추론, HPC 워크로드를 위한 H200 및 H100 GPU의 전례 없는 가속에 액세스할 수 있습니다.

MIG(Multi-Instance GPU)를 사용하면 GPU를 자체 메모리, 캐시, 컴퓨팅 코어가 있는 더 작고 완전히 격리된 여러 인스턴스로 분할할 수 있습니다. Hopper 아키텍처는 최대 7개의 GPU 인스턴스에 걸쳐 가상화된 환경에서 멀티 테넌트 및 멀티 사용자 구성을 지원하여 MIG를 더욱 향상하고, 하드웨어 및 하이퍼바이저 수준에서 기밀 컴퓨팅으로 각 인스턴스를 안전하게 격리합니다.

동적 프로그래밍은 복잡한 재귀 문제를 더 단순한 하위 문제로 세분화하여 해결하는 알고리즘 기술입니다. 나중에 다시 계산할 필요가 없도록 하위 문제의 결과를 저장함으로써 기하급수적인 문제 해결의 시간과 복잡성을 줄입니다. 동적 프로그래밍은 일반적으로 광범위한 사용 사례에서 사용됩니다. 예를 들어 플로이드-워셜은 운송 및 배송 차량의 최단 경로를 매핑하는 데 사용할 수 있는 경로 최적화 알고리즘입니다.

최첨단 TSMC 4N 프로세스를 사용하여 800억 개 이상의 트랜지스터로 구축된 Hopper는 NVIDIA H200 및 H100 Tensor 코어 GPU를 지원하는 획기적인 5가지 혁신을 제공합니다. 이러한 혁신은 서로 결합하여 이전 세대보다 30배 빠른 놀라운 속도로 세계 최대의 생성형 언어 모델인 NVIDIA Megatron 530B 챗봇의 AI 추론을 제공합니다.

매일 기업에서는 전례 없는 양의 데이터를 수집하고 있습니다. 이 엄청난 양의 정보는 GPU 가속 분석을 사용하지 않는 사람들에게는 놓칠 수 있는 기회입니다. 데이터가 많을수록 더 많은 것을 배울 수 있습니다. NVIDIA 데이터 센터 플랫폼을 통해 기업은 그 어느 때보다 빠르게 실행 가능한 통찰력을 창출할 수 있습니다.