비교할 수 없는 가속화를 제공하는 Ampere 아키텍쳐

• 3세대 Tensor 코어

  새로운 Tensor Float 32(TF32) 정밀도는 이전 세대에 비해 5배의 트레이닝 처리량을 제공하여 코드를 변경하지 않아도 AI 및 데이터 사이언스 모델 트레이닝을 가속화합니다. 구조적 희소성에 대한 하드웨어 지원은 추론을 위한 처리량을 두 배로 높입니다.

• MIG (Multi-Instance GPU)

  모든 애플리케이션에 A100 GPU의 전체 성능이 필요한 것은 아닙니다. MIG를 통해 각 A100은 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어로 하드웨어 수준에서 완전히 격리되고 보호되는 무려 7개의 GPU 인스턴스로 분할될 수 있습니다.

• 구조적 희소성

  매개변수가 정확한 예측과 추론에 모두 필요한 것은 아니므로, 일부는 정확성을 감소시키지 않고 모델을 “희소”하게 만들기 위해 0으로 변환할 수 있습니다. A100의 Tensor 코어는 희소한 모델에 대해 최대 2배 높은 성능을 제공할 수 있습니다.

• 더 스마트하고 빠른 메모리

  A100은 데이터센터에 방대한 양의 컴퓨팅을 제공합니다. 이러한 컴퓨팅 엔진의 활용도를 완전하게 유지하기 위해 업계 최고 수준인 1.5TB/s의 메모리 대역폭을 보유하여 이전 세대에 비해 67% 증가했습니다.

• 3세대 NVIDIA NVLink

  GPU 간 인터커넥트 대역폭이 증가되어 그래픽 및 컴퓨팅 워크로드를 가속화하고 보다 규모가 큰 데이터 세트를 처리하는 하나의 확장 가능 메모리를 제공합니다.

• 2세대 NVIDIA NVSwitch

  단일 서버에서 더 많은 GPU를 지원하며 GPU 사이에 완전한 대역폭 연결성을 보장하는 GPU 패브릭으로 딥 러닝 성능을 다음 단계로 끌어올립니다. 각 GPU의 NVLink 12개가 NVSwitch로 완전히 연결되어 올투올(All-to-all) 고속 통신을 지원합니다.