클라우드, 데이터 센터, 에지 및 자율 시스템을 위한
추론 소프트웨어 및 가속기

AI Inference

이미지 및 음성 인식, 자연어 처리, 시각적 검색 및 개인화된 추천과 같은 정교한 AI 지원 서비스에 대한 수요가 증가하고 있습니다. 동시에 데이터 세트가 증가하고 네트워크가 더욱 복잡해지며 사용자 기대치를 충족하기 위해 대기 시간 요구 사항이 엄격해지고 있습니다. NVIDIA의 추론 플랫폼은 클라우드, 데이터 센터, 네트워크 에지 및 자율 기계에서 차세대 AI 제품 및 서비스를 구동하는 데 중요한 성능, 효율성 및 응답성을 제공합니다.

  • NVIDIA TensorRT로 최대한으로 GPU 활용
    NVIDIA TensorRT™ 는 NVIDIA Tensor Core GPU의 성능을 발휘하는 데 핵심적인 고성능 추론 플랫폼입니다. CPU 전용 플랫폼에 비해 대기 시간을 최소화하면서 최대 40배 더 높은 처리량을 제공합니다. TensorRT를 사용하면 모든 프레임워크에서 시작하여 프로덕션 환경에서 훈련된 신경망을 빠르게 최적화, 검증 및 배포할 수 있습니다. TensorRT는 NVIDIA NGC 카탈로그에서도 사용할 수 있습니다.
  • NVIDIA Triton™ 추론 서버로 배포 간소화
    NVIDIA Triton™ 추론 서버는 프로덕션 환경에서 딥 러닝 모델의 배포를 단순화하는 오픈 소스 소프트웨어입니다. NVIDIA Triton™ 추론 서버를 사용하면 팀이 GPU 또는 CPU 기반 인프라의 로컬 스토리지, Google Cloud Platform 또는 AWS S3의 모든 프레임워크(Tensor Flow, PyTorch, TensorRT Plan, Caffe, MXNet 또는 사용자 지정)에서 훈련된 AI 모델을 배포할 수 있습니다.
  • 통합되고 확장 가능한 딥 러닝 추론
    하나의 통합 아키텍처를 통해 모든 딥 러닝 프레임워크의 신경망을 훈련하고 NVIDIA TensorRT로 최적화한 다음 에지에서 실시간 추론을 위해 배포할 수 있습니다. NVIDIA DGX™ 시스템, NVIDIA Tensor Core GPU, NVIDIA Jetson™ 및 NVIDIA DRIVE™ 를 통해 NVIDIA는 MLPerf 벤치마크 제품군에 표시된 것처럼 완전히 확장 가능한 종단 간 딥 러닝 플랫폼을 제공합니다.
통합되고 확장 가능한 Deep Learning Inference
하나의 통합 아키텍처를 통해 모든 딥 러닝 프레임워크의 신경망을 훈련하고 NVIDIA TensorRT로 최적화한 다음 에지에서 실시간 추론을 위해 배포할 수 있습니다. NVIDIA DGX™ 시스템, NVIDIA Tensor Core GPU, NVIDIA Jetson™ 등을 통해 NVIDIA는 MLPerf 벤치마크 제품군에 표시된 것처럼 완전히 확장 가능한 종단 간 딥 러닝 플랫폼을 제공합니다.
세계 최고의 추론 성능의 NVIDIA® TensorRT™
고성능 딥 러닝 추론을 위한 SDK인 NVIDIA® TensorRT™ 에는 추론 애플리케이션을 위한 짧은 대기 시간과 높은 처리량을 제공하는 딥 러닝 추론 옵티마이저 및 런타임이 포함되어 있습니다. TensorRT는 업계 표준 MLPerf 추론 벤치마크 의 모든 성능 테스트에서 뛰어난 성능을 입증했으며, 컴퓨터 비전, 자동 음성 인식, 자연어 이해(BERT) 및 데이터 센터와 에지 전반에 걸쳐 모든 워크로드를 가속화합니다.
데이터 센터
AI 혁명을 위해 GPU는 딥 러닝에서 가장 복잡한 문제를 해결하는 데 매우 효과적인 것으로 드러났으며 GPU 데이터 센터는 추론 기능을 통해 전체 딥 러닝 파이프라인이 진화할 수 있습니다.
자율주행
자율주행 차량 솔루션은 더 높은 수준의 자율성을 위해 추론을 통해 새로운 DNN (심층 신경망) 모델을 훈련하고 센서 데이터를 최고의 정확도로 처리하는 고성능 AI 컴퓨팅이 필요합니다.
지능형 비디오 분석
Edge에서의 추론은 대량의 비디오 데이터를 실행 가능한 통찰력으로 바꾸는 가장 좋은 방법이며 운전자와 보행자부터 소매업체와 쇼핑객에 이르기까지 모든 사람에게 더 스마트하고 안전해집니다.
임베디드 장치
휴대용 의료 기기에서 자동 배달 드론에 이르기까지 네트워크 연결에 의존하지 않고 에지에서 데이터를 처리하기 위해서는 가장 빠르고 가장 전력 효율적인 지능형 에지 추론 솔루션이 필요합니다.