Data Parallelism: How to Train Deep Learning Models on Multiple GPUs (데이터 병렬화)
- 교육시간
- 1일, 8시간
- 언어
- 한국어,영어
- 주제
- Deep Learning
- 기술
- PyTorch, PyTorch Distributed Data Parallel, NCCL
과정정보
최신 딥 러닝 과제는 점점 더 큰 데이터 세트와 더 복잡한 모델을 활용합니다. 결과적으로 모델을 효과적이고 효율적으로 훈련하려면 상당한 계산 능력이 필요합니다. 딥 러닝 모델 훈련 중에 여러 GPU에 데이터를 분산하는 방법을 학습하면 딥 러닝을 활용하는 믿을 수 없을 정도로 풍부한 새로운 애플리케이션이 가능해집니다.
과정 세부 조건
- Python을 사용한 딥러닝 교육 경험
| 평가유형 | 하드웨어 요구 사항 | 인증서 |
|---|---|---|
| 기술 기반 코딩 평가는 학습자가 여러 GPU에서 딥 러닝 모델을 훈련하는 능력을 평가합니다. | 최신 버전의 Chrome 또는 Firefox를 실행할 수 있는 데스크톱 또는 노트북, 컴퓨터를 준비한 참가자에게는 클라우드 상에서 완전하게 구성된 GPU 가속 서버에 접근할 수 있는 전용 권한이 주어집니다. | 평가를 성공적으로 완료한 참가자는 관련 분야에 대한 역량을 인정 받고, 전문적 커리어 성장을 지원하는 NVIDIA DLI 인증서를 받게 됩니다. |
DLI 교육 시청방법
- 교육 문의
- 결제 및 교육 크레딧 발급
- 강의 시청
- 평가 및 자격증 발급
| 온라인 | 모든 온라인 교육은 ZOOM 프로그램으로 진행됩니다. |
|---|---|
| 오프라인 |
|
- - 수업 녹화 진행 어려우며, 불참시 녹화본은 따로 제공 되지 않습니다.
- - 교육 자료는 교육 당일 별도 안내를 통해 확인하실 수 있습니다. (교육 참석자에 한해 제공)
- - 모든 강의는 교육 크레딧 PO(발주) 진행된 이후에는 불가합니다.
이번 강의의 학습목표는 무엇인가요?
- 여러 GPU를 사용하여 데이터 병렬 딥러닝 훈련을 수행하는 방법 이해
- 여러 GPU를 최대한 활용하기 위해 훈련 시 최대 처리량 달성
- Pytorch Distributed Data Parallel을 사용하여 여러 GPU에 훈련 분산
- 다중 GPU 훈련 성능 및 정확도와 관련된 알고리즘 고려 사항을 이해하고 활용합니다.
과정 개요
수업 일정 안내로, 강사와 상의하여 세션에 가장 적합한 일정을 정하시기 바랍니다.
| 소개 (15분) |
|
| 확률론적 기울기 하강법과 배치 크기의 영향 |
여러 GPU에서 훈련할 때 확률론적 기울기 하강의 중요성 알아보기· 순차적 단일 스레드 데이터 처리의 문제점과 병렬 처리를 통해 애플리케이션 속도를 높이는 이론을 이해합니다.
|
| 휴식 (1시간) | |
| PyTorch DDP(Distributed Data Parallel)를 사용한 다중 GPU에서 훈련 |
PyTorch Distributed Data Parallel을 사용하여 단일 GPU 훈련을 여러 GPU로 변환하는 방법 알아보기
|
| 휴식 (15분) | |
| 여러 GPU로 확장할 때 모델 정확도 유지 |
여러 GPU에서 훈련할 때 정확도를 유지하기 위해 주요 알고리즘 고려 사항을 이해하고 적용합니다.
|
| 워크숍 평가 | 워크숍에서 배운 내용을 활용하세요: 워크숍 평가를 완료하여 역량 인증서를 받으세요. |
| 최종 검토 |
|
| 다음 단계 |
다음 DLI 교육을 통해 계속 학습하십시오. 모델 병렬 처리 : 대규모 신경망 구축 및 배포 |
(*인증서 / 사전준비) : 공통
자주 묻는 질문
- NVIDIA Developer Program 계정이 없는 경우 교육 시작 전 미리 가입해 주시기 바랍니다. (가입 필수 / 계정 생성 바로가기)
- 교육 후에 제공되는 모든 DLI 교육 자료는 본 계정을 통해 접속하실 수 있습니다.
- 참고 : 교육 자료는 교육 당일 별도 안내를 통해 확인하실 수 있습니다. (교육 참석자에 한해 제공됩니다.)
- 복습은 교육이 끝난 후 https://courses.nvidia.com/dashboard에서 6개월 동안 제공됩니다.
유의사항
- 환불 안내 : 교육 크레딧 PO(발주) 진행된 이후에는 불가합니다.
-
교육 네트워크 환경 : 최소 다운스트림 1 Mbps 속도가 필요하며, 5Mbps가 권장됩니다.
워크숍 중에 오디오/비디오를 정상적으로 스트리밍 할 수 있으며, 깜빡거림 또는 지연을 방지할 수 있습니다.
- 수업 녹화 진행 어려우며, 불참시 녹화본은 따로 제공 되지 않습니다.
- 관련 문의는 리더스시스템즈 교육 문의하기로 부탁드립니다.
리더스시스템즈 NVIDIA Deep Learning Institute(DLI) 딥러닝 교육 및 트레이닝
리더스시스템즈는 NVIDIA Deep Learning Institute(DLI) 공인 교육 파트너로서, 최신 GPU 환경과 전문 강사진을 기반으로 체계적인 AI·딥러닝 트레이닝을 제공합니다. 산업별 요구에 최적화된 실무 중심 교육과 글로벌 표준 인증 과정을 통해 조직의 AI 역량을 빠르게 강화하며, 교육 이후 실제 프로젝트 적용까지 연계되는 완성도 높은 기술 지원 체계를 제공합니다. NVIDIA의 최신 기술 교육을 활용하여 AI, 데이터 과학, 가속 컴퓨팅 등의 분야에서 수요가 많은 기술, 실무 경험, 전문 지식을 얻으세요.
- NVIDIA 공인 DLI 교육 파트너
- DLI 공인 인증 강사진 보유
- NVIDIA 공식 수료 인증 발급
- 교육–컨설팅 연계 지원 체계 보유
- 산업별 실무형 트레이닝 구성
리더스시스템즈에서 진행하는 다양한 교육과정을 확인해보세요
-
#기초 과정 #Accelerated ComputingNVIDIA DLI 인증 교육 CUDA C/C++를 사용한 가속 컴퓨팅 기초 Fundamentals of Accelerated Computing with CUDA C/C++CUDA 기반의 초병렬 GPU에서 실행되도록 C/C++ 애플리케이션을 가속화하는 기본 도구와 기법을 설명합니다.
-
#Generative AI/LLMsNVIDIA DLI 인증 교육 생성형 AI와 분산형 모델 Generative AI with Diffusion Models컴퓨팅 성능과 과학 이론의 발전 덕분에 생성 AI는 그 어느 때보다 쉽게 활용될 수 있습니다. 본 과정에서는 텍스트-이미지 파이프라인에 널리 사용되는 디노이징 확산 모델에 대해 심층적으로 살펴봅니다.
-
#중급 과정 #Data ScienceNVIDIA DLI 인증 교육 가속 데이터 사이언스의 기초 Fundamentals of Accelerated Data Science데이터 과학은 조직이 데이터를 귀중한 자원으로 활용하여 더욱 현명한 의사 결정, 운영 개선, 그리고 고객 경험 향상으로 이어질 수 있도록 지원합니다.