Building Transformer-Based Natural Language Processing Applications
(Transformer 기반 자연어 처리 애플리케이션 구축)
-
교육시간
1일 8시간
-
언어
한국어, 영어
-
기술
PyTorch, pandas, NVIDIA NeMo™, NVIDIA Triton™ Inference Server
교육목적
지난 10년 사이에 NLP(자연어 처리) 애플리케이션이 폭발적으로 증가했습니다. AI 도우미가 확산되고 조직에서 비즈니스에 더 많은 인터랙티브 인간/기계 경험을 도입함에 따라, NLP 기술을 사용하여 텍스트 기반 데이터를 조작, 분석 및 생성할 수 있는 방법을 이해하는 것이 필수적입니다. 첨단 기술은 인간과 같은 방식으로 언어의 뉘앙스, 맥락, 섬세함을 포착할 수 있습니다. 또한 올바르게 설계될 경우, 개발자는 이러한 기술을 사용하여 챗봇, AI 음성 에이전트 등에서 자연스럽고 원활한 인간-컴퓨터 상호 작용을 제공하는 강력한 NLP 애플리케이션을 구축할 수 있습니다.
딥 러닝 모델은 다양한 콘텍스트와 언어에 걸쳐 정확하게 일반화하는 기능 덕분에 NLP와 관련해 폭넓은 인기를 얻고 있습니다. Bidirectional Encoder Representations from Transformers(BERT) 등의 트랜스포머 기반 모델은 질문-답변, 엔터티 인식, 의도 인식, 감정 분석 등을 위한 SQuAD 등의 벤치마크에서 인간 기준선과 유사한 정확도를 제공해 NLP에 혁신을 일으켰습니다.
이 교육에서는 문서 분류 등의 텍스트 분류 작업에 트랜스포머 기반 자연어 처리 모델을 사용하는 방법을 배우게 됩니다. 또한 명명된 NER(엔터티 인식) 작업을 위해 트랜스포터 기반 모델을 활용하는 방법과 지표, 도메인 특수성, 사용 가능한 리소스를 바탕으로 특정 사용 사례에 가장 적합한 모델이 어느 것인지 결정하기 위해 다양한 모델 기능, 구속 조건 및 특성을 분석하는 방법도 배웁니다.
-
전제조건
Python 코딩 및 라이브러리 함수 및 매개변수 사용 경험
- TensorFlow, PyTorch 또는 Keras 등의 딥 러닝 프레임워크에 대한 기본적인 이해
- 뉴럴 네트워크에 대한 기본적인 이해
-
평가유형
- 기술 기반 코딩 평가는 뉴럴 모듈 파이프라인 및 트레이닝 등 학생들의 NLP 작업 구축 능력을 평가합니다.
- 수업에서 설명한 NLP 개념에 대해 객관식 문항으로 학생의 이해도를 평가합니다.
-
인증서
평가를 성공적으로 완료한 참가자는 관련 분야에 대한 역량을 인정 받고, 전문적 커리어 성장을 지원하는 NVIDIA DLI 인증서를 받게 됩니다.
-
사전준비 (하드웨어 요구 사항)
최신 버전의 Chrome 또는 Firefox를 실행할 수 있는 데스크톱 또는 노트북을 준비한 참가자에게는 클라우드 상에서 완전하게 구성된 GPU 가속 서버에 접근할 수 있는 전용 권한이 주어집니다.
학습목표
-
01
Word2Vec, RNN(순환 신경망) 기반 임베딩, 트랜스포머와 같은 NLP 작업에서 텍스트 임베딩의 빠른 발전 양상 이해
-
02
트랜스포머 아키텍처 기능, 특히 셀프 어텐션 기능을 사용하여 RNN 없이 언어 모델을 생성하는 방법 확인
-
03
셀프 수퍼비전 기능을 사용하여 BERT, Megatron, 기타 변형 모델의 트랜스포머 아키텍처 개선 및 뛰어난 NLP 결과 달성
-
04
사전 학습된 첨단 NLP 모델을 활용하여 텍스트 분류, NER, 질문-답변 등의 여러 작업 해결
-
05
추론 과제를 관리하고 실시간 애플리케이션을 위해 정교한 모델 구축
교육개요
인트로 (15분) |
|
트랜스포머 개론 (120분) |
트랜스포머 아키텍처의 실제 작동 방법을 상세하게 살펴봅니다.
|
휴식 (60분) | |
셀프 수퍼비전, BERT와 그 너머로 (120분) |
NVIDIA NeMo를 사용하여 셀프 수퍼비전 트랜스포머 기반 모델을 적용하는 방법을 설명합니다.
|
휴식 (15분) | |
NLP용 추론 및 배포 (120분) |
|
최종 복습 (15분) |
|