홈앤서비스 SK BROADBAND

자연어 처리의 기본부터
허깅페이스 모델 경량화, 정렬 조정, 강화 학습까지

챗GPT와 같은 대화형 인공지능 챗봇은 오픈소스 생성형 언어 모델, 그중에서도 대규모 언어 모델(LLM)에 해당한다. 허깅페이스는 각종 생성형 인공지능을 위한 모델과 데이터셋을 개발자들이 자유롭게 공유하고 쉽게 활용할 수 있도록 API 및 도구를 제공하는데, 『자연어 처리를 위한 허깅페이스 트랜스포머 하드 트레이닝』에서는 다양한 생성형 인공지능 기술 중 자연어 처리를 위한 언어 모델에 집중한다.

Transformers 라이브러리를 기준으로 토크나이저 및 모델 준비, 한국어 자연어 이해 평가(KLUE) 데이터셋 전처리, 학습 파라미터 선정 및 학습 진행과 성능 평가를 실습해본다. 이후 사전학습 단계부터 직접 진행해야 하는 경우를 대비하여 Tokenizers 라이브러리에 대해 살펴보고 정확도, f1 스코어, 정밀도, 재현율을 기준으로 모델을 평가하는 Evaluate 라이브러리에 대해서 알아본다. PEFT, 양자화, QLoRA 미세조정과 같이 모델의 메모리 사용량은 줄이고 추론 속도는 높이는 경량화 기법에 대해 코드와 결과물로 꼼꼼하게 확인해본 후 RLHF, SFT, PPO, Best-of-N 샘플링 등 정렬 조정에 해당하는 다양한 방법론과 이를 강화학습을 위한 트랜스포머(TRL)를 통해 활용하는 방식까지 차근차근 학습한다.

1 자연어 처리와 허깅페이스

_1.1 허깅페이스 소개
__1.1.1 Datasets
__1.1.2 Models
__1.1.3 Spaces
__1.1.4 Docs
_1.2 자연어 처리와 허깅페이스의 관계

2 환경 구축

_2.1 구글 코랩 환경 구축
__2.1.1 계정 생성
__2.1.2 새 노트북 만들기
__2.1.3 코드 실행
__2.1.4 파일 저장
__2.1.5 깃 코드 열기
_2.2 구글 드라이브 마운트

3 허깅페이스 주요 라이브러리

_3.1 Datasets 라이브러리
__3.1.1 Datasets 설치
__3.1.2 Datasets 실습
_3.2 Transformers 라이브러리
__3.2.1 Transformers 설치
__3.2.2 Tokenizer
__3.2.3 DataCollator
__3.2.4 Model
__3.2.5 AutoClass
__3.2.6 Trainer, TrainingArguments
__3.2.7 Pipeline
_3.3 미세조정
__3.3.1 토크나이저와 모델 준비
__3.3.2 데이터 준비 및 전처리
__3.3.3 학습 파라미터 선정
__3.3.4 학습 진행
__3.3.5 성능 평가
__3.3.6 모델 저장
_3.4 허깅페이스 허브 등록
__3.4.1 push_to_hub()
__3.4.2 CLI
__3.4.3 huggingface-hub

4 보조 라이브러리

_4.1 Tokenizers 라이브러리
__4.1.1 Tokenizer 학습
__4.1.2 모델 초기화 후 학습
_4.2 Evaluate 라이브러리
__4.2.1 Evaluate 평가
__4.2.2 커스텀 메트릭 만들기
__4.2.3 Trainer 적용

5 언어 모델 구조 및 학습

_5.1 트랜스포머 모델
_5.2 인코더 기반 모델
__5.2.1 기본 구조
__5.2.2 Sequence Classification
__5.2.3 Multiple Choice
__5.2.4 Token Classification
__5.2.5 Question Answering
_5.3 디코더 기반 모델
__5.3.1 기본 구조
__5.3.2 Causal LM
__5.3.3 Question Answering
__5.3.4 Sequence Classification
_5.4 인코더-디코더 기반 모델
__5.4.1 기본 구조
__5.4.2 Conditional Generation
__5.4.3 Sequence Classification
__5.4.4 Question Answering

6 모델 활용

_6.1 모델 미세조정
__6.1.1 인코더 - Sequence Classification
__6.1.2 디코더 - Causal LM
__6.1.3 인코더-디코더 - Conditional Generation
__6.1.4 언어 모델 문장 생성
_6.2 모델 서빙

7 모델 경량화

_7.1 모델 경량화 개요
_7.2 PEFT
_7.3 양자화
_7.4 QLoRA 미세조정

8 TRL

_8.1 TRL 라이브러리 개요
_8.2 RLHF
_8.3 보상 모델 트레이닝
_8.4 SFT
_8.5 PPO
_8.6 Best-of-N 샘플링
_8.7 DPO
_8.8 KTO
_8.9 CPO
_8.10 ORPO