홈앤서비스 SK BROADBAND

복잡한 이론은 덜고, 꼭 필요한 핵심만 담았다!
LLM 미세 튜닝을 익히는 가장 간결한 안내서

《LLM 미세 튜닝, 핵심만 빠르게!》는 급변하는 LLM 생태계 속에서 흔들리지 않는 핵심 개념에 집중해, 대규모 언어 모델을 직접 미세 튜닝할 수 있도록 안내하는 핸즈온 가이드이다. 양자화, LoRA 어댑터, 데이터셋 포매팅, 지도 학습 미세 튜닝, 로컬 배포까지 전체 과정을 단계적으로 따라가며, 실제로 모델을 수정하고 동작을 바꾸는 경험을 제공한다. 특히 허깅 페이스 생태계를 기반으로, 복잡한 내부 동작과 설정이 실제로 어떤 의미를 갖는지를 이해하도록 돕는다.

옮긴이의 글
지은이의 글

0장 대규모 언어 모델 미세 튜닝 레시피
들어가며
0.1 양자화된 베이스 모델 로드하기
0.2 LoRA 설정하기
0.3 데이터셋 포매팅하기
0.4 SFTTrainer를 사용하여 미세 튜닝하기
0.5 모델에 질의하기

1장 대규모 언어 모델
들어가며
1.1 대규모 언어 모델과 소규모 언어 모델
1.2 트랜스포머
1.3 어텐션이 전부입니다
1.4 미세 튜닝의 종류

2장 양자화된 모델 로드하기
들어가며
2.1 양자화 방법
2.2 반정밀도 가중치
2.3 브레인 플로트
2.4 모델 로드하기
2.5 혼합 정밀도
2.6 BitsAndBytes
다음 장에서는

3장 LoRA
들어가며
3.1 파라미터 타입과 그레이디언트
3.2 PEFT
다음 장에서는

4장 데이터셋 포매팅
들어가며
4.1 템플릿 적용
4.2 토크나이저
4.3 데이터 콜레이터
4.4 패킹된 데이터셋
4.5 고급 방법 - BYOT(Bring Your Own Template)
다음 장에서는

5장 SFTTrainer로 미세 튜닝하기
들어가며
5.1 SFTTrainer 미세 튜닝
5.2 SFTConfig
5.3 (진짜) 실제 훈련
5.4 어텐션
5.5 실험 결과, 어블레이션 스타일
다음 장에서는

6장 로컬에 배포하기
들어가며
6.1 모델과 어댑터 로드하기
6.2 모델 쿼리
6.3 llama.cpp
6.4 모델 서빙

-1장 문제 해결
오류
경고

부록 A GPU 포드 설정하기
A.1 runpod.io 활용 주피터 랩 실행
A.2 포드 중지 및 종료
A.3 플래시 어텐션 2 설치
부록 B 데이터 타입의 내부 표현
B.1 정수
B.2 부동소수점 수

찾아보기