홈앤서비스 SK BROADBAND

데이터 파이프라인을 설계하다 보면, 프로젝트가 달라져도 놀랍도록 비슷한 문제를 반복해서 마주하게 됩니다.
이 책은 이러한 반복이 개인의 역량 부족이 아니라, 표준화된 패턴과 전략이 부재했기 때문이라고 말합니다.
데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시합니다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 합니다. 기술 스택과 환경이 바뀌어도 재사용할 수 있는 원칙을 통해, 더 탄력적이고 신뢰할 수 있는 데이터 파이프라인을 설계하도록 돕는 실무형 가이드입니다.

주요 내용
●반복되는 데이터 엔지니어링 문제를 패턴으로 일반화
●데이터 수집부터 운영·모니터링까지, 워크플로 전반에서 다루는 실무 핵심 과제
●설계 트레이드오프를 탐색하고 효과적인 멀티 에이전트 시스템 구현하기
●기술 스택에 종속되지 않는 설계 원칙 강조

CHAPTER 1 데이터 엔지니어링 디자인 패턴 소개
_1.1 디자인 패턴이란 무엇인가?
_1.2 기존 디자인 패턴만으로 충분한가?
_1.3 일반적인 데이터 엔지니어링 패턴
_1.4 이 책에서 사용된 사례
_1.5 요약

CHAPTER 2 데이터 수집 디자인 패턴
_2.1 전체 적재
패턴 #01: 전체 로더
_2.2 증분 적재
패턴 #02: 증분 로더
패턴 #03: 변경 데이터 캡처
_2.3 복제
패턴 #04: 패스스루 복제기
패턴 #05: 변환 복제기
_2.4 데이터 컴팩션
패턴 #06: 컴팩터
_2.5 데이터 준비
패턴 #07: 준비 마커
_2.6 이벤트 주도
패턴 #08: 외부 트리거
_2.7 요약

CHAPTER 3 오류 관리 디자인 패턴
_3.1 처리할 수 없는 레코드
패턴 #09: 데드 레터
_3.2 중복된 레코드
패턴 #10: 윈도 중복 제거
_3.3 지연 데이터
패턴 #11: 지연 데이터 탐지기
패턴 #12: 정적 지연 데이터 통합기
패턴 #13: 동적 지연 데이터 통합기
_3.4 필터링
패턴 #14: 필터 인터셉터
_3.5 내결함성
패턴 #15: 체크포인터
_3.6 요약

CHAPTER 4 멱등성 디자인 패턴
_4.1 덮어쓰기
패턴 #16: 빠른 메타데이터 정리기
패턴 #17: 데이터 덮어쓰기
_4.2 갱신
패턴 #18: 병합기
패턴 #19: 상태 저장 병합기
_4.3 데이터베이스
패턴 #20: 키 기반 멱등성
패턴 #21: 트랜잭션 기반 작성자
_4.4 불변의 데이터셋
패턴 #22: 프록시
_4.5 요약

CHAPTER 5 데이터 가치 디자인 패턴
_5.1 데이터 강화
패턴 #23: 정적 조이너
패턴 #24: 동적 조이너
_5.2 데이터 데코레이션
패턴 #25: 래퍼
패턴 #26: 메타데이터 데코레이터
_5.3 데이터 집계
패턴 #27: 분산 집계기
패턴 #28: 로컬 집계기
_5.4 세션화
패턴 #29: 증분 세션화 처리기
패턴 #30: 상태 저장 세션화 처리기
_5.5 데이터 정렬
패턴 #31: 빈 팩 정렬기
패턴 #32: 선입 선출 정렬기
_5.6 요약

CHAPTER 6 데이터 흐름 디자인 패턴
_6.1 시퀀스
패턴 #33: 로컬 시퀀서
패턴 #34: 독립된 시퀀서
_6.2 팬인
패턴 #35: 정렬된 팬인
패턴 #36: 비정렬 팬인
_6.3 팬아웃
패턴 #37: 병렬 분할
패턴 #38: 배타적 선택
_6.4 오케스트레이션
패턴 #39: 단일 실행기
패턴 #40: 동시 실행기
_6.5 요약

CHAPTER 7 데이터 보안 디자인 패턴
_7.1 데이터 제거
패턴 #41: 수직 파티셔너
패턴 #42: 제자리 덮어쓰기
_7.2 접근 제어
패턴 #43: 테이블에 대한 세밀한 접근자
패턴 #44: 자원에 대한 세밀한 접근자
_7.3 데이터 보호
패턴 #45: 암호화기
패턴 #46: 익명화기
패턴 #47: 의사 익명화기
_7.4 연결성
패턴 #48: 비밀 포인터
패턴 #49: 비밀 없는 커넥터
_7.5 요약

CHAPTER 8 데이터 스토리지 디자인 패턴
_8.1 파티셔닝
패턴 #50: 수평 파티셔너
패턴 #51: 수직 파티셔너
_8.2 레코드 구성
패턴 #52: 버킷
패턴 #53: 정렬기
_8.3 조회 성능 최적화
패턴 #54: 메타데이터 강화기
패턴 #55: 데이터셋 구체화기
패턴 #56: 매니페스트
_8.4 데이터 표현
패턴 #57: 정규화기
패턴 #58: 역정규화기
_8.5 요약

CHAPTER 9 데이터 품질 디자인 패턴
_9.1 품질 확보
패턴 #59: 감사－쓰기－감사－배포(AWAP)
패턴 #60: 제약 조건 적용자
_9.2 스키마 일관성
패턴 #61: 스키마 호환성 적용자
패턴 #62: 스키마 마이그레이터
_9.3 품질 관찰
패턴 #63: 오프라인 옵서버
패턴 #64: 온라인 옵서버
_9.4 요약

CHAPTER 10 데이터 관찰 가능성 디자인 패턴
_10.1 데이터 탐지기
패턴 #65: 흐름 중단 탐지기
패턴 #66: 스큐 탐지기
_10.2 시간 탐지기
패턴 #67: 지연 탐지기
패턴 #68: SLA 위반 탐지기
_10.3 데이터 계보
패턴 #69: 데이터셋 추적기
패턴 #70: 세밀한 추적기
_10.4 요약

APPENDIX 디자인 패턴 요약