홈앤서비스 SK BROADBAND

트위터, 구글, 마이크로소프트, 링크드인 등에서 일한
데이터 엔지니어들이 다양한 문제를 극복하면서 얻은 경험과 교훈을 담았다!

데이터 엔지니어는 넓게 보면 데이터를 분석하고, 머신 러닝, 비즈니스 인텔리전스에 사용할 수 있게 만들어 주는 사람이다. 빅데이터 기술과 데이터 과학, 분산 컴퓨팅, 클라우드가 도입되면서 데이터 엔지니어링은 없어서는 안 될 일이 되었고, 더 복잡해졌다. 역설적이게도 그래서 데이터 엔지니어가 할 수 있는 일도 더 늘어났다.

이 책은 트위터, 구글, 마이크로소프트, 링크드인 등에서 일한 전문가들이 다양하고 구체적인 문제를 극복하면서 얻은 경험과 교훈을 담고 있다. 데이터 팀에서 일하기 위한 노하우, 도구 선택 팁, 분산 시스템의 기본 원리 등을 설명하며, 97가지 조언만으로 모든 문제를 해결할 순 없겠지만, 문제를 해결하기 위한 영감을 얻을 수 있을 것이다. 이 조언들을 초석으로 삼아 성공적인 데이터 엔지니어 커리어를 완성할 수 있기를 바란다.

01_서점 재고관리 시스템으로 알아보는 최종 일관성
02_A/B 테스트, 어떻게 해야 할까?
03_스토리지 계층에 대하여
04_분석: 마이크로서비스 아키텍처의 숨겨진 접착제
05_인프라스트럭처를 자동화하라
06_파이프라인 테스트를 자동화하라
07_데이터 파이프라인의 배치 모델을 신중히 검토하라
08_은탄환 신드롬을 경계하라
09_데이터 엔지니어 경력 쌓기
10_데이터 파이프라인을 보여주는 비즈니스 대시보드
11_주의: 데이터 과학 프로젝트가 벌거벗은 임금님 이야기가 되지 않으려면
12_변경 데이터 캡처
13_계약으로 기능하는 컬럼 이름
14_합의된 개인 정보 보호 데이터 수집
15_데이터 소비자와 원활한 업무 관계를 구축하라
16_데이터 엔지니어링은 스파크와 같지 않다
17_자율성 및 신속한 혁신을 돕는 데이터 엔지니어링
18_데이터 과학자 관점에서 보는 데이터 엔지니어링
19_재사용 및 확장 가능한 코드를 만드는 데이터 파이프라인 디자인 패턴
20_데이터 엔지니어를 위한 데이터 품질
21_데이터 엔지니어를 위한 데이터 보안
22_요약 통계 이상의 데이터 유효성 검증
23_과거에도 현재에도 미래에도 존재하는 데이터 웨어하우스
24_로그 중심 아키텍처에서의 메시지 정의 및 관리 방식
25_데이터 생성 과정 정보를 파악해서 파이프라인을 이해하기 쉽게 하라
26_코드뿐만 아니라 커뮤니티를 개발하라
27_클라우드 세상의 효율적인 데이터 엔지니어링
28_데이터 레이크 아키텍처를 받아들여라
29_데이터 사일로를 받아들여라
30_재현 가능한 데이터 과학 프로젝트 엔지니어링
31_안정적인 데이터 처리를 위한 5가지 모범 사례
32_유지 보수에 집중하고 ETL 작업을 분리하라
33_동료에게 이중 기록을 권하지 마라
34_기본 지식
35_구조화를 SQL로 되돌리기
36_데이터 프로덕트에 잠재적인 문서를 포함한 프런트엔드를 제공하라
37_데이터 파이프라인의 진화
38_제품처럼 데이터 플랫폼을 구축하는 방법
39_데이터 반란을 방지하는 방법
40_관리하는 데이터의 바이트당 가격을 파악하라
41_처리 지연 속도를 의식하라
42_RDBMS와는 다른 NoSQL 데이터베이스 사용법을 배워라
43_로봇을 이용해서 규칙을 강제하라
44_사용자 의견을 듣되 지나치게 따르지 마라
45_저가형 센서와 데이터 품질
46_기계 동작 방식에 대한 공감력을 유지하라
47_데이터 그 이상의 메타데이터
48_데이터 플랫폼의 핵심 요소인 메타데이터 서비스
49_데이터 레이크는 ACID를 제공하지 않으므로 조심하라
50_모던 데이터 스택을 위한 모던 메타데이터
51_상당수의 데이터 문제는 빅데이터 없이 풀 수 있다
52_소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하기
53_데이터 엔지니어를 위한 관측 가능성
54_완벽함은 적절함의 적이다
55_파이프의 꿈
56_데이터 레이크가 지옥이 되지 않으려면
57_메시징 시스템에서 사용자 경험의 우선순위 높이기
58_개인 정보 보호 문제는 남의 일이 아니다
59_QA에 대한 흥미로운 사실
60_데이터 엔지니어가 머신 러닝 프로젝트에 관여할 때 주의할 7가지 사항
61_분석용 데이터 웨어하우스 선택을 보는 6가지 관점
62_빅데이터 세상의 작은 파일
63_스트리밍은 배치와 다르다
64_늦게 도달하는 데이터
65_데이터 프로젝트를 성공시키려면 기술이 뒤로 물러서야 한다
66_데이터 엔지니어링 프로젝트에서 필수적으로 확인해야 하는 10가지
67_데이터 파이프라인의 관건은 속도가 아니다
68_데이터 엔지니어링의 할 일과 하면 안 되는 일
69_모두가 아는 ETL의 종말
70_시조 작성 방식으로 소프트웨어 작성하기
71_데이터 입출력에 숨어 있는 비용
72_독점 소프트웨어와 오픈 소스가 전쟁 중이라는 거짓말
73_CAP 정리의 영향
74_데이터 계보의 중요성
75_데이터 누락이 갖는 여러 가지 의미
76_경력을 망치는 한 문장
77_데이터 품질 테스트에 오픈 소스를 사용하여 얻는 3가지 이점
78_데이터 엔지니어링에서 중요한 3R
79_두 부류의 데이터 엔지니어링과 데이터 엔지니어
80_빅데이터 확장성의 음양
81_데이터 프로세싱에서의 스레드 사용 및 동시성
82_분산 프로그래밍에서 중요한 개념 3가지
83_의미론적인 시간은 기다려주지 않는다
84_도구가 아니라 패턴과 관행이 중요하다
85_총 소유 기회비용
86_가지각색의 데이터 도메인에서 문제를 해결하는 방법
87_데이터 엔지니어란 어떤 직종인가? 힌트: 데이터 과학의 조력자
88_데이터 메시와 메시를 망치지 않을 방법
89_빅데이터란 무엇인가?
90_인정받지 못할 때 해야 할 일
91_데이터 과학 팀이 가치를 창출하지 못했다면
92_잘 모르면서 대충 접근하지 말아야 하는 경우
93_데이터 공유에 주의해야 하는 경우
94_발언할 때와 경청할 때
95_데이터 과학 팀에 전문가 대신 제너럴리스트가 필요한 이유
96_엄청난 데이터에 따르는 엄청난 책임
97_데이터 검증 실패! 그 다음은?