홈앤서비스 SK BROADBAND

빅데이터 프로그래밍을 위한 최고의 입문서!

로컬에서 작은 규모나마 직접 빅데이터 서비스를 구현함으로써 독자들이 서비스 아키텍처에 대한 이해와 통찰력을 얻는 데 목표를 두며, 빅데이터 사용과 구현방식의 다양성을 위해 이 책은 자바와 파이썬으로 실습 애플리케이션을 구현하고, 각 빅데이터 기술의 설치와 설정에 있어서도 윈도우 11과 우분투 22.04에서 작업을 수행하며, 마지막으로 통합 개발환경은 이클립스 IDE를 사용하여 단일 개발환경에서 이 모든 개발을 진행합니다.

머리말 viii
베타리더 후기 xii

CHAPTER 1 빅데이터 개론 1

1.1 빅데이터란? 1
1.2 빅데이터 저장과 분석 12
1.3 데이터 전처리와 람다 아키텍처 23

CHAPTER 2 개발 통합 환경 29

2.1 자바 설치 29
2.2 파이썬 설치 34
2.3 이클립스 설치 및 설정 39
2.4 저장소 설치 51
2.5 실습 데이터 63

CHAPTER 3 하둡 파일 시스템 I 89

3.1 하둡 구조 및 기능 89
3.2 하둡 파일 시스템 설치 및 설정 93
3.3 하둡 파일시스템 API 114

CHAPTER 4 하둡 파일 시스템 II 129

4.1 자바 실습 프로젝트 129
4.2 파이썬 실습 프로젝트 172

CHAPTER 5 카프카를 이용한 데이터 송수신 197

5.1 카프카의 개념과 기능 197
5.2 카프카 설치 및 설정 202
5.3 카프카 메시지 서비스의 API 211
5.4 자바 실습 프로젝트 224
5.5 파이썬 실습 프로젝트 231

CHAPTER 6 아파치 스파크 배치 작업 I 237

6.1 아파치 스파크의 개념과 하부 프로젝트 237
6.2 아파치 스파크 설치 및 설정 242
6.3 아파치 스파크 SQL API 252

CHAPTER 7 아파치 스파크 배치 작업 II 295

7.1 자바 실습 프로젝트 295
7.2 파이썬 실습 프로젝트 306

CHAPTER 8 아파치 스파크 스트리밍 작업 317

8.1 아파치 스파크의 구조화 스트리밍 개념 317
8.2 아파치 스파크 구조화 스트리밍 API 322
8.3 자바 실습 프로젝트 329
8.4 파이썬 실습 프로젝트 335

CHAPTER 9 MySQL 데이터 작업 341

9.1 관계형 데이터베이스 정의와 개념 341
9.2 SQL 및 Python API 347
9.3 파이썬 실습 프로젝트 376

CHAPTER 10 몽고디비 데이터 작업 389

10.1 몽고디비 개념과 특징 389
10.2 몽고디비 API 394
10.3 파이썬 실습 프로젝트 406

찾아보기 415