빅데이터를 지탱하는 기술 도서 스터디

현재 회사를 입사 후 처음으로 책 한권을 잡고 쭉 공부해보자 라는 마음을 먹은 첫 도서이다.

 

입사 직무를 데이터 사이언티스트로 들어와 가장 많이 필요로 했던 기술들이 ETL 기술을 필두로 다양한 엔지니어 기술들이었다.

 

하여, 해당 도서를 개인적으로 읽어보며 챕터 별로 정리해 볼 생각이다.

 

 

우선 간단하게 목차부터 확인해보자.

 

CHAPTER 1 빅데이터의 기초 지식 _ 1
1-1 [배경] 빅데이터의 정착 3
1-2 빅데이터 시대의 데이터 분석 기반 11
1-3 [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임 26
1-4 BI 도구와 모니터링 33
1-5 요약 42

CHAPTER 2 빅데이터의 탐색 _ 43
2-1 크로스 집계의 기본 45
2-2 열 지향 스토리지에 의한 고속화 56
2-3 애드 혹 분석과 시각화 도구 64
2-4 데이터 마트의 기본 구조 77
2-5 요약 86

CHAPTER 3 빅데이터의 분산 처리 _ 87
3-1 대규모 분산 처리의 프레임워크 89
3-2 쿼리 엔진 101
3-3 데이터 마트의 구축 119
3-4 요약 130

CHAPTER 4 빅데이터의 축적 _ 131
4-1 벌크 형과 스트리밍 형의 데이터 수집 133
4-2 [성능×신뢰성] 메시지 배송의 트레이드 오프 143
4-3 시계열 데이터의 최적화 154
4-4 비구조화 데이터의 분산 스토리지 161
4-5 정리 175

CHAPTER 5 빅데이터의 파이프라인 _ 177
5-1 워크플로 관리 179
5-2 배치 형의 데이터 플로우 199
5-3 스트리밍 형의 데이터 플로우 209
5-4 정리 220

CHAPTER 6 빅데이터 분석 기반의 구축 _ 223
6-1 스키마리스 데이터의 애드 혹 분석 225
6-2 Hadoop에 의한 데이터 파이프라인 245
6-3 워크플로 관리 도구에 의한 자동화 253
6-4 클라우드 서비스에 의한 데이터 파이프라인 268
6-5 정리 279

 

총 6개의 챕터를 기반으로 분산처리부터 시작해 클라우드, 파이프라인 등 다양한 빅데이터 관련 기술 및 개념에 대해 설명해준다.

 

많은 지식을 습득할 수 있을 것 같은 도서라 생각되며 본격적으로 공부해보고자 한다.