데이터를 기반으로

빅데이터 기술에서 가장 먼저 예로 들 수 있는 것이 'Hadoop'과 'NoSQL'이다. 웹 서버 등에서 생성된 데이터는 처음에는 RDB와 NoSQL 등의 텍스트 데이터에 저장된다. 그 후 모든 데이터가 Hadoop으로 모이고 거기서 대규모 데이터 처리가 실행된다. 기존 RDB에 대용량 데이터들을 처리하는데 한계가 생겼으며 이를 해결하기 위해 'Hadoop'과 'NoSQL'이 각각 다른 형태로 나온 것이다. [ Hadoop ] Hadoop은 다수의 컴퓨터에서 대량의 데이터 처리하기 위한 시스템이다. 전세계의 웹페이지를 모아서 검색 엔진을 만들고자할 때, 방대한 데이터를 저장해둘 스토리지와 순차적으로 데이터 처리를 할 수 있는 구조가 필요하다. 그러기 위해서는 수 백, 수천 대의 컴퓨터가 이용되어야 하며 ..

현재 회사를 입사 후 처음으로 책 한권을 잡고 쭉 공부해보자 라는 마음을 먹은 첫 도서이다. 입사 직무를 데이터 사이언티스트로 들어와 가장 많이 필요로 했던 기술들이 ETL 기술을 필두로 다양한 엔지니어 기술들이었다. 하여, 해당 도서를 개인적으로 읽어보며 챕터 별로 정리해 볼 생각이다. 우선 간단하게 목차부터 확인해보자. CHAPTER 1 빅데이터의 기초 지식 _ 1 1-1 [배경] 빅데이터의 정착 3 1-2 빅데이터 시대의 데이터 분석 기반 11 1-3 [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임 26 1-4 BI 도구와 모니터링 33 1-5 요약 42 CHAPTER 2 빅데이터의 탐색 _ 43 2-1 크로스 집계의 기본 45 2-2 열 지향 스토리지에 의한 고속화 56 2-3 애드..