데이터를 기반으로

3일차의 강의는 아직 이론수업의 강의가 진행되었다. 2일차에 들었던 강의는 빅데이터에 대한 전반적인 개념 및 현재 시장에서 진행되는 프로젝트들의 프로세스 위주로 설명이 진행되었다면 3일차에는 통계 및 분석의 기본 프로세스에 초점을 맞춘 설명들이 이어져 나갔다. 왼쪽화면은 이론설명 강의자료이고 오른쪽 화면이 인터넷 강의 장면이다. 강의를 듣고 강의자료를 보면서 한번 더 이해하는 식으로 공부를 진행해나갔다. 기초적인 데이터 타입부터 시작해 변수 종류 등 피처에 대한 기본적인 특징들에 대해서 강의가 시작되었다. 이후에는 분포를 기반으로 설명이 시작되었고 분포의 모양에 대한 설명에서 왜도, 첨도 에 대한 설명이 나왔다. 처음 강의 자료를 듣고 이해가 가지 않았지만 강의에서도 외부 포털사이트에서 직접 검색을 하여..

이번 강의는 데이터 분석의 전체적인 흐름과 그 흐름속에서 단계별로 세세한 설명을 진행해 주었다. 저번 강의에서 제공해준 깃허브에서 전체 코드를 다운로드 한 후 나의 주피터 노트북에 로드할 수 있게 적용시켜 놓았다. 오른쪽 화면은 강의화면이고 왼쪽 화면은 내 로컬 pc의 주피터 노트북 화면이다. 해당 화면의 강의자료를 보며 강의를 수강했다. 가장 먼저 데이터에 관련된 직군들을 위주로 설명을 진행해주었다. 데이터 사이언티스트 / 애널리스트 / 엔지니어 등 다양한 데이터 관련 직업이 생겨났고 각 직업별 업무에 대한 간략한 설명을 진행해주었다. 나는 개인적으로 데이터 싸이언티스트를 꿈꾸며 해당 강의를 수강하고 있고 현재는 데이터 애널리스트로 일을 하고 있다. 종종 데이터 엔지니어의 업무도 병행하고 있다. 이러한..

드디어 기다리던 패스트 캠퍼스 챌린지 1일차가 되었다. 내 블로그 카테고리를 보면 알겠지만 최근 비트코인 자동매매 프로그램 구축이라는 개인 프로젝트를 진행 중이다. 주식, 비트코인 등 시계열 데이터에 관한 분석을 본격적으로 진행해야겠다는 필요성을 느껴 해당 강의를 수강하게 되었다. 수강한 강의는 바로 "파이썬을 활용한 시계열 데이터 분석 A-Z 올인원 패키지 Online." 이다. 모든 IT 관련 강의들을 찾아보던 중 해당 강의가 타 강의에 비해 알려주는 범위도 넓고 기초 시계열 분석 부터 딥러닝까지 다루는 커리큘럼이라 바로 선택하여 수강 신청을 하게 되었다. 오늘의 강의는 데이터 분석을 하기위한 Tool을 설치하고 환경을 구축하는 강의였다. 가장 먼저 Python을 설치하고 해당 강의에서는 Jupyte..

가장 먼저 고민한 것은 클라우드로 DB를 구성할 지 아니면 로컬에 구축할 지 결정하는 것이었다. 처음부터 클라우드로 구축하고자하니 공수도 크고 부담스러운 면이 있어서 우선은 로컬에 구축후 클라우드로 옮겨갈 생각이다. (사실 그만큼 대용량 데이터를 구축할 예정이 없기에 로컬에 구성해도 될 것 같지만 스크립트가 자동으로 돌아갈 수 있는 환경으로 구축해주려면 DB 또한 같이 움직여야 하니 이 부분은 매매프로그램이 완전히 구축되면 그 때 다시 계획을 세울 예정이다.) 해당 글에서 소개해드릴 것들은 크게 3가지이다. 1. Editor 현재 회사에서 Dbeaver라는 에디터를 사용하고 있어서 해당 에디터를 사용하여 DB관련 작업을 진행해 나갈 예정이다. 2. MariaDB 실무에서는 Mysql과 Hive만 다루다 ..

예전부터 자동 매매 프로그램을 개인적으로 구축하여 영구적인 소득을 얻을 수 있는 목표를 세웠었다. 해당 목표에 가장 진입장벽이 낮으며 데이터 분석 관련 분야에 제일 근접한 부분이 아닌가 싶어 해당 프로그램을 구축하고자 한다. 코인 자동 매매프로그램 구축 단계는 크게 6단계로 나뉜다. 1. DB구축 → 우선 시뮬레이션을 진행할 때 필요하기도 하고 내 매매 알고리즘에 필요한 데이터를 적재할 데이터 베이스가 필요하여 목적에 맞는 테이블들을 설계할 예정이다. 2. API 연동 및 키 발급 → 나는 Upbit API를 연동하여 진행하고자 한다. 데이터를 호출하는 것은 pyupbit을 통해 진행할 예정이다. ※ pyupbit패키지는 따로 인증키를 입력하는 절차없이 호출 변수들만 알면 모듈을 통해 호출이 가능하다. ..

안녕하세요~~ 오늘은 공공 데이터 포털에 올라와 있는 심평원 약국 현황 데이터를 받아오려고 합니다!! 저번에 올렸던 글은 T-map API 였는데요!! 그건 Json으로 받아왔지만 이번 건 XML 형식으로 받아오는 걸로 진행해보고자 해요!! 그리고 그땐 그냥 print로 제가 원하는 값 추출해서 보는 게 다 였지만!! 이번 건은 필요데이터를 받아 엑셀로 저장하는 것 까지 해볼 생각입니다!!!! 크게 어렵지 않아요!! ㅎㅎ 자! 그럼 먼저 공공데이터 포털에 들어가서 확인을 해봐야겠죠? https://www.data.go.kr/data/15001673/openapi.do 위 주소는 공공데이터 포털의 전국 약국 현황 조회 서비스 Open API 제공 사이트 입니다!! 페이지에 가셔서 가장 먼저 해야할 것은 참..