데이터를 기반으로

도서명 : 데이터 메시(Data Mesh) 효과적인 데이터 활용을 위한 데이터 메시 도입 가이드 출판사 : 한빛미디어 지은이 : 세막 데그하니지음 독서 기간 : 2023-12-25 ~ 2024-01-06 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 우선 목차 부터 확인해보자. [ 목차 ] 프롤로그 진화적 소프트웨어 아키텍처 P.1 실생활에서의 데이터 메시 P.2 왜 데이터 메시로 변환해야 하는가 P.3 앞으로 가야 할 길 [PART 1 데이터 메시란] CHAPTER 1 데이터 메시를 요약하면 CHAPTER 2 데이터의 도메인 오너십 원칙 CHAPTER 3 제품으로서의 데이터 원칙 CHAPTER 4 셀프 서비스 데이터 플랫폼의 원칙 CHAPTER 5 연합 컴퓨팅 거버넌스의 원칙 [PART..

통계학에서는 정규 분포를 굉장히 좋아하고 모든 분포가 정규 분포를 따르면 얼마나 좋을까? 라는 생각을 가끔 할 때도 있다. 이러한 이유는 모수적 통계 방법들을 적용하고 싶은 마음에서 나온 것 같다. 자, 그럼 우리가 가지고있는 이 데이터가 정규분포여서 모수적 통계 방법들을 사용할 수 있기를 바라며 해당 데이터의 정규성 검정하는 방식에 대해서 설명을 하고자 한다. 정규성 검정에 대한 판단을 할 수 있는 것은 크게 2가지가 있다. - 시각적 검정 - 통계적 검정 먼저, 시각적 검정을 살펴보면 그래프를 직접 그려서 정규 분포를 확인하는 방법이다. 시각적 검정 방법에는 다양한 시각화 그래프가 이용된다. 우리는 그 중에서 히스토그램, Q-Q플랏, 박스 플랏을 확인해보고자 한다. [ 시각적 검정 ] 1. 히스토그램..

데이터 분석을 하다 보면 pandas 패키지를 자연스럽게 사용하게 될 것이다. 우리는 수 많은 데이터를 load 해야하는 경우가 많을 것이다. 우선, pandas documentation에 있는 read_csv 함수에 대한 옵션을 살펴보고 가자. https://pandas.pydata.org/docs/reference/api/pandas.read_csv.html?highlight=read_csv#pandas.read_csv pandas.read_csv — pandas 2.0.3 documentation Delimiter to use. If sep is None, the C engine cannot automatically detect the separator, but the Python parsing e..

도서명 : SQL로 시작하는 데이터 분석 출판사 : 한빛미디어 지은이 : 캐시 타니무라 지음 독서 기간 : 2022-08-12 ~ 2022-08-21 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 데이터 분석을 진행하면서 생각보다 중요하다고 느끼는 게 SQL이었다. 신입으로 데이터 분석 업무를 진행하게 된다면 가장 먼저 하게 되는 것이 무엇일까? 바로 데이터 추출 및 파악이다. 우리 회사의 데이터는 어떻게 적재되고 있으며, 어떤 성질과 특성이 있는지 파악을 하는 것이 가장 선행으로 이루어져야 한다. 그래야 이후 분석에도 명확한 인사이트를 도출할 수 있다. 데이터를 1차적으로 파악하지 못 하고 분석을 진행한다면, 해당 분석 상대적으로 효과적이지 않을 수 있다. 이러한 이유로 데이터 분석에서..

안녕하세요~~ 오늘은 공공 데이터 포털에 올라와 있는 심평원 약국 현황 데이터를 받아오려고 합니다!! 저번에 올렸던 글은 T-map API 였는데요!! 그건 Json으로 받아왔지만 이번 건 XML 형식으로 받아오는 걸로 진행해보고자 해요!! 그리고 그땐 그냥 print로 제가 원하는 값 추출해서 보는 게 다 였지만!! 이번 건은 필요데이터를 받아 엑셀로 저장하는 것 까지 해볼 생각입니다!!!! 크게 어렵지 않아요!! ㅎㅎ 자! 그럼 먼저 공공데이터 포털에 들어가서 확인을 해봐야겠죠? https://www.data.go.kr/data/15001673/openapi.do 위 주소는 공공데이터 포털의 전국 약국 현황 조회 서비스 Open API 제공 사이트 입니다!! 페이지에 가셔서 가장 먼저 해야할 것은 참..

안녕하세요~~ 어제에 이어서 집단을 나눈 후!! 결과 분석에 대해서 글을 작성하고자 합니다!! 그렇게 집단을 나눈 후 집단이 얼만큼으로 나누어졌는지 확인을 해보니 A그룹과 B그룹을 각각 95명씩 할당이 되었습니다. 층별 인원도 각각 동일하게 추출되었습니다. 자, 이제!! 앞 글에서 말씀드렸지만 다시한번 정리해드리자면!! ----------------------------------------------------------------------------------------------------------------------------------------------A그룹(통제집단)은 일반적으로 기존에 저희가 보냈던 문구로 보내고B그룹(실험집단)은 할인율을 강조하는 문구로 문자를 보내고자 했습니다. ..