데이터를 기반으로

개발자의 하루를 바꾸는 코파일럿 & 챗GPT

도서명 : 개발자의 하루를 바꾸는 코파일럿 & 챗GPT 출판사 : 한빛미디어 지은이 : 마이클 D. 캘러핸 지음 독서 기간 : 2023-09-10 ~ 2022-09-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 요즘 개인적으로 GPT를 이용해서 사이드 프로젝트를 진행하고자 하여, 관심이 급 생겨서 신청하여 읽어본 도서이다. 챗 지피티를 시작으로 생성형 AI 가 엄청나게 쏟아져 나오는 요즘이다. 이러한 요즘 상황에서 어떻게 이 생성형 AI를 잘 사용하고 효율적으로 사용할 수 있을지에 대한 연구들이 굉장히 다방면으로 진행되고 있다. 조금 늦은감이 있지만, 이러한 연구에 조금 동참하게 된 상태이다. 우선 해당 도서의 목차를 먼저 살펴보자. 1장 소프트웨어 개발에 AI 활용하기 2장 셸 스..
도서 리뷰/빅데이터&IT 2023. 9. 22. 11:27
정규성 검정(Normality Test)(3) - 통계적 검정(Kolmogorov-smirnov test)

저번 글에 이어서 2번째 통계적 검정법인 'Kolmogorov-smirnov test'에 대해서 정리를 하고자 한다. (줄여서 KS-Test라고 부르기도 한다.) 먼저, 해당 검정법은 정규분포와 해당 변수의 분포를 비교해서 얼마나 차이가 많이 나는지 비교하는 방법으로 진행된다. 좀 더 자세하게 말하면 정규분의 누적분포와 검정하고자 하는 변수의 누적분포를 서로 비교하는 방법이다. 해당 검정을 진행하기 위한 조건 및 권장 사항에 대해서 확인하면 다음과 같다. 1. N은 50개 이상인 경우에 권장한다. 2. 비모수 검정이기에 분포에 대한 가정이 필요없다. 3. 연속형 변수에 적합하다. 해당 검정법의 원래 목적은 2변수에 대한 누적분포를 서로 비교하는 것인데, 현시대에 많은 통계 패키지 및 Tool 들이 옵션값..
통계/검정 2023. 9. 10. 23:23
정규성 검정(Normality Test)(2) - 통계적 검정(Shapiro-Wilk test)

이전 글에 이어 2번째 통계적 검정에 대해 알아보고자 한다. https://ds92.tistory.com/127 정규성 검정(Normality Test)(1) - 시각적 검정 통계학에서는 정규 분포를 굉장히 좋아하고 모든 분포가 정규 분포를 따르면 얼마나 좋을까? 라는 생각을 가끔 할 때도 있다. 이러한 이유는 모수적 통계 방법들을 적용하고 싶은 마음에서 나온 ds92.tistory.com [ 통계적 검정 ] 1. 샤피로-윌크 검정(Shapiro-Wilk test) → 정규성 검정에서 가장 많이 쓰이는 방법 중 하나이며 생각보다 위키피디아에 정리가 잘 되어 있었다. 해당 검정법은 가장 많이 쓰이는 검정법이며 작은 표본에서도 잘 작동하며, 정확한 검정을 제공하고 큰 표본에서는 검정 결과가 민감할 수 있다...
통계/검정 2023. 8. 29. 23:04
정규성 검정(Normality Test)(1) - 시각적 검정

통계학에서는 정규 분포를 굉장히 좋아하고 모든 분포가 정규 분포를 따르면 얼마나 좋을까? 라는 생각을 가끔 할 때도 있다. 이러한 이유는 모수적 통계 방법들을 적용하고 싶은 마음에서 나온 것 같다. 자, 그럼 우리가 가지고있는 이 데이터가 정규분포여서 모수적 통계 방법들을 사용할 수 있기를 바라며 해당 데이터의 정규성 검정하는 방식에 대해서 설명을 하고자 한다. 정규성 검정에 대한 판단을 할 수 있는 것은 크게 2가지가 있다. - 시각적 검정 - 통계적 검정 먼저, 시각적 검정을 살펴보면 그래프를 직접 그려서 정규 분포를 확인하는 방법이다. 시각적 검정 방법에는 다양한 시각화 그래프가 이용된다. 우리는 그 중에서 히스토그램, Q-Q플랏, 박스 플랏을 확인해보고자 한다. [ 시각적 검정 ] 1. 히스토그램..
통계/검정 2023. 8. 27. 20:39
상관계수의 기초 - 피어슨 상관계수(Pearson correlation)(1)

이전 글에서 공분산과 상관계수에 대한 차이를 알아보았다. https://ds92.tistory.com/124 공분산과 상관계수의 차이 - (1) 이전 게시글에서 변수 타입에 대해 정의를 내려보았다. 그럼 이제 각 변수들 간의 어떠한 관계가 있을 건지에 대한 궁금증이 생기기 마련이다. 우리는 어떠한 특정 현상이나 관계에 대해 가장 ds92.tistory.com https://ds92.tistory.com/125 공분산과 상관계수의 차이 - (2) 1번 글에 이어서 상관계수의 개념을 보면서 시작하고자 한다. [ 상관 계수(Correlation coefficient) ] 상관계수(相關係數, correlation coefficient)는 두 변수 사이의 통계적 관계를 표현하기 위해 특정한 상 ds92.tisto..
통계/통계관련 개념 2023. 8. 25. 12:29
공분산과 상관계수의 차이 - (2)

1번 글에 이어서 상관계수의 개념을 보면서 시작하고자 한다. [ 상관 계수(Correlation coefficient) ] 상관계수(相關係數, correlation coefficient)는 두 변수 사이의 통계적 관계를 표현하기 위해 특정한 상관 관계의 정도를 수치적으로 나타낸 계수이다.[1] 여러 유형의 상관계수가 존재하지만 제각기 자신들만의 정의와 특징이 있다. 이들은 모두 값의 범위가 -1에서 +1 사이에 속하며 여기서 ±1은 정도가 가장 센 잠재적 일치를 나타내고 0은 정도가 가장 센 불일치를 나타낸다.[2] - 출처 : 위키 백과 - 이전 공분산의 범위는 - 무한대 ~ + 무한대 이다. 상관 계수는 -1 ~ +1 이다. 이것만 두고 보아도 무엇이 다른지 확연히 알 수 있다. 바로 스케일의 차이다..
통계/통계관련 개념 2023. 8. 16. 17:20
이전 Prev 1 ··· 3 4 5 6 7 8 9 ··· 25 Next 다음