데이터를 기반으로

[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..

시작 일시 : 2023.03.24 해당 독서를 기반으로 웹 서칭 or udemy를 통해서 스터디를 진행하고자 한다.

도서명 : 트랜스포머를 활용한 자연어 처리 출판사 : 한빛미디어 지은이 : 루이스 턴스톨, 레안드로 폰 베라, 토마스 울프 지음 독서 기간 : 2023-03-10 ~ 2022-03-26 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 이번에는 요즘 실무에서 가장 많이 활용하고 있는 NLP관련된 도서를 택해서 읽어보았다. 아직 지식이 부족해 읽는 데 생각보다 어려움을 느낀 책이었다. 머릿글에서 설명이 나오는 부분이지만, 해당 도서를 구매하실 분들은 최소한의 Transformer 의 개념과 기본적인 딥러닝, LSTM 등 NLP 자연어 관련 모델링을 한번 정도는 구현을 해본 분들이 읽기에 적합한 도서 같다. [ 목차 ] CHAPTER 1 트랜스포머 소개 CHAPTER 2 텍스트 분류 CHAPTE..

해당 글은 실제 데이터를 가지고 간단히 시각화를 하며 보고자하는 글 입니다. 직접적인 상관관계가 있는 지 상관 분석을 해본 글은 아니니 오해 없이 봐주시기 바랍니다. KB시세를 조회할 수 있는 사이트에서 제공되는 데이터를 각각 가져와 시각화를 해보았습니다. [ KOSIS ] 1. 전국 평균 매매가 2. 전국 평균 전세가 [ 한국은행 제공 데이터 ] 1. 기준 금리 가장 먼저, 전국 매매와 전세가의 차이를 보고자한다. 각각 제공 되는 데이터가 가격이 아닌 가격 지수이다 보니, 1.5를 매매가에 곱해서 흐름을 같이 보고자 했다. [ 전국 매매가와 전세가 ] [ 수도권 매매가와 전세가 ] 이번에는 금리와 전세가를 같이 한번 보고자 합니다. [ 전국 전세가와 금리 ] [ 수도권 전세가와 금리 ] 이번에는 금리와..

전세가와 매매가의 정의 부터 살펴보자. 전세란? → 전세(傳貰)는 한국의 주택 임차 계약 중 한 형태로, 전세권자(임차인, 주택을 빌리는 사람)가 전세금을 주택 소유자(임대인, 주택을 빌려주는 사람)에게 예탁하는 조건으로 주택을 임차한 뒤 계약 기간이 끝나면 전세금을 100% 돌려받고 나가는 것을 말한다. 부동산 임대료(월세)를 따로 내지 않는다는 점에서 월세와 차별화된다. https://namu.wiki/w/%EC%A0%84%EC%84%B8 전세 - 나무위키 굳이 집을 사야 할 필요성을 느끼지 못했어요. 전세라는 좋은 제도가 있는데…. (웃음) 근데 전세값도 많이 오르고, 살면서 고장 나는 게 있으면 주인에게 고쳐달라고 해야 하고…. 전세 만기일 namu.wiki 매매가란? → 전세나 월세처럼 임대차가..

- 두 변수의 독립성을 검정하기 위해 카이제곱 독립성 검정 진행 - 모든 변수들 끼리 종속성이 존재하다고 나와서 크래머 v계수를 추출하여 해당 건 설명 사용 분석 기법 두 변수 간 독립성 검정(카이제곱) (검정 Process) - 가설 설립 (예시) H0(귀무가설) : A 변수와 B 변수간에 관련이 없다(독립이다) H1(대립가설) : A 변수와 B 변수간에 관련이 있다(독립이 아니다 = 종속성이 존재한다) - Chi-square indepence test를 이용한 가설 검정 p-value 값의 맞춰 가설 채택 (참고 링크 : https://en.wikipedia.org/wiki/Chi-squared_test ) Chi-squared test - Wikipedia From Wikipedia, the fre..