일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- EDA
- 분석
- 패스트캠퍼스후기
- 패스트캠퍼스
- 활성화함수
- 파이썬을활용한시계열데이터분석A-Z올인원패키지
- 패캠챌린지
- 태국여행
- 직장인자기계발
- 딥러닝
- 리뷰
- 독서리뷰
- airflow
- 데이터 분석
- 통계분석
- correlation
- 빅데이터
- 에어플로
- 방콕여행
- API
- 데이터
- 자동매매프로그램
- 파이썬
- 머신러닝
- 데이터분석
- 직장인인강
- DAGs
- 상관분석
- Ai
- Python
- Today
- Total
목록분류 전체보기 (132)
데이터를 기반으로
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/pUFCy/btsb5kexhny/0cJDWAOVIpgVcmZzvXKSu1/img.png)
도서명 : 혼자 공부하는 머신러닝+딥러닝 출판사 : 한빛미디어 지은이 : 박해선 지음 독서 기간 : 2023-04-10 ~ 2022-04-22 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 혼공시리즈 책을 기존에 접하면서 굉장히 좋다고 느꼈기에, 해당 도서를 신청해서 독서해보지 않을 수 없었다. 머신러닝과 딥러닝을 혼자 공부할 때 엄청난 어려움들이 있었고 그렇게 어려움이 있던 분야의 공부를 혼공 시리즈는 어떻게 풀어냈을지 궁금하여 채택하게 되었다. 먼저, 목차부터 확인해보면 아래와 같다. Chapter 01 나의 첫 머신러닝 ▶ 이 생선의 이름은 무엇인가요? __ 01-1 인공지능과 머신러닝, 딥러닝 ▶ 인공지능과 머신러닝, 딥러닝은 무엇일까요? __ 01-2 코랩과 주피터 노트북 ▶ 코..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bluh9Z/btr8J0q3upd/aResEyAIzXrB05QzL4DgK0/img.png)
DAG 란? -> 방향성 비순환 그래프(Directed Acyclic Grapch)라고 부르며, airflow에서 각 태스크 별로 어떻게 실행되는 지 순서를 확인할 수 있는 그래프이며, 해당 그래프로 전체 파이프라인을 직관적으로 표현할 수 있다. 화살표의 관계는 방향성의 시작점의 태스크가 완료되어야 방향성이 가리키는 태스크를 실행할 수 있다는 의미이다. 이러한 관계이기에, 반복이나 순환을 허용하지 않는다. 만약, 허용하게 된다면 논리적 오류가 발생되어 교착상태(데드락 = deadlock)로 이어진다. [ 예시 사진 ] 태스크 1의 순서인 첫번째가 혹시, 병렬 구조로 2개의 태스크가 독립적으로 이루어지는 케이스들도 존재한다. 해당 태스크는 병렬로 실행하여 가용 컴퓨팅 리소스를 더 효율적으로 사용할 수 있다..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/lmgI9/btr5Hp2kowG/m8WxKq75LD1FKD8NwpjQB0/img.png)
[ Airflow 살펴보기 ] Airflow란, 워크플로우를 개발하고 모니터링하기 위한 오픈 소스 솔루션 이다. Airflow의 기능 중 스케줄링과 데이터 파이프라인 관리 등이 존재한다. 그 중 파이프라인에 대한 부분에 간단한 예시가 있다. 목적 : 실시간 날씨 데이터를 대시보드에 보여주고 싶다. 위와 같은 목표를 실행하기 위해 각각 세분화된 프로세스를 나누어야한다. 1. 먼저 날씨 API를 통해 일기 예보 데이터를 가져온다. 2. 서비스 목적에 맞도록 데이터를 정제하거나 변환한다. (예. 온도를 화씨에서 섭씨로 변환) 3. 변환된 데이터를 날씨 대시보드로 전송한다. 이렇게 3가지의 프로세스(이후에는 task라고 지칭함)를 나눠 각각 실행하며, 오류를 관리할 수 있도록 할 수 있는게 airflow의 파이..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/em6mnp/btr5D2591Q8/Ag3C9B098H0SSgpIkj4l7k/img.png)
시작 일시 : 2023.03.24 해당 독서를 기반으로 웹 서칭 or udemy를 통해서 스터디를 진행하고자 한다.
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/c6m7FA/btr4Ds5t7SK/Kmn0jqvI23hzKkjLN4WMS1/img.png)
도서명 : 트랜스포머를 활용한 자연어 처리 출판사 : 한빛미디어 지은이 : 루이스 턴스톨, 레안드로 폰 베라, 토마스 울프 지음 독서 기간 : 2023-03-10 ~ 2022-03-26 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 이번에는 요즘 실무에서 가장 많이 활용하고 있는 NLP관련된 도서를 택해서 읽어보았다. 아직 지식이 부족해 읽는 데 생각보다 어려움을 느낀 책이었다. 머릿글에서 설명이 나오는 부분이지만, 해당 도서를 구매하실 분들은 최소한의 Transformer 의 개념과 기본적인 딥러닝, LSTM 등 NLP 자연어 관련 모델링을 한번 정도는 구현을 해본 분들이 읽기에 적합한 도서 같다. [ 목차 ] CHAPTER 1 트랜스포머 소개 CHAPTER 2 텍스트 분류 CHAPTE..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/srHve/btrX3sZ2hgw/dLH4klvkfZeZ5NYDfOkfxk/img.png)
해당 글은 실제 데이터를 가지고 간단히 시각화를 하며 보고자하는 글 입니다. 직접적인 상관관계가 있는 지 상관 분석을 해본 글은 아니니 오해 없이 봐주시기 바랍니다. KB시세를 조회할 수 있는 사이트에서 제공되는 데이터를 각각 가져와 시각화를 해보았습니다. [ KOSIS ] 1. 전국 평균 매매가 2. 전국 평균 전세가 [ 한국은행 제공 데이터 ] 1. 기준 금리 가장 먼저, 전국 매매와 전세가의 차이를 보고자한다. 각각 제공 되는 데이터가 가격이 아닌 가격 지수이다 보니, 1.5를 매매가에 곱해서 흐름을 같이 보고자 했다. [ 전국 매매가와 전세가 ] [ 수도권 매매가와 전세가 ] 이번에는 금리와 전세가를 같이 한번 보고자 합니다. [ 전국 전세가와 금리 ] [ 수도권 전세가와 금리 ] 이번에는 금리와..