일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- 독서리뷰
- 패캠챌린지
- 딥러닝
- 상관분석
- 패스트캠퍼스후기
- 통계분석
- 파이썬을활용한시계열데이터분석A-Z올인원패키지
- API
- 데이터 분석
- 분석
- DAGs
- Ai
- 데이터
- 직장인자기계발
- 태국여행
- 활성화함수
- 에어플로
- 직장인인강
- 방콕여행
- 리뷰
- 파이썬
- correlation
- 패스트캠퍼스
- 데이터분석
- 머신러닝
- airflow
- 빅데이터
- 자동매매프로그램
- Python
- EDA
- Today
- Total
데이터를 기반으로
크롤링을 할 때 마다 가장 불편했던 부분은 Html 에 대한 개념이 부족할 때 구조 파악이 잘 안되는 부분들이었다. 그리하여, 이번에는 Html이 정확이 무엇인지? 그리고 어떤 구조로 구성되어 있는지 한번 알아보고자 한다. [ HTML 이란? ] 하이퍼 텍스트 마크업(Hyper Text Markup Language, HTML)란? 웹 페이지 표시를 위해 개발된 지배적인 마크업 언어다. 또한, HTML은 제목, 단락, 목록 등과 같은 본문을 위한 구조적 의미를 나타내는 것뿐만 아니라 링크, 인용과 그 밖의 항목으로 구조적 문서를 만들 수 있는 방법을 제공한다. 그리고 이미지와 객체를 내장하여 대화형 양식을 생성하는 데 사용될 수 있다. HTML은 웹 페이지 콘텐츠 안의 꺾쇠 괄호에 둘러싸인 "태그"로 되어..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/DUlK9/btslhdLptnW/KliIIVh9U17LBOYCtXr0v0/img.png)
도서명 : 팀 개발을 위한 Git, GitHub 시작하기(개정판) 출판사 : 한빛미디어 지은이 : 정호영, 진유림 지음 독서 기간 : 2023-06-10 ~ 2022-06-25 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 이번에 새로운 곳으로 이직을 하면서(물론, 이직한지 1년이 넘었지만..) GIT에 대한 중요성을 굉장히 인지하게 되었다. 그 전 회사는 깃으로 코드를 관리하지 않았기에 이러한 고충을 몰랐었다. 하지만, 이번 회사는 Git lab 으로 코드들을 관리하고 있었고 이를 활용하기 위해 사내에서 진행하는 깃의 가장 기초적인 교육을 들었던 기억이 있다. 그 당시에는 깃에 대한 개념 보다는 실질적으로 깃을 사용할 수 있는 기초적인 명령어들 위주로 교육이 진행되었다. (예를 들면, ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/MMP1m/btsis696L6G/gpQjnSBRlPYl6bPrwNKHYK/img.png)
DAG에 새로운 스크립트를 업로드하고 나서 웹에서 확인하는데 보여지지 않아 기존에 띄워져 있던 webserver를 재실행하고자 했다. 그래서, 커널을 열고 기존 처럼 webserver 를 실행하면 재실행이 될 줄 알았는데, 위 사진과 같이 실행이 안되고, Can't connect to 메시지를 보이며 계속 멈춘 상태가 되었다. 그래서 특정 포트를 지정하고 실행해보고자 아래와 같이 실행했다. 8080 포트로 강제 부여해서 실행할 수 있을까? 하는 시도로 해보았지만...결과는 동일했다. 여기 저기 찾아보니 실행되고 있는 것을 종료시키고 실행해야된다고 나와있었다. 명령어 : ps -f -> 현재 실행되고 있는 모든 프로세스들을 보여준다. 명령어 : kill - (종료하고자 하는 PID) -> 해당 프로세스(P..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/kLwZc/btshCf68MAU/eShYnfBjR7w8k3hQmoJlZK/img.jpg)
도서명 : AWS 기반 데이터 과학 출판사 : 한빛미디어 지은이 : 크리스 프레글리, 안티 바르트 지음 독서 기간 : 2023-05-10 ~ 2022-05-27 "한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다." 요즘 현업에서 AWS Lambda를 작업하며 데이터 엔지니어의 업무를 진행하고 있다. 때마침, 한빛미디어 리뷰 이벤트에 해당 책이 후보에 올라와 있었고 나는 당연히 이 책을 고를 수 밖에 없었다. 물론 Lambda 뿐만 아니라 다른 다양한 내용을 포함하고 있겠지만, 당장 내가 사용하는 lambda에 대한 해답을 얻고자 선택한 것도 있었다. 먼저 소개에 앞서, 목차부터 소개하고자 한다. 목차 CHAPTER 1 AWS 기반 데이터 과학 소개 CHAPTER 2 데이터 과학의 모범 사례 CH..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bnFXLk/btseF8J25Pa/zKmmU2BdzYZI9hCEvX5ubK/img.png)
다음 학습인 DAGs 폴더에 파이썬 스크립트인 .py 파일을 업로드 하고, airflow webserver 에서 확인해보면 업로드 되어있어야 할 스크립트 파일이 없는 상황이었다. 보통 이러한경우는 크게 2가지로 나뉜다고 한다. 1. 스크립트파일(.py) 파일 자체 코드가 실행했을 때, 정상적으로 실행이 안되는 경우 2. DAGs 경로들이 제대로 인식되지 않은 경우 우선, 첫 번째 스크립트 파일을 뜯어보았다. 책 예제에서 보여주는 'download_rocket_launches.py' 파일이었고, 실행해보니 start_date 관련해서 오류가 발생했다. (해당 코드는 책에서 제공되는 git 을 로컬에 clone하여 받은 파일이다.) Error Message : RemovedInAirflow3Warning: ..
airflow DAGs 에서 파이썬 오퍼레이터가 정확히 어떻게 작동되는지에 대한 개념이 애매한 상태로 실무에서 적용해보고자 시도해본 적이 많았다. 그때마다 굉장한 어려움이 있었는데..역시 도서를 보고 개념부터 이해해가니 쉽게 이해할 수 있었다. 우선 함수를 정의 하는 부분의 코드들이 상단에 있다는 가정하에, def action_func(x) : y = x+2 return y get_pictures = PythonOperator( task_id="get_pictures", python_callable=action_func, dag=dag ) 위와 같은 코드에서 예로 들어 설명을 한다면, 실제로 파이썬 작업이 이루어지는 것은 함수 action_func 안의 코드이다. 해당 함수를 선언하기 위해서 하단의 Py..