[Airflow] 간단한 예제로 시작해보기
설치를 마쳤다면 간단한 예제를 바로 실행해볼 수 있습니다.
Recent posts
[Airflow] Basic Concept 알아보기
에어플로우를 사용하기 위한 가장 기초적인 개념에 대해 정리해봤습니다.
[Airflow] 간단 설치
다양한 extra pakages가 존재하나, 일단 기본 airflow를 설치합시다.
Spark SQL - 로우 분리하기
데이터를 다루다보면 하나의 로우를 여러개로 분리해야하는 상황이 온다. 다음은 explode 를 활용한 예
Spark SQL - ROWID 대체
Spark SQL에서 Oracle의 ROWID와 같은 기능을 사용해보자 한다. ROWID는 인덱스의 핵심이라고도 하는데, 이를 활용하여 중복제거, 유일성 부여 등의 작업이 가능하다.