최근 포스트

Hive table 다루기

하둡&제플린 환경에서 sql사용 유저에게 데이터를 사용할 수 있도록 하는데는 hive 테이블이 제일인 것 같습니다. 이 포스트는 19년 8월 12일에 최초 작성되었으며, 필요에 따라 업데이트할 예정입니다.

[Airflow] Subdag 활용하기

재사용할 여지가 많은 task들을 묶어 subdag로 만들어 보겠습니다. 이렇게 하면 지저분한 과정들을 묶어서 한눈에 프로세스를 파악하기도 편하고, 관리도 쉬워집니다.

[Airflow] docker를 활용한 초간단 설치하기 2

지난 포스트에 이어 CELERY EXECUTOR를 사용하는 에어플로우, 도커로 설치하기 입니다. 설치 앞부분을 위한 깃레포, 도커이미지를 받아오는 부분은 이전 포스트를 확인해주세요.

[Airflow] docker를 활용한 초간단 설치하기

docker를 이용하여 airflow를 로컬에 설치하던 것보다 더 쉽게 설치해보겠습니다. 에어플로우를 더 아름답게 쓰기 위해서는 executor, db 설정이 필요한데, 모든 환경설정이 그렇듯이 설치할 부품들이 늘어날수록 고통도 늘어납니다. 이런 상황에서 docker는 그런 ...