Recent posts

OS - Disk Scheduling

less than 1 minute read

디스크 접근 시간은 Seek time, rotational delay, transfer time 으로 구성되며, 이 중 데이터의 위치는 찾는 Seek time 이 가장 오래 걸린다. 데이터를 읽고 쓰는 작업을 위한 대기열인 디스크 큐 (disk queue) 에는 많은 요청(requ...

OS - File Allocation

1 minute read

보조기억장치인 파일 시스템(하드 디스크)에 파일을 할당하는 방법

Hive table 다루기

1 minute read

하둡&제플린 환경에서 sql사용 유저에게 데이터를 사용할 수 있도록 하는데는 hive 테이블이 제일인 것 같습니다. 이 포스트는 19년 8월 12일에 최초 작성되었으며, 필요에 따라 업데이트할 예정입니다.

[Airflow] Subdag 활용하기

1 minute read

재사용할 여지가 많은 task들을 묶어 subdag로 만들어 보겠습니다. 이렇게 하면 지저분한 과정들을 묶어서 한눈에 프로세스를 파악하기도 편하고, 관리도 쉬워집니다.

[Airflow] docker 활용 초간단 설치 2

4 minute read

지난 포스트에 이어 CELERY EXECUTOR를 사용하는 에어플로우, 도커로 설치하기 입니다. 설치 앞부분을 위한 깃레포, 도커이미지를 받아오는 부분은 이전 포스트를 확인해주세요.