Little Tips For Spark

스파크를 사용하며 얻은 팁을 정리해보았습니다. 데스크탑 환경에서는 좌측 사이드바에서, 모바일에서는 제목 위의 Toggle Menu를 누르시면 스파크 관련 글을 확인할 수 있습니다.

Adhoc

• 데이터프레임에 고유하고 연속적인 인덱스 컬럼이 필요할 때
  • Unique and Continuous Index for DataFrame
• 제플린 노트북의 인터프리터를 동시에 여러개 사용하고플 때
  • zeppelin interpreter multiprocessing setting
• 하이블 컬럼명을 굳이 한글로 해야할 때
  • 하이브 테이블 다루기 - 테이블 생성

Perfomance

• 분명 하둡 용량이 남아도는데 뭔가 이상할 때 (블록 파편화)
  • hadoop block fragmantation
• 분산처리를 하고 싶지만 결과 데이터는 하나로 만들고 싶을 때, 혹은 성능 튜닝이 필요할 때
  • Coalesce vs. Repartition