Spark - 까다로운 텍스트 파일 읽기
구분자 두 개와 함께 들어올 수도 있고 안들어올 수도 있는 형식에 맞지 않는 헤더를 가진 텍스트 파일 처리 - DataFrameAPI로는 조금 까다로운 파일을 textFile 과 rdd의 map 을 이용해서 처리해봅니다.
Recent posts
2020년 회고 및 21년 다짐
상반기 회고를 애매하게 8월에 쓰고, 1월이 되어서야 2020년 회고 및 새해 다짐을 해봅니다.
Cache와 LRU Algorithm with python code
이번에는 캐시에 대해 공부하며 정리해보았습니다.
spark write parquet with null
spark sql로 작업을 하다보면 auto schema 때문에(혹은 연산을 거친 후에) 형식이 바뀌는 경우가 발생하는데, 갑자기 튀어나오는 Null이 종종 문제가 됩니다. 파케이로 저장하면 Null 형식을 지원하지 않는다고 하면서 에러를 뿜거든요.
글또와 함께 글쓰기 습관들이기 - 5기
이번에도 글또와 함께 열심히 써보려 합니다.