Cache와 LRU Algorithm with python code
이번에는 캐시에 대해 공부하며 정리해보았습니다.
Recent posts
spark write parquet with null
spark sql로 작업을 하다보면 auto schema 때문에(혹은 연산을 거친 후에) 형식이 바뀌는 경우가 발생하는데, 갑자기 튀어나오는 Null이 종종 문제가 됩니다. 파케이로 저장하면 Null 형식을 지원하지 않는다고 하면서 에러를 뿜거든요.
글또와 함께 글쓰기 습관들이기 - 5기
이번에도 글또와 함께 열심히 써보려 합니다.
Zeppelin notebook shortcuts
파이썬에 주피터 노트북이 있다면, 스파크에는 제플린 노트북이 있습니다. 이번에는 제플린 노트북에서 생산성을 극대화시킬 단축키에 대해 정리해보겠습니다. Zeplin 아니고 Zeppelin
Spark with JDBC
jdbc driver를 이용해서 spark로 db 데이터를 읽거나 쓸 수 있습니다.