어느새 4년차가 된 데이터 엔지니어의 2021년 회고

벌써 3년 차가 끝나고 4년 차 데이터 엔지니어가 되었습니다. 올 한 해를 정리하는 글입니다.

3년 하고 4개월이네요. 회고글을 작성하기 전 지난 회고 글을 읽어봤습니다. 2019년에는 시간 순으로 쓰다 보니 좀 지루했고, 2020년에는 상반기 회고를 따로 쓴 데다가 불릿 포인트로 축약해서 써놓으니 잘 읽히지가 않네요. 그래서 이번 회고는 주제별로 한번 써보려고 합니다. 그리고 20년에는 날림으로 쓴게 티가 나네요 ㅎㅎ.

이직과 새로운 문화

4월 말에 데이터 엔지니어링 팀의 규모가 조금 더 큰 회사로 옮겼습니다. 왜 옮겨야만 했을까를 한 가지로 압축해보자면 결국은 성장이었어요. 하고 싶은 걸 더 많이, 빠르게, 잘하고 싶었거든요. 혼자 성장하면 1배속이지만, 함께 한다면 N배속으로 성장할 거라 기대했습니다. 그리고 입사한 지 8개월이 지났네요. 결론은? 아주 만족하고 있습니다.

입사 전에 기술적인 성장 외에는 다른 부분에 대해서는 크게 기대하지는 않았는데요. 오히려 기술 외적으로, 일을 더 잘하는 방법을 많이 배웠습니다. 업무를 작은 단위로 나누고 계획을 세워 일정을 산정한다던지, 잘 안 되는 문서화를 어떻게 챙기는지, 블록커가 발생할 땐 어떻게 해결하는지, 그리고 고정된 방식으로만 일을 처리하지 않고 항상 더 나은 방법을 함께 고민하는 부분이 좋았고, 많이 배웠습니다.

물론 terraform을 통해 코드로 인프라를 관리하는 방식, Spark Cluster Tuning, Airflow를 더 잘 활용하는 방법 등의 기술적인 배움도 좋았습니다. k8s 짱.

좋은 코드

코드를 잘 쓰고 싶다는 생각은 늘 했던 것 같습니다. 그래서 클린 코드 책도 봤는데 Java더라구요… 그래도 코드가 거기서 거기지~ 하고 읽기는 했는데, 잘 와닿지는 않았습니다. 처음 읽은 게 거의 일 년쯤 된 것 같아요.

그러다가 최근에 다시 한번 훑어봤는데, 코드 리뷰하면서, 팀 스터디에서 했던 얘기들이 다시 정리가 되는 기분이었습니다. 모두 비슷한 말을 하고 있더라구요. 함수는 작아야 한다. 의존성 역전으로 결합을 느슨하게 해야 한다. 이름 잘 지어라. 테스트 코드 잘 써라. 이러면 안 좋다. 저러면 좋다. 이런 것들이요. 그리고 불과 반년 전에 제가 쓴 코드를 거의 다 뜯어고치는 리팩토링을 했는데, 고치고 나니 클린 코드에 반 보 정도는 다가선 것 같습니다.

AWS re:Invent & Silicon Vally

아마존 웹서비스의 리인벤트 행사에 다녀왔습니다. 1년차 회고 때 했던 생각이 이루어졌네요. 비록 AWS 자격증은 없는 상태로 다녀왔지만요. (행사장에서 응시하면 반값이라더니, 올해는 아니었습니다…) 상황이 상황인지라 가기 전까지 많은 고민을 했지만, 좋은 기회가 주어져서 잘 다녀왔다고 생각합니다. 온라인으로도 대부분의 세션을 볼 수 있지만, 오프라인만큼 집중이 되지는 않으니까요. 또 스티커랑 티셔츠도 받아야하고…

세션의 8-90%가 Q&A로 진행되는 Chalk Talk이 인상 깊었습니다. 행사장에서만 들을 수 있기도 했고(녹화가 큰 의미가 없어서 녹화를 안 한다고 함), 내가 쓰는 서비스를 만드는 AWS 개발자와 얘기할 수 있으니까요. 오랜만에 개발자 행사에 오프라인으로 참여해서 재미있었고, 비슷한 문제 해결을 위해 고민하는 개발자, 엔지니어와 함께 얘기할 수 있어서 좋았습니다.

그리고 실리콘밸리 탐방을 목적으로 라스베가스에서 가까운 샌프란시스코에도 다녀왔습니다. 구글 캠퍼스, 메타 Reality Labs 와 스탠포드 대학 캠퍼스를 구경했어요. 그런데 코로나 때문에 많은 분들이 재택근무를 하고, 이전과 달리 외부인은 건물 안으로 들어갈 수가 없어서 아쉬웠습니다. 그래도 메타의 데이터 사이언티스트분과 얘기할 수 있었고(회사분의 지인), 우버의 디자이너분도 만나서(무려 공항에서 PCR 검사 기다리다가 만남) 너무 좋았습니다. 지금 회사에서 일하는 방식과 실리콘밸리에서 일하는 방식이 유사한 부분에서 서로 놀라기도 하고, 다른 부분을 또 듣기도 하구요. 타지에서 일하는 게 역시 쉽지만은 않은 것 같아요. (그래도 보내주면 감)

블로그

이번 회고를 제외하고 올해는 이런 글을 썼습니다.

제목	작성일
Slack SDK로 메세지 보내기 (with Airflow)	2021-12-18
SDK를 쓰는 이유와 aws boto3	2021-12-04
Spark Cluster Architecture와 Application Lifecycle	2021-11-20
데이터 파이프라인과 아키텍처 변천사	2021-11-05
Spark Thrift Server와 IDL, RPC 정리	2021-10-04
fixture, monkeypatch - pytest tutorial (2)	2021-09-09
python test는 이제 pytest와 함께 - pytest tutorial (1)	2021-08-26
SOLID with Python - Dependency Inversion Principle	2021-08-11
Google Analytics 조회수 분석으로 기술 블로그 콘텐츠 계획하기	2021-07-25
6개월 간의 글또 5기 회고 - 나는 글을 왜 쓸까?	2021-05-02
쿠버네티스 개념 정리 - k8s를 구성하는 기초 오브젝트	2021-04-15
spark-submit을 위한 스파크 앱 JAR 생성하기	2021-04-03
[Python, C++] call by value, call by reference, call by address	2021-03-20
도커와 쿠버네티스를 이해하기 위한 로드맵 & 가이드	2021-02-19
Spark - 까다로운 텍스트 파일 읽기	2021-01-12

5월까지는 글또 5기, 12월 이번 포스팅을 마지막으로 글또 6기와 함께 포스트를 쓰다보니 생각보다 많이 썼네요. 이번 글까지 총 16개. 하반기 계획했던 주제 중에 반정도만 쓰긴 했는데, 나름대로 만족스러운 글을 쓴 것 같습니다. 글을 써야하는 순간에 제가 고민하거나 공부하는 주제에 대해 많이 쓰는 것 같아요. pytest, spark thrift, k8s에 대해 쓸 때 그랬네요.

2주 마다 한 편의 글을 쓰는게 정말 쉬운일이 아니다보니 종종 이제 그만할까 싶기도 한데, 또 이렇게 써놓은 걸 보면 그나마 이거라도 해서 정리하는게 아닌가하는 복잡한 마음입니다. 그런데 이제는 글의 양보다는 질에 집중하면 좋겠다는 생각이 들어요.

앞으로

전방위적 성장이라는 말을 최근에 들었는데요, 이 말처럼 영역에 제한을 두지 않고 앞으로 데이터, 백엔드, 데브옵스, 프로덕트 다 해보려고 합니다. 데이터나 테크에 한정되지 않고 문제 해결 자체를 잘하는 사람이 되고 싶거든요. 물론 다 잘하려면 그만큼 고통이 따르겠죠… 지난 한 해도 쉽지는 않았는데, 지나고 보니 기억도 잘 안 나네요. 해볼 만할 지도요. 그리고 더 효율적으로 일하고, 명확한 커뮤니케이션을 하는 사람이 되고자 합니다.

끝.