데이터 플랫폼을 만드는 데이터 엔지니어의 2022년 회고
2022 상반기 회고로 정리를 한번 했지만, 적당히 리마인드하며 2022년 있었던 일 + a 를 정리해봅니다.
믿음직한 동료들이 각자의 이유로 떠났다. 함께 일한 건 일년 남짓 짧은 기간이어도, 여기서의 시간은 아주 압축적이라서 많이 가까워졌던 것 같다. 궁합이 잘 맞는 동료가 떠나는 건 아쉬운 일이다. 하지만 그들이 각각의 회사에서 나와 비슷한 일을 하며 좋은 정보, 업계 근황을 알려주는 건 꽤 괜찮은 것 같다. 귀와 눈이 퍼진 느낌. 인연이 되면 또 같이 일할 수도 있고, 아니라면 밖에서 맥주/커피나 한잔하면 되고. 훌륭한 분들이 그 자리를 채워주셔서, 팀이 쪼그라들었다가 다시 원상복구 됐다. 그리고 팀은 이전보다 더 많은 일을 더 잘할 수 있게 되었다.
22년도 도전적인 한 해였다. 데이터 제품을 서비스하기 위한 서버의 인프라를 구축하고 서버의 많은 기능을 만들었다. 2-3분기는 거의 혼자 해야 했는데, 해내야한다라는 마음이었는지 해내고싶다라는 마음이었는지 잘 모르겠다. 더 높은 수준의 데이터 처리와 관리를 위해 data pipeline의 큰 틀을 뜯어고쳤고, 데이터 마이그레이션을 진행했다. 그리고 종종 속 썩이지만 적당히 돌아가니 내버려뒀던 airflow 스케쥴러가 사람이 ‘거의’ 신경 쓰지 않아도 잘 돌아가도록 했다. ‘거의’ 다 했는데 휴가 가야해서 새로운 문제 하나를 남겼고 큰 문제라 남들이 해결할 수 밖에 없게 만들었다(라고 하면 변명이 되려나, 아무튼 이제 팀 모두 행복하다)
분석을 위해 가장 중요하고 많이 쓰일 데이터를 구축하는데도 힘을 썼다. unofficial interim TL ;) 내가 이해한 TL의 역할은 프로젝트가 되게 하는 사람이다. 같이 일하는 누군가 힘들어하고 있을 때 블록커를 깨부셔서 ‘일이 되게’ 하는 사람. 더 큰 힘에는 더 큰 책임이 따르는데, 이 사람은 힘은 없고 책임만 있긴 하다. 그래서 스킬이 더 필요하다고 한다.
그리고 겨울이 왔다. 테크 업계에도, 벤처 투자 업계에도, 내 계좌에도 겨울이 왔다. 그래서 분기 중에 크고 중요한 비용 절감 미션이 생겼고, 빠르고 적절하게 계획해서 실행했다. 처음에는 하기 싫다고 했었다. (아니 힘들어 죽겠는데 일을 또 주네) 고된 일정이 계속되서 잠시 쉬고 왔으면 더 좋았겠지만, 얼마 후에 장기 휴가가 예정되어 있어서 일정이 애매했다. 우짜노.. 여까지 왔는데 아무튼 성공적으로 잘 마무리되어서 다행이다. 그리고 11월에 3주간 장기 휴가를 갔다.
직장인이 되어 처음으로 3주를 쉬었다. 쉬면서 결혼도 했다. 휴가 중에 이토록 멋진 휴식을 읽었고, 쉬는 것도 일 하는 것 만큼 시간과 정성을 들여야 한다는 것을 깨달았다. 하지만 실천이 너무 어려워서, 사내에 책모임을 만들고 계속 나에게 이 책 내용을 상기시킬 장치를 만들었다.
쉬는 게 왜 어렵지? 일하다가 지쳐서 자거나, 주말에 소파에 누워서 멍하니 유튜브와 넷플릭스를 뒤적거리는 것은 쉬는 게 아니라고 한다. 그리고 나는 언젠가부터 이렇게 쉬고 있었다.
휴가가 끝나갈 무렵에는 crossfit 체육관에 등록했다. 헬스장에 비해서 비용이 갑절은 더 들지만, 여기는 일단 가면 운동을 시켜주기 때문에… 의지를 돈으로 샀다. (라고 하고 이 글 쓰는 날에 운동 안갔다.) 그리고 이것저것 새로운거 해서 나름 재미도 있다. 1시간 운동하는데 몸풀기가 30분, 본 운동이 30분. 그정도는 하겠지 했는데 몸풀기하면 힘들어서 집에 가고 싶어진다.
data engineering 팀에서 관리하는 “쿼리와 아주 약간의 파이썬만 할 줄 알면 사용할 수 있는 data pipeline” 이 꽤나 안정적으로 운영되고 있어서 이제 pipeline의 큼직한 일거리는 당분간 더 없다고 판단했고,
라고 상반기에 적어놨는데, 2023년에는 저 data pipeline을 발전시키는데 주력할 예정이라, 큼직한 일거리가 돌아왔다. 도전적인 일이고, 재미있는 일이라 기대가 된다. 회사 얘기를 개인 블로그에 자세히 쓸 수는 없어서 회사 블로그에 써야지 하고 묵혀두는데, 지금까지는 둘다 못쓰는 경우가 많았다. 이건 진짜 블로그 감이다.
Leave a comment