네오위즈 데이터 엔지니어 인턴 후기

오랜만에 포스팅을 작성해 봅니다. 2022.06.27 ~ 2022.09.23 약 3개월 정도의 인턴이 끝났네요. 길다면 길고 짧다면 짧은 3개월 동안의 제가 맡은 업무와 그로 인해 얻은 경험과 생각들에 대해 정리해 보려고 합니다.

 

우연히 네오위즈에서 데이터 엔지니어 업무를 할 수 있는 인턴 공고를 보게 되었고 저는 기회다 싶어 지원하여 운이 좋게 합격하여 인턴 업무를 시작하게 되었습니다. 저에게 주어진 업무는 실제 공고에 쓰여진대로 Data Discovery Platform(DDP)를 구축하는 것이 업무였습니다. 특정 업무를 저에게 지시하여 시킨다기 보다는 DDP 구축이라는 것에 대해 자유롭게 진행하도록 맡기셨고 말 그대로 end-to-end로 모든 것을 제가 진행하게 되었습니다. 요구 사항 분석부터 DDP 구축을 위한 다양한 오픈 소스에 대하여 리서치 후, PoC 진행과 테스트까지 하게 되었고 실제 Production 환경에 배포까지는 못하고 인턴 계약이 만료되었지만, 실제 업무를 진행하면서 기술적인 배움도 있었지만, 데이터 엔지니어의 역할에 대한 이해와 소통을 하는 부분, 문서화에 대해서도 좋은 경험이 되었습니다.

 

이 인턴 업무를 진행하면서 평소 개인 프로젝트를 할 때는 생각하지 않았던 부분들에 대해서 알게 되었는데 플랫폼 구축만 하면 되는 것이 아니라 데이터는 어떻게 백업할 것인지와 모니터링은 어떻게 할 것인가, 배포는 어떤 방식으로 진행할 것인가 등 운영적인 면에서 필요한 부분들이 생각보다 많았다는 것입니다. 그리고 모든지 최신 기술 스택을 쓰는 것이 베스트는 아니라는 것을 알게 되었습니다. 그 회사의 인프라와 비용 적인 부분을 고려하여 최적의 기술 스택을 선정하는 것이 데이터 엔지니어의 필요 역량 중 하나라고 생각하게 되었고 무조건 대세라는 기술을 쓰는 것이 좋지만은 않다 라는 것입니다.

 

기술적인 부분 외에도 데이터 엔지니어란 직무에 대해서 처음 이해했을 때는 데이터 분석가나 데이터 사이언티스트들이 데이터를 쉽게 활용할 수 있도록 수집, 가공, 적재를 해주는 역할이라고 생각을 헀는데 이 부분은 작은 부분일 뿐이고 데이터를 사용하는 사람들이 쉽게 사용할 수 있도록 플랫폼을 구성하는 역할이라고 생각하게 되었습니다. 제가 맡은 업무인 DDP에 대해 간략히 설명하자면 데이터가 많아 지면 많아 질수록 그 데이터들의 스키마나 설명을 아는 것이 더 복잡해져서 이를 해결하기 위해 데이터에 대한 정보를 가지고 있는 데이터인 메타데이터들을 검색할 수 있는 플랫폼입니다.

 

이 또한, 데이터를 필요로 하는 사람들의 편의를 위한 플랫폼으로 결국은 데이터를 더 잘 다루고 활용할 수 있도록 도와주도록 하는 것이 데이터 엔지니어의 역할이라고 생각하게 되었습니다. 그래서 이러한 특성으로 결국은 데이터를 이용하려는 사람들과의 커뮤니케이션이 중요하게 되고 이로 인해 소통의 능력이 중요하다고 생각하게 되었습니다. 그리고 생각보다 개발 능력도 능력이지만, 문서 정리와 소통하는 능력이 중요하다는 점이 의외였습니다. 저의 경우에는 DDP의 사용자가 데이터를 활용하는 내부의 사람들이기 때문에 그 분들이 사용하기 위한 가이드를 작성해야하고 운영도 해야 하기 때문에 문서화가 필요했습니다.

 

인턴 업무를 진행하면서 아쉬운 점이라면 데이터 엔지니어가 주로 하는 업무 중에 하나인 데이터 ETL 파이프라인 구축과 같은 업무를 해보지 못한게 아쉬웠던 것 같습니다. 그래도 좋은 팀원분들과 인턴을 진행하면서 좋았고 개인의 환경에서는 경험할 수 없는 경험들을 겪으면서 좋은 공부가 되었다고 생각합니다.