일본살이 6년차, 데이터 애널리스트로 꽉꽉 채운 2023년 돌아보기

일본살이 6년차, 데이터 애널리스트로 꽉꽉 채운 2023년 돌아보기

---

 

 

2022년 6월의 현재의 직장에 이직을 해서, 벌써 1년 6개월이 지났다. 디지털 마케터에서 데이터 애널리스트로 이직을 하면서, 전 직장에서도 수많은 데이터를 다뤘지만 이직과 동시에 그것보다 비교할 수 없을 정도로 많은 데이터의 세계 속에 헤엄쳤다고 해도 과언이 아니다. 특히 작년은 데이터 애널리스트로 처음으로 꽉꽉 채운 1년을 보냈는데, 앞으로도 이 직업을 계속 이어가고 싶고 인정받는 데이터 애널리스트가 되기 위해서, 2023년을 제대로 회고해보려고 한다.

 

 

■데이터 환경 구축

데이터 엔지니어도 아니고, 데이터 애널리스트가 데이터 환경 구축이라니? 라는 의문을 가진 사람도 있을 것이다. 사실, 회사에 따라서 데이터 사이언티스트, 데이터 애널리스트, 데이터 엔지니어 등의 구분이 불명확하다. 특히 데이터 리테라시가 상대적으로 부족하다고 할 수 있는 일본이기에 다방면의 스킬이 요구되는 것도 사실인 것 같다.

 

나는 IT회사로 이직을 했지만, 데이터 환경 구축이 아직 체계화 되어 있지 않다는 것을 느낄 수 있었다. 즉, 이커머스 회사라면 각 카테고리가 있고 거기에 따라 세부 카테리고리가 있으며, 이에 따라 종속되는 메이커 등이 존재할 것이다. 다시 말해서, 데이터가 구조화되어있어야 하는데, 구조화되어있지 않다는 것이다. 

 

그렇기 때문에 어떤 문제가 발생하는가? 음료수 메이커 A가 있다고 하자. 이 A의 데이터를 추출하기 위해서, 그 메이커의 상품명이나 상품번호가 등록된 바코드로 데이터를 일일이 추출할 수밖에 없다. 당연히, 상품명으로 데이터가 제대로 추출되고 있는지 상품번호가 잘 등록되어 있는지 확인하면서 데이터를 추출해야 한다. 우리가 생각하는 단순히 '메이커 A'라는 필터 하나로 데이터를 추출하는 것이 아니라는 말이다. 여기서 더 나아가서 음료수 카테고리에서 경쟁사의 데이터를 보려면 어떻게 할까? 경쟁사도 메이커 A처럼 똑같은 방법을 활용해서 데이터를 추출할 수밖에 없다. 

 

더더욱 충격적이었던 것은, 데이터 마트의 활용이라는 개념이 데이터 활용부서에 정착되어 있지 않아서, 길게 쓴 쿼리를 일일이 실행해가면서 데이터를 추출해 온 것이다. 데이터 추출에 걸리는 시간, 정확성 등의 효율성의 측면을 철저히 무시해 온 것이다. 

※데이터마트의 정의 참고

https://hengbokhan.tistory.com/167

17. 데이터 마트(Data mart)란 무엇인가?

이러한 문제점들의 산재하면서 비효율성으로 넘쳐났던 데이터 활용의 측면이 이제는 조금씩 구조적으로 변화고 있기는 하다. 카테고리별 전략이라는 키워드가 부서에서 중요하게 대두되면서, 카테고리별, 메이커별 데이터 마트를 구축하기 시작했고 각자의 클라이언트 담당 데이터 활용팀이 저 쿼리 이 쿼리로 데이터를 추출하는 방식을 떠나서 필터로 간단하게 데이터를 추출할 수 있는 환경으로 바뀌고 있다. 

 

여기서 내가 부서에 공헌했던 것은, 일일이 방대한 양의 거래 테이블과 길게 늘어진 WHERE로 구성된 쿼리로 매번 데이터를 추출하는 방식에서 그 클라이언트의 니즈에 맞는 데이터 마트를 구축한 것. 그리고 그 데이터 마트의 구축의 중요성을 공유하면서 데이터를 어떻게 하면 효율적으로 추출할 수 있는지 지식을 전해줄 수 있었다. 또한, 데이터 마트를 통해서 실현된 것인데 타블로와 데이터 마트를 연결하여 그 클라이언트에 맞는 대시보드를 구축한 적도 있다. 데이터 마트 또한 스케쥴러를 통해서 데이터를 자동 업데이트 하고 있기 때문에 태블로의 대시보드도 자동으로 데이터가 반영된다. 이를 통해서, 발 빠르게 중요한 지표의 진척상황이나 이벤트의 상황을 확인할 수 있게 되었다. 물론 현재 도전 중인 data saber에서 내 태블로 대시보드는 고칠 점이 많다는 것을 인식하고 있지만, 데이터 환경 구축에 하나의 공헌한 점이다. 

 

이러한 과정 속에서 데이터를 활용하는 사람은 어떤 데이터가 필요한지, 생각을 해보거나 그들에게 직접 이야기를 들으면서 생각할 기회가 있었고 이것이 바로 데이터 애널리스트에게 필요한 능력 중 하나인 '요건 정의' 하나이다. 그들의 생각을 구체화할 수 있는 데이터 항목들을 추출하여 그들이 보기 쉽게 이와 관련된 정의도 명확하게 정리해서 함께 공유하는 것. 

 

 

■데이터 분석

효율적인 환경 구축을 통해서, 데이터를 발빠르게 확인할 수 있게 되었지만 데이터의 세계에서 항상 이야기 나오는 것이 데이터가 먼저인가 가설이 먼저인가이다. 여기에서도 정답이 없지만, 결국 빠른 머리 회전력이 요구되는 데이터 애널리스트에게는 가설이 먼저라고 생각한다. 예를 들어 클라이언트가 이번에 매출이 올랐는데 왜 그런 것 같나요?라고 물어봤을 때, "아 데이터를 조금 보고 올게요. 보고 나서 말씀드릴게요"라고 하면 얼마나 신뢰감이 떨어지는가. 우선 가설을 먼저 이야기하여 가능성의 이야기를 먼저 제시하고, 데이터를 통해서 다시 한번 확인해서 어떤 가설이 맞는지 이야기를 하는 것이 클라이언트들이 바라는 것이다.

 

지금 부서에서 일하면서, 데이터 분석이라는 경험을 얼마나 해왔을까? 라고 물어봤을 때 사실 환경 구축, 요구되는 데이터 추출, 제공이 거의 90%이다. 이러한 상황 속에서 어떤 경험을 끄집어내면 좋을까 생각했을 때, 역시나 클라이언트 워크에 대한 이야기로 이어진다. 다행히도 플래닝이라는 '클라이언트에게 데이터 분석을 한 결과를 통해 제안을 하는 업무'도 겸업을 하게 되어 한 클라이언트에 깊숙하게 관여하게 되었다. 그렇기 때문에, 단순 추출뿐만 아니라 데이터를 통해서 보이는 과제들에 대해서도 분석을 하여 영업에게 이야기할 수 있었는데 결과적으로 영업의 입김이 강해서 영업이 원하는 데이터를 위주로 분석을 해버린 것 아닌가 라는 반성도 있지만 분석이라는 본질 즉 나누고 쪼개는 그 과정을 경험했다는 측면에서는 클라이언트 워크를 할 수 있어서 다행이라고 생각한다.

 

여담이지만, 많은 데이터 애널리스트들이 나와 같은 쿼리 빌더로서의 일을 하며 LLM의 시대에 이대로 괜찮을까라는 걱정이 있을 것이라 생각한다. 아직 경력을 짧은 편에 속하지만, 솔직히 말해서, 이대로 괜찮지 않다. 대체되기 어려운 존재가 될 필요가 있다. 그것이 어떤 것일까 라는 탐색의 과정을 다른 글을 통해서 계속 써 내려가려고 한다.

 

올해 했던 가장 큰 고민이 어떻게 하면 빠르게 데이터 분석을 잘할 수 있을까? 라는 것이다. 데이터 추출을 너무 하다 보니, 데이터 관련 이야기를 했을 때 어떤 클라이언트에 고민에 대해서 어떤 데이터를 활용하면 해결책을 마련해 줄 수 있을까라는 것보다 어떤 식으로 쿼리를 짜면 빨리 추출할 수 있을까 라는 사고회로가 강력하게 굳어져버려서 '분석하는 힘'이 죽어있다고 느껴졌다. 그래서 의식적이라도 공책에 지표를 구조화해서 어떤 지표가 이번 데이터 분석에 핵심이 될까라고 생각을 해보는 등의 노력을 했던 것 같다. 그럼에도 비 데이터 팀에서 나에게 상담을 했을 때, 이럴 때는 이런 지표를 이런 식으로 보면 도움이 되지 않을까요?라는 발 빠른 응답은 여전히 못해주고 있다.

 

그런 의미에서도, 작년 1년은 데이터 환경 구축에 시간을 가장 많이 쏟았다면, 올해 1년은 데이터 분석에 시간을 가장 많이 쏟는 1년이 되었으면 한다. 물론 데이터 분석에서 가장 중요한 것은 일상적으로 여러 가지 생각들을 분해하고 조합해서 생각하려는 노력이다. 내 글에서 몇번이나 적었지만, 일을 할 때만 데이터 분석 모드, 평상시에는 대충대충 생각하는 모드 이렇게 이분법적으로 나눠서 생각하면 본질에 있는 생각 회로 바뀌지 않기 때문에 결과적으로 분석하는 뇌가 되기 어렵다. 

 

올해는 부디 작년보다 데이터 애널리스트로 더 성장한 한 해가 될 수 있기를!

 

 

 

---

일본살이 6년차, 데이터 애널리스트로 꽉꽉 채운 2023년 돌아보기