[데이터 애널리스트 공부] 데이터를 잘 활용하는 일본기업_메루카리_[시리즈] A/B 테스트 개선 - 메루카리의 과제 전체상 -

[데이터 애널리스트 공부] 데이터를 잘 활용하는 일본기업_메루카리_[시리즈] A/B 테스트 개선 - 메루카리의 과제 전체상 -

 

---

https://note.com/mercari_data/n/n3792921cc37d?magazine_key=mf16f8a98b30a

[シリーズ]A/Bテスト改善 - メルカリにおける課題の全体像 - ｜Mercari Analytics Blog

 

안녕하세요 멜카리 Analytics팀의 @natsume입니다. 저는 메루카리에서 출품 체험의 분석·개선이나 A/B 테스트의 개선을 담당하고 있습니다. 이번에는 '메루카리에서의 A/B 테스트 개선' 시리즈의 제1탄을 들려드리도록 하겠습니다. 메루카리가 A/B 테스트와 관련하여 어떤 과제를 가지고 있는지, 또 어떻게 개선을 진행하고 있는지를 시리즈를 통해 전달하고자 합니다.

 

제1탄인 이번에는 메루카리의 A/B 테스트를 둘러싼 과제의 전체상을 잘 이해해 주시면 감사하겠습니다.

 

 

 

목차
1. 지금까지의 개선에 대해서
2. 현재의 메루카리가 가지는 과제
3. 마지막으로

 

 

1. 지금까지의 개선에 대해서

현재 메루카리에서는 매일같이 A/B 테스트를 이용한 개선을 실시하고 있습니다. 약 1년 전에는 'A/B 테스트의 설계가 표준화되어 있지 않다'는 과제에 대해 @yaginuun이 Experiment design doc(EDD)를 작성해 사내에 전파했습니다. 그 이후 EDD는 프로덕트를 개선하는 팀에 널리 보급되어 주로 다음과 같은 세 가지 사항이 개선되었습니다.

-Metrics(KPI)를 사전에 설정하다
-테스트 후 의사결정 시나리오를 사전에 설정한다
-어떤 테스트가 이루어졌는지를 통일 형식으로 기록하다

 

2. 현재 메루카리가 가진 문제

한편, EDD의 확산은 효과는 있었지만 모든 과제를 해소한 것은 아니었습니다. 그래서 우리는 올해 들어서야 PDM이나 타 Analyst에게 히얼링을 하고, 현재 어떤 과제가 있는지 확인했습니다. 그러자, 현재의 과제는 간략화하면 이하의 그림과 같이 'A/B 테스트 내에서의 국면'과 '효율성·정확성·침투'와 같은 과제의 관점별로 두 축으로 맵핑할 수 있음을 알 수 있었습니다.

 

문제 정리

 

 

이러한 과제에 대해서, 현재 우리는 크게 3개의 액션을 생각하고 있습니다. 액션과 과제의 관계는 아래 그림과 같이 정리할 수 있습니다.

액션과 문제와의 관계

 

첫 번째로는 테스트 설계·분석 방법의 확립과 보급입니다. 대응하는 과제로서는, 위의 그림의 Experiment design, Analysis phase의 정확성·침투입니다. 구체적인 과제로는 SRM(Sample Ratio Mismatch) check를 하지 않고 실험을 결론짓고 있는 것이나 테스트마다 다중비교 처리법이 다른 것을 들 수 있습니다. 이것들을 해결하기 위해서, Confluence등에 디렉터리 구조를 만들어, 초보자나 상급자도 곤란할 때에 참조할 수 있는 페이지를 만드는 것을 생각하고 있습니다. 게다가 그 후 스터디 그룹등을 실시하는 것으로, 적절히 이해를 촉진하면 좋겠다고 생각하고 있습니다.

 

두 번째로는 A/B 테스트 분석의 자동화입니다. 대응하는 과제로는 위 그림의 Analysis Phase의 효율성, 정확성, 침투입니다. 과제의 예로는 테스트마다 미묘하게 다른 쿼리를 작성하는 데 시간이 걸리거나 분석 결과의 포맷이 제각각이라 보기 어렵다는 점을 들 수 있습니다. @yaginuun이 자동화에 관해서는 이 기사에서 자세히 써주신 것처럼 구현이 진행되고 있습니다만, 아직 다양한 팀에 전개되고 있는 것은 아닙니다. 그 때문에, 향후도 자동화의 촉진과 침투를 실시해 갈 것입니다.

 

3번째로서는, 과거의 A/B 테스트의 결과가 정리되어 가는 구조 만들기와 메타 시점에서의 A/B 테스트의 분석의 실시입니다. 대응하는 과제로는 위 그림의 Pooling Result phase가 해당됩니다. 구체적인 과제로서는, 각 팀이 따로따로 결과를 정리하고 있기 때문에 일람성이 낮은 것, 팀 구조가 바뀔 때마다 지견을 발견하기 어려워지는 것을 들 수 있습니다. 메타 시점에서의 A/B 테스트의 분석의 실시에 관해서는 구체적으로는, 실험한 화면, 해결한 고객의 과제등을 분석 축으로"성공하기 쉬운 A/B 테스트는 어떠한 것인가"를 분석하려고 생각하고 있습니다.

 

 

3. 마지막으로

Mercari Analytics Blog에서는 이러한 3개의 대처에 대해 앞으로 이야기해 나갔으면 합니다.다음 번에는 '테스트 설계·분석 방법의 확립과 그 보급'에 관련된 SRM에 대한 기사가 나올 예정입니다.이것도 읽어주시면 감사하겠습니다.

 

---

[데이터 애널리스트 공부] 데이터를 잘 활용하는 일본기업_메루카리_[시리즈] A/B 테스트 개선 - 메루카리의 과제 전체상 -