두잇 | Doeat
777 큐레이션 카테고리 조합 전략 도출
프로젝트 소개
두잇은 올해 매 시간 7가지의 메뉴를 선정하여 7900원에 배달해주는 일상 큐레이션 서비스 777를 선보였습니다. 이에 따라 어떤 메뉴 조합들을 큐레이션 하면 좋을 지에 대한 고민을 하게 되었습니다. 주제의 목표는 시간대 별로 큐레이팅 된 여러 카테고리 조합을 따져보면서, 판매량 증대 전략을 도출하는 것입니다.
목표: 두잇 777 큐레이션 카테고리 조합 전략 도출
세부 목표:
1. 다다익선 카테고리(큐레이션 되면 총 조합의 nOPH가 상승하는 카테고리) 도출
2. 수요 겹침 카테고리(같이 큐레이션 되었을 때 수요 겹침이 발생하여 nOPH가 하락하는 카테고리) 도출
* nOPH(normalized Order Per Hour): 사측에서 정의한 표현으로, 시간당 주문 수를 보정 계수를 기반으로 정규화한 지표입니다.
진행 프로세스
1. 다다익선 카테고리 분석(ANOVA 분산분석 기반)
- 큐레이팅 된 조합의 평균 nOPH를 유의미하게 증가시키는 카테고리를 다다익선 카테고리로 정의합니다. 특정 카테고리가 큐레이팅이 되었는지를 0, 1로 두어, 실제 전체 판매량과 얼마나 관계있는지 ANOVA 분산분석을 통해 판단합니다. 유의미하다고 판단된 카테고리들을 바탕으로, 함께 올릴수록 유의미한 판매량 증가를 보이는 지 검토합니다.
* nOPH(normalized Order Per Hour): 사측에서 정의한 표현으로, 시간당 주문 수를 보정 계수를 기반으로 정규화한 지표입니다.
2. 수요겹침 카테고리 분석
- 큐레이션이 된 7개의 메뉴들 사이에서 수요겹침을 최소화하여 최대한 많은 유저 pool을 확보하는 것이 중요합니다. 메뉴 간 수요 겹침의 주요 원인은 '유저의 선호'라고 정의할 수 있습니다. 이때 유저의 선호는 메뉴 선택에 영향을 미치는 중요한 요인으로, 단기적 선호와 장기적 선호로 분류됩니다. 카테고리의 PAIR 별로 유저의 선호 겹침이 일어나는 지를 확인하고, 이 PAIR가 실제로 동시에 큐레이팅 되었을 때 판매량의 감소가 관찰된다면 해당 PAIR는 수요겹침이 발생한 것이라고 할 수 있습니다.
- 단기적 선호(클릭 지표)
- 단기적 선호는 유저의 앱을 사용할 당시 발생하는 순간의 고민 대상을 의미하여, 이는 구매 당시 함께 클릭된 메뉴 카테고리를 통해 도출할 수 있습니다. 두 카테고리 A, B가 있었을 때, B가 A와 얼마나 단기적 선호가 얼마나 겹치는 지를 판단할 때에는, (A, B 카테고리가 동시에 올라왔을 때 B를 클릭해 본 유저수)/(A, B 카테고리가 동시에 올라왔을 때 A가 아닌 카테고리를 클릭해 본 유저수) 를 통해 구합니다.
- 장기적 선호(연관 분석)
- 한편, 장기적 선호는 유저의 취향 카테고리 그룹으로, 유저의 누적된 주문 데이터를 통해 도출합니다. 유저별로 전체 카테고리의 주문 비율을 계산하고, 카테고리 PAIR가 얼마만큼 겹치는지를 도출합니다. 이때 연관분석의 지지도 (Support) 개념을 이용하여 모든 유저 중 특정 PAIR를 선호하는 유저의 비율을 계산합니다.
- 단기적 선호(클릭 지표)
- 단기적, 장기적 선호에서 임계치를 넘은 PAIR들 중에서, 함께 큐레이팅 되었을 때 실제로 판매량 감소가 일어나는지를 확인합니다. 카테고리 A와 B가 있다고 가정하면, A의 평균적인 판매량과 B의 평균적인 판매량을 합한 것이 A, B가 함께 큐레이팅 되었을 때 A의 평균 판매량과 B의 평균 판매량의 합과 얼마나 차이를 보이는 지를 통해 수요겹침의 여부를 판단합니다.
성과 및 인사이트
1. 다다익선 카테고리
- 다다익선 카테고리 내에서는 수요겹침이 발생하지 않았습니다.
- 다다익선 카테고리는 모든 시간대에서 함께 올릴수록 평균 판매량이 유의미하게 증가하였습니다.
2. 수요겹침 카테고리
- 큐레이션 횟수가 높은 주요 카테고리 내에서, 수요겹침 발생이 일어났을 때 유의미한 판매량 감소를 보였습니다. 수요겹침 카테고리 PAIR가 대다수의 큐레이션 환경에서 일반화 가능함을 입증하였습니다.
- 다다익선 카테고리와 수요겹침이 일어나는 PAIR가 함께 큐레이션 되었을 때 판매량 감소로 이어지는지를 확인하였습니다.
- 이를 통해 올려야 할 카테고리와 함께 올리지 않아야 할 카테고리를 제시하여, 시간대별 카테고리 조합 전략을 도출하였습니다.
PM 소회
두잇과 프로젝트를 진행하며 좋았던 점은 무엇인가요?
• 소통이 원활했다는 점이 가장 큰 장점이었습니다. 특히 회사의 회의실을 빌려주셔서 일주일에 2회씩 회사에서 세션을 진행하였는데 고민들을 바로 여쭤볼 수 있다는 것이 좋았습니다. 또한 슬랙과 중간 미팅을 통해서 로직을 점검받고 피드백을 받아 막히는 부분을 해결하는데 도움을 주셨습니다.
프로젝트 진행과정 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
• 일반적인 기업이 겪는 문제가 아닌 두잇만의 독특한 문제였기 때문에 리서치로는 비슷한 경우를 찾기 어려워 팀내에서 처음부터 만들어가야 하는 것이 힘들었습니다. 이를 위해서 카테고리 조합이라는 것이 뭔지, 카테고리 조합의 변화를 통해서 어떤 부분이 달라져 판매량이 증가 혹은 감소하는지 등을 치열하게 고민하였습니다. 다양한 방식으로 아이디에이션 해보았고 여러 방법을 시도해보며 직관과 로직, 결과 모두 만족스러운 방법을 찾았습니다.
이번 경험을 통해 개인적으로 어떤 새로운 인사이트나 역량을 얻으셨나요? 그리고 이는 앞으로의 업무나 연구에 어떻게 활용될 것 같나요?
• 문제를 정의하고 전략의 전반적인 그림을 그릴 수 있는 능력을 얻을 수 있었습니다. 앞으로 마주할 여러 문제들이 복잡하더라도 겁이 나지 않을 듯 합니다.
향후 유사한 도메인 혹은 성격의 프로젝트를 진행할 학회원들을 위해 전달하고 싶은 조언이 있나요?
• 리서치를 통해 방법론을 구축할 수 없는 독특한 주제의 프로젝트여도, 문제를 확실히 정의하였고, 그 정의를 바탕으로 분석 방법을 정하는 과정을 충분한 고민했다면 어느 정도 자기 확신을 가져도 될 것이라 생각합니다. 이때 기업측이 팀내에서 정의한 방법론이 납득 가능하며 충분하다고 생각하는지가 핵심이므로, 팀이 생각하는 방법들을 감추기보다는 확실히 드러내어 사측과 소통하는 것이 중요합니다.