데이블 | Dable
(1) 광고 피로도 정의 및 클릭률 감소율 계산
(2) 최근 클릭률을 기반으로 광고의 교체 여부 알림
(3) 사측의 클릭률 예측값의 정규화 수식 최적화
(4) 신규 탐색 알고리즘 제안
프로젝트 소개
세부적으로 많은 주제를 다루었지만 결국 유저의 특정 지면에서의 특정 광고 클릭 여부를 담고 있는 과거 데이터를 바탕으로, 사측에서 궁금해하고 있는 현상이나 기준을 명확하게 수치로 제시하는 DA 성격이 짙은 프로젝트였습니다.
세부 목표:
1. 광고 피로도 정의 및 클릭률(이하 CTR) 감소율 계산
2. 최근 클릭률을 기반으로 광고의 교체 여부 알림
3. 사측의 클릭률 예측값(이하 pCTR)의 정규화 수식 최적화
4. 신규 탐색 알고리즘 제안
진행 프로세스
1. 광고 피로도 정의 및 클릭률 감소율 계산
한 명의 유저가 특정 광고주의 동일한 캠페인의 광고를 보는 횟수가 늘어남에 따라 클릭률이 실제로 감소하는지, 감소한다면 어느 정도의 기울기로 감소하는지 전달드리는 것을 목표로 합니다.
(1) 캠페인과 유저를 groupby 해서 유저별로 노출(이하 imp)된 시간 순서에 따른 클릭여부를 일렬로 나열합니다. (이하 imp chain)
(2) imp chain 1일 때의 CTR, 2일때의 CTR, … , n일 때의 CTR을 구합니다.
(3) 모든 캠페인에서 발견되는 전반적인 현상임을 보이기 위해 imp chain n의 CTR을 캠페인별 imp 수로 가중평균합니다.
(4) imp chain의 n이 커짐에 따라 가중평균 CTR이 감소하는지 확인하고, 감소한다면 그 기울기를 계산합니다.
2. 최근 클릭률을 기반으로 광고의 교체 여부 알림
광고주가 발행한 광고가 여러 지면에 송출되고 있는 상황입니다. 특정 지면에서 클릭률이 떨어졌을 때 광고주에게 알림을 보내는 것이 아닌, 현재 광고가 송출되고 있는 모든 지면에서 클릭률이 전반적으로 떨어졌을 때 광고의 교체를 알리는 알림을 보냅니다. 이때 특정 지면에서 최소한으로 확보해야 하는 클릭률(이하 p_inf)을 상정하고, 광고의 최근 클릭률이 p_inf와 imp의 곱인 람다를 모수로 갖는 포아송 분포로부터 나올 수 있는 값인지 판단하여 광고 성과를 파악하는 과정이 핵심입니다.
(1) 특정 광고의 최근 N회 imp를 지면별로 쪼갭니다.
(2) 지면별로 확보되어야 하는 최소한의 p_inf과 그 지면에서의 imp를 곱해 지면별 람다를 구합니다.
(3) 포아송 분포의 합은 여전히 포아송 분포를 따르므로, 광고의 클릭수는 지면별 람다의 합을 모수로 갖는 포아송 분포를 따릅니다.
(4) 최근 N회 imp 중 클릭 수가 k개라면, (3)에서 구한 포아송 분포로부터 k개 이하의 면적이 차지하는 넓이를 계산해 유의수준 5%인 0.05보다 작을시 해당 분포로부터 나올 수 없는 값이라 판단, 알림을 울립니다.
3. 사측 pCTR의 정규화 수식 최적화
사측에서 사용하는 pCTR 정규화는 탄생 후 얼마 지나지 않은 광고에 한하여 해당 광고의 pCTR을 클러스터 내 평균적인 pCTR에 가까워지도록 눌러주는 작업입니다. 이 정규화 작업을 최적화하기 위해 1) 탄생 후 몇 번째 imp까지 정규화를 할 것이며, 2) 정규화가 이루어지는 클러스터는 어떤 feature 기준으로 나눌 것이며, 3) 정규화 강도는 imp 증가에 따라 얼마나 빠르게 약화되어야하는지 답안을 내놓는 것을 목표로 합니다.
(1) 어떤 feature을 기준으로 클러스터링 하는 것이 적합한지 알기 위해 클릭을 예측하는 DCNv3 모델을 학습시킵니다. 학습이 완료된 본 모델의 last hidden layer을 임베딩으로 활용하여 어떤 feature 기준으로 imp를 묶었을 때 좋은 클러스터링이 되는지를 CHI 지표로 확인합니다.
(2) 특정 feature를 기준으로 클러스터링 했을 때, pCTR의 분산이 해당 클러스터 내 광고 별 imp 증가에 따라 얼마나 감소하는지 확인합니다. 이때, 단순히 단일 feature(e.g. inventory, service) 외에도 inventory&category 등 다중 feature로 클러스터링 했을 때 분산 안정화 정도도 함께 확인하면서 클러스터링에 최적의 조건을 가진 feature를 선정합니다.
(3) 특정 feature로 묶어 클러스터링 했을 때, pCTR의 분산이 해당 클러스터 내 imp 증가에 따라 감소하는 추이를 a+b*e^{-kx}로 fitting하여 decay factor k를 구합니다.
(4) (3)에서 구한 decay factor가 현 데이터셋보다 N배 큰 원본 데이터셋에서 어떻게 변화할지 계산합니다.
(5) (3)에서 구한 exp fitting curve의 x축은 '클러스터 내에서 특정 광고의 몇 번째 imp인가'입니다. 그러나 사측에서 누적하고있는 정보는 '특정 광고의 몇 번째 imp인가'이므로 두 변수를 연결해주기 위해 특정 광고가 여러 클러스터에 어떤 분포로 imp 되어왔는지를 측정합니다. 통상적으로 특정 광고가 한 클러스터에 얼마나 몰려있는지 계산함으로써 정규 가중치 e^{-kx} term의 기대적으로 최적의 형태를 찾을 수 있습니다.
4. 신규 탐색 알고리즘 제안
imp가 충분히 쌓이지 않은 광고의 pCTR은 신뢰할 수 없기에, RTB*에서 1등으로 채택된 광고가 아니라 하더라도 송출해 imp를 쌓는 탐색 알고리즘을 현재 사측은 도입중입니다. 이에 현 탐색 알고리즘의 문제점을 발견하고, 더이상 탐색되지 않아도 되는 광고의 imp 수, 클릭 수를 제시하는 것을 목표로 합니다.
*RTB: 실시간 입찰(RTB, Real Time Bidding)이란 여러 광고들의 입찰가를 기준으로 특정 지면에서 유저에게 송출될 광고를 선정하는 경매 시스템을 이르는 말입니다.
(1) 사측의 탐색 알고리즘에 의해 선정된 imp 데이터를 분석합니다.
(2) 알고리즘에 따라 1) 탐색될 필요가 없는 광고가 탐색 풀에 들어가 있고, 2) 특정 광고가 탐색 기회를 독점하고 있는 문제점을 발견했습니다.
(3) pCTR regularization term 최적화 과정에서 pCTR의 표준편차가 안정화되는 imp수와 clk 수를 탐색 풀 탈출 조건으로 제시했습니다.
성과 및 인사이트
광고 피로도 정의 및 클릭률 감소율 계산
• CTR과 pCTR의 회귀직선 기울기를 구해 실제 클릭률의 감소 양상과 모델의 감소양상을 비교해 그 격차를 수치적으로 제시했습니다.
• imp 횟수가 늘어남에 따라 클릭률이 낮아지는 정도를 반영해 탐색 알고리즘의 입실론을 동적으로 바꾸는 알고리즘 제시했습니다.
최근 클릭률을 기반으로 광고의 교체 여부 알림
• 알림이 울린 M개의 광고가 알림이 울리지 않은 광고에 비해, 알림이 울린 이후의 클릭률이 감소했다는 것을 수치적으로 계산하여 알림 시스템의 효과성을 입증했습니다.
• 알림이 울리길 원하는 광고의 비율에 따라 사측이 N, p_inf, 유의수준을 하이퍼파라미터로 설정할 수 있도록 틀을 제시했습니다.
사측 pCTR의 정규화 수식 최적화
• 어떤 feature 기준으로 클러스터링을 하는 것이 합당한지를 t-sne plot과 imp 증가에 따른 클러스터 내 분산 감소 그래프를 통해 제시했습니다.
• 클러스터 내 pCTR 분산을 exp curve에 fitting하여 decay rate를 구했고, 언제부터 pCTR이 안정화되는지에 대한 imp threshold와 click threshold를 제시했습니다.
신규 탐색 알고리즘 제안
• 탐색 알고리즘에 의해 송출되는 광고의 imp 수 분포를 사측에 제시하여 사측의 의도와 걸맞게 실제로 송출이 되고 있는지 확인했습니다.
• pCTR regularization term 최적화 과정에서 얻은 인사이트를 활용해 탐색의 정의에 걸맞게 알고리즘이 보다 잘 작동하도록 설계했습니다.
참고문헌
데이블에서는 에드 테크 도메인에 대한 이해를 돕고 자사에서 시도하고 있는 여러 알고리즘을 아카이빙하고 공유하고자 하는 목적으로 테크 블로그를 꾸준히 작성하고 있습니다. 아래 링크를 참고하여 많은 도움을 얻으시길 바랍니다.
• https://dabletech.oopy.io/
PM 소회
데이블과 프로젝트를 진행하며 좋았던 점은 무엇인가요?
• 특별히 결측치나 이상치 없이 잘 정제된 방대한 데이터를 받아 분석 작업에 집중할 수 있었습니다. 또한, 사측과 Slack을 통해 빠른 커뮤니케이션이 가능했고 분석에 필요한 데이터를 요청할 때마다 빠르게 제공해 주셨습니다.
• 사측이 이미 내부적으로 고민하던 사항을 발전시키고자 프로젝트를 의뢰해주신 만큼, 저희가 내놓은 결과물에 대한 양질의 피드백을 받을 수 있어 방향성 설정에 큰 도움을 받았습니다.
프로젝트 진행 중 겪었던 가장 큰 어려움은 무엇이었나요? 이를 어떻게 해결했나요?
• 프로젝트가 요구하는 배경지식의 높은 난이도와 방대한 양
: 프로젝트의 방향성을 설정하기 위해 갖추어야 할 도메인, 통계, 기계학습과 관련된 지식이 많았어서 데이블이 원하는 것을 파악하기 위해 시간이 오래 걸렸다는 점입니다. 데이블은 분석의 자유도를 굉장히 광범위하게 열어두셨는데, 이는 사측이 원하는 것이 무엇인지 취사선택할 수 있도록 저희가 다양한 방향성을 시도해서 가져가야한다는 걸 뜻했습니다. 데이블의 경우 쌓아야 하는 도메인 지식이나 통계적 지식이 높아서 다양한 분석 결과물을 가져가기까지 오랜 시간이 걸렸고, 최종 결과물과 관련된 방향성이 설립되어 이를 실제로 분석하는 시간은 상대적으로 짧았다고 생각합니다. → 통계, 기계학습과 관련해 지식이 많은 팀원들에게 모르는 것을 많이 물어봤고, 사측의 테크 블로그, 유튜브, 네이버 강의 등을 참고하여 배경지식을 쌓기 위해 노력했습니다.
이번 경험을 통해 어떤 인사이트나 역량을 얻으셨나요?
• DA 프로젝트 접근 방법
:실제 모델을 구현한 일은 일부 주제의 일부 팀원들에게만 맡겨져 사측의 방대한 데이터로 인사이트를 추출하는 DA 성격이 짙은 프로젝트가 되었는데, 단순히 어떤 기능을 도입해야 한다는 전략적 제안을 넘어 특정 임계점을 수치로 제시하거나 수식을 제시하는 것도 훌륭한 DA의 영역이 될 수 있음을 배웠습니다. pCTR의 표준편차가 안정화되는 imp수를 구하기 위해 누적 imp수를 줄여감에 따라 pCTR의 표준편차가 급격히 커지는 지점을 구해본다거나, 커브 피팅을 위해 다양한 함수를 시도해보고 샘플링 되지 않은 원본 데이터에 피팅시킬 때는 함수의 형태가 어떻게 달라져야 하는지 수치적으로 계산해본 일이 기억에 남습니다. 후에 DA를 하게 될 때 구성원이 모두 동의할 만한 기준점을 ‘수치’로 제시할 수 있도록 노력할 것 같습니다.
향후 유사한 프로젝트를 진행할 학회원들에게 전하고 싶은 조언이 있나요?
• 프로젝트의 내용이 어려워질수록 팀원들이 '지금 무엇을 해야하는지' 갈피를 잘 잡지 못하는 게 보입니다. 이럴 때일수록 PM은 한 명의 팀원으로서 본인의 업무를 하는 것보다 리더로서 방향성에 대해 고민하고, 앞으로 무엇을 하면 되는지 리스트화하는 것에 집중하는 것이 좋을 것 같습니다.
• 다뤄야 하는 주제가 방대할 경우 8명의 팀원 모두가 모든 주제에 대해 같은 수준의 이해도를 갖추는 것은 현실적으로 불가능합니다. 따라서 주제가 세분화되었으면 TF 형식처럼 해당 주제를 깊이 고민해볼 팀원을 나누고, 그 팀원들끼리 따로 만나서 태스크를 수행한다거나 스스로 태스크를 분배할 수 있도록 유도해야 한다고 생각합니다. 물론 PM은 쪼개진 TF 회의에 모두 참여해야 할 것입니다. 최종발표가 다가올수록 유의미한 결과물을 내기 위해 프로젝트에 시간을 많이 쏟아야 하는데, 이때도 TF 별로 자유롭게 모여 하나의 주제를 완성시킨다면 좋은 효율을 낼 수 있을 것입니다.