Chapter 4. 급속 실험

그로스해킹을 최대한 빨리 터득하는 방법은 수많은 실험을 해보는 것이다. 가장 빠르게 성장하는 회사는 가장 빠르게 배우는 회사다. 더 많은 실험을 할수록 더 많이 배우는 단순한 관계다. 한달에 5%만 향상되어도 1년이 지나면 80%의 개선이 이루어진다.

그로스해킹은 양이 우선이지만 엉성한 실행이나 부적절한 실험 결과 수집, 시간을 잡아먹는 브레인스토밍이나 논쟁때문에 진전하지 못해서는 안하는 게 낫다. 조금씩 꾸준히 진행하면서 역량을 키워나가라.

그로스 해킹 순환과정

그로스해킹의 순환과정은 다음과 같다.

분석 -> 아이디어 도출 -> 우선순위 결정 -> 실험

이륙을 위한 순비

순환 과정을 시작하기 전에 첫 팀 회의를 열어 팀원들에게 절차가 어떻게 진행되는지 설명한다. 리더는 팀원의 역할과 어떤 일이 필요한지 설명한다. 데이터 분석가에게 데이터를 달라고 요청하고 성장의 핵심 지렛대와 북극성 지표, 팀이 집중해야 할 영역과 팀의 목표를 보여주어야 한다. 그러면 팀은 매주 시작할 실험의 양과 속도에 관해 목표를 설정한다.일주일 동안 합리적으로 설계하고 실행할 수 있는 실험이 몇 개인지 정하는 것이다.

예시

식료품 체인점이 그로스해킹을 한다. 이들의 목적은 모바일 앱을 통해 매출을 끌어올리는 임무였다. 이 회사는 몇달 전 전형적인 마케팅을 큰 규모로 진행하였고 상당한 얼리어답터를 끌어모으며 10만 다운로드 상태이다. 하지만 앱 주문을 통한 매출을 부진한 상태이다.(상품 추천등의 빅데이터를 이용하여 제품은 정상적)

그래서 그로스해킹 리더를 고용했다.

리더가 처음 한 일은 팀을 구성하는 일. 마케팅, 엔지니어링, 제품, 데이터 과학 부문에서 직원을 뽑아 팀을 구성하였다. 다음으로 앱을 사용하는 사람들에게 ‘아하 순간’이 무엇인지, 앱을 사용하는 사람의 사용법이 그렇지 않은 사람과 다른 점은 무엇인지 알아내야했다. ‘아하 순간’은 식료품을 주문해서 다음날 문 앞까지 배달받는 편리함이었다는 결과가 나왔다.

그리고 아하 순간에 도달하기 까지 필요한 요소들을 이용해 성장 방정식을 만들어 냈다.

설치 횟수 * 월간 활성 사용자 수 * 구매자 수 * 평균 발주량 * 반복 구매율 = 성장량

북극성 지표는 ‘한 명 당 월간 매출’로 지정했다. 최종적인 목표가 매출의 증가이기 때문.

준비는 끝나고 실천으로 가야되지만 처음에는 어떠한 실험도 하지 못한다. 그래서 아이디어 수집이 필요하다.

1단계 : 분석

초기 다운로드 후 꾸준히 사용하는 유저와 이탈한 유저의 차이점을 데이터를 통해 알게되었고 이를 토대로 질문을 만들어낸다.

우수 고객은 어떤 행동을 하는가?

• 우수 고객이 사용하는 기능은 무엇인가
• 우수 고객은 앱에서 어떤 화면에 자주 방문하는가
• 우수 고객은 앱을 얼마나 자주 여는가
• 우수 고객이 구매하는 상품은 어떤 것인가
• 우수 고객의 평균 주문량은 얼마나 되는가
• 우수 고객은 어느 요일, 하루 중 어느 때 쇼핑을 하는가

우수 고객의 특징은 무엇인가?

• 어떤 경로를 통해 왔는가?(광고, 홍보 이메일)
• 우수 고객은 어떤 기기를 사용하는가?
• 연령 수입을 비롯한 우수 고객의 인구통계학적 뱅경은 어떠한가?
• 우수 고객은 어디에 사는가?
• 우수 고객이 사는 곳은 회사의 매장 혹은 여타 회사의 매장과 얼마나 가까운가?
• 우수 고객이 사용하는 여타 앱은 어떤 것인가?

사용자가 앱을 사용하지 않게 된 이유는 무엇인가?

• 이탈률이 가장 높은 화면은 무엇인가?
• 사용자들이 특정한 행동을 취하는 데 방해가 되는 오류가 있는가?
• 제품의 가격은 어떻게 책정되는가? 여타 서비스와는 어떻게 다른가?
• 구매자들이 하는 활동 가운데 이탈자들이 하지 않는 것은 무엇인가?
• 이탈자들은 어떤 과정으로 앱을 이용했는가? 앱을 떠나기 전까지 앱에서 보내는 시간은 얼마나 되는가

마케팅 전문가는 사용자의 설문조사와 인터뷰를 실시하고 데이터 분석가는 수를 기반으로 분석한다. 설문조사에서 인구 통계학적, 심리특성적 정보를 얻고 쇼핑 습관을 파악한다.

분석가와 마케터는 이렬느이 보고서로 정리하여 회의 전에 팀과 공유한다. 첫 회의 때에는 정기 쇼핑객이 공통적으로 가지는 흥미로운 부분을 집중조명해야한다.

특징 1, 평균 주문액은 50달러 이상이다. 특징 2, 매번 동일한 항목을 구매한다. 특징 3, 열성적인 쇼핑객의 대부분이 회사의 모바일 웹사이트를 통해 앱을 다운받는다.

준비는 끝났다.

2단게 아이디어 도출

좋은 아이디어를 내는 가장 좋은 방법은 많은 아이디어를 내는 것이다. 브레인스토밍으로 어떠한 압력이나 제한도 가하지 않고 창의성 있게 모든 실험을 쥐어짜내라. 그리고 안 좋아보이는 실험은 후순위로 밀려날 뿐이다.

기본적으로는 자신이 속한 분야에서 아이디어를 제안해야한다.

• 디자이너는 화면 디자인에 대한 변화
• 마케팅 전문가는 사용자의 첫 구매를 장려하는 방안
• 엔지니어는 제품의 속도 향상

리더는 이런 아이디어들을 제출하거나 관리하는 것은 물론 결과 추적이나 보고까지 조정하는 프로젝트 관리 시스템을 마련해야한다. 접근권을 가진 모든 사람이 아이디어를 제출하고 추적하며 댓글을 달고 실험과 그 결과를 혹인할 수 있다.

아이디어는 견본 서식에 따라 ‘아이디어 공급로’에 제출한다. 여기서 중요한 점은 재빨리 평가할 수 있게 만드는 것이 중요.

예시

식료품점의 모바일 앱에서는 구매를 촉진하는 여러 가지 방법 중 하나를 지향할 것이다. 어떤 아이디어들은 앱을 다운로드했지만 구매하지 않는 사람들이 물건을 사도록 유인하는 것을 목표로 할 것이다. 다른 아이디어는 이미 구매한 사람들을 대상으로 점 더 자주 구매하도록 하거나 후속 구매에서 그들의 평균 주문량을 늘리는 것을 목표로 삼을 수도 있다. 마지막으로 회사의 모바일 웹사이트를 통해 들어 온 고객이 최고의 구매자가 되는 경향이 있기 때문에 새로운 쇼핑객을 회사의 웹사이트에서 앱으로 더 많이 끌어오는 방아능ㄹ 생각할 수도 있다.

이 중 쇼핑객이 자주 구매하는 물건의 목록을 저장하고 재주문하는 쇼핑 목록 기능을 만들자라는 아이디어를 냈다. 이 아이디어는 다음과 같은 서식으로 제출된다.

아이디어 이름 : 간단한 이름일수록 효울적이다. 50자 이내로 적자. 아이디어 설명 : 육화원칙으로 표적은 누군지, 무엇을 만들지, 왜 이런 안건을 내놓았는지, 어떻게 실행할지 가설 : 예상하는 원인과 결과에 대한 간결한 명제여야한다. ‘쇼핑객들이 이전에 구매한 항목들을 좀 더 쉽게 확인하고 재주문 할 수 있게 만든다면 반복 구매하는 사람들의 수가 20퍼센트 증가할 것이다’라는 식으로 만들어야 한다. 측정해야할 지표 : 추적해야하는 지표가 무엇인지 명시해야 한다. 대부분의 실험에는 하나 이상의 지표를 측정해야한다. 때로는 한 지표의 개선이 다른 지표의 하락을 동반하기 때문이다. 가입을 늘리기 위해 디자인을 리뉴얼 하면서 눈에 보기 쉬워졌지만 목적을 이해하지 못해 방문수만 늘고 실제 이용자가 적다면 어떨까? 이것은 심각한 장애가 될 것이다. 실험에 영향을 받는 하류 지표들을 관찰해서 추적할 지표들을 확인해야한다.얼마나 많은 사용자가 새로운 기능을 사용했고 그 기능을 사용한 사람들의 구매 행동에 영향을 주었는지, 핵심 지표를 개선시켰는지, 가설이 맞는지 판단할 수 있는 식견을 제공하는 범위내에서 측정해야한다.

3단계 : 우선순위 결정

우선순위를 결정할 때에는 ICE 점수를 많이 이용한다.

I(Impact) : 주요 지표의 개선 정도, 테스트하면 매출이 어느정도 개선될지에 대한 예측. 점수가 꼭 높은 실험이 아니더라도 실험하기 더 쉽고 빠른 실험을 하는 것이 중요 C(Confidence) : 신뢰도. 그 아이디어가 예상한 만큼의 영향을 줄것이라는 강한 믿음. 데이터 분석, 업계 기준 검토, 발표된 사례 연구, 이전 실험의 짬등을 증거로 해야한다. E(Ease) : 용이성. 실험을 진행하는 데 필요한 시간과 자원. 영향력이 높아도 시간과 리소스가 많이 필요하면 우선순위에서 밀리게 된다.

리더는 이 점수들이 맞는지 검토하며 조정한다. 하지만 무턱대고 ‘이거 개발하기 쉬울 것 같은데’하며 용이성을 내리다간 팀간의 갈등이 생길 수 있다. 그리고 이러한 점수 또한 예측이 빗겨나갈 수 있고, 낮은 실험이 성공할수도 있다. 사이트의 가시성만 높여도 700% 상승할 수도 있다. 꼭 영향력있는 실험만 하지 않고 그로스해킹에 맞게 빠르고 쉬운 작업만 하는게 맞다.

ICE외에도 Time, Impact, Resource의 TIR, Potention(잠재력), Inportance(중요성), Ease(용이성)의 PIE 체계도 있다.

체계에 맞게 아이디어에 점수를 매기고 토론하여 테스트할 아이디어를 정한 다음 제품 매니저에게 언제 작업 가능한지 조정해야한다.

4단계 : 실험

쇼핑앱 같은 경우, 디자인팀과 이메일팀과 함께 마케팅 문구를 만들 수 있다. 마케팅 팀원은 데이터 분석가와 힘을 합쳐 실험군과 대조군을 정하여 결과를 적절히 추적할 수있다. 실험 준비가 완료되면 영향이 가는 제품의 팀원들에게 알려 충격이 가지 않게 해야 하며, 장애 발견 시, 고칠 여력이 없다면 다른 실험을 먼저 실행할지 검토한다.

실험의 진행 규칙.

99퍼센트의 통계학적 신뢰 수준을 사용해라 : 일반적인 신뢰수준은 95%와 99%이다. 4%가 크지 않을 수도 있지만 20번의 실험중 1번은 실패한다는 소리이기도 하다. 100번중 한번과 20번중 한번은 큰 차이가 있다.

대조군이 항상 이긴다.

실험이 무조건적으로 좋은 결과만 나올 수는 없을 뿐더러, 이부분에 실망하지 말고 성과를 낼려고 억지로 기간을 늘리지도 말고 더할지 말지 토론해서 결정하자.

느낀점

1. 우리에게는 먼저 분석이 없었고, 예시와 비슷하게 고객의 행동과 특징, 이탈 이유를 조사해야할 필요가 있다. 예시에 있는 부분들을 참고하면 도움이 많이 될 것 같다. 다만 이것도 아하 순간을 찾는 과정이기 때문에 시간이 오래 걸리는 작업이다. 하지만 이것을 찾는다면 실험을 보다 효율적이고 임팩트있게 하지 않을까싶다.
2. 아이디어 도출에 대해서는 어느정도 잘하고 있다고는 생각한다. 아이디어 순환율만 뺀다면. 여기서 부족한 부분은 결과를 좀더 명확하게 해야할 필요가 있다. 20%증가, 10%증가등등. 이런 값을 얻기 위해서는 무엇을 해야할까(온라인의 기준 데이터, 실험 참가자수와 현재의 행동에 미칠 것으로 예상되는 대략적인 추정)
3. 그러나 측정해야할 지표는 아직까지 잘 못하는 편. 하류 데이터도 일단 보지 않고 있다. 실험을 할떄에는 무턱대고 점수 높은 것이 아니라 측정할 수 있는 실험을 가지고 측정해야한다.
4. 글을 읽으며 영향력은 없어도 되며 빠르고 쉬운 작업이 우선. 다만 너무 영향력이 없으면 안됨 이라고 써져있어서 이것에 기준을 예측하는 것이 어렵다. 이런 예측을 잘할려면 서술된 것처럼 아이디어를 많이 내고 테스트 하는 것.
5. 99퍼센트의 통계학적 신뢰 수준을 사용하라라는데 99퍼센트는 사전에 어떻게 측정할 수 있는 건지. 무엇이 99퍼센트인지 모르겠다.(실험 성공률, 실험 개선 성공률)
6. 실험ㅇ르 하며 사용자 경험 혹은 성장 지렛대의 어떤 부분에 초점을맞ㅊㄱ ㅗ있는가? 단기적인 목표가 있는가?를 생각하며 하자.