[데벨챌 4기] 그로스 해킹 (그로스 해킹 시작부터, 성장 실험까지/ 그로스 조직과 업무 프로세스)

그로스 해킹 시작 단계

1) 데이터를 활용할 수 있는 업무 환경 만들기

2) 데이터 파이프라인 구축하기

3) 데이터 활용을 위한 역량과 문화 갖추기

4) 성장 실험

 

1) 데이터를 활용할 수 있는 업무 환경 만들기

클라우드 분석 환경

• 아마존 EMR
• 구글 GCP
• 마이크로소프트 Azure

 

ETL 자동화 서비스

• 산재돼 있는 데이터를 수집하고 분석하기 편한 형태로 변환하고 원하는 데이터베이스에 최종적으로 적재하는 일련의 과정
• 데이터 분석을 위해 원천 데이터를 가져다 사용하는 경우가 많지 않다. 서비스의 요건에 맞게 가공하고 추출해야 하기 때문이다.

BI 서비스

• 적절한 시각화를 통해 대시보드를 만들고 데이터를 통해 인사이트를 얻을 수 있는 환경을 구축해야 한다.
• 태블로
• 구글 데이터 스튜디오
• 리대시
• 수퍼셋
• 파워 BI

2) 데이터 파이프라인 구축하기

• 데이터를 쌓고, 필요한 형태로 가공하고, 추출하고, 의사결정에 활용할 수 있는 프로세스를 만드는 일
• 데이터 파이프라인이 구축되어 있다면 서비스 로그와 행동 로그를 분석할 수 있다.

서비스 로그

• 트랜잭션의 결과를 기록하는 로그로 예약하거나 가입하거나 하나의 트랜잭션이 완료되면 서비스 로그가 남는다.

 

행동 로그

• 트랜잭션에 이르기까지 사용자가 서비스에서 하는 하나하나의 액션에 대한 로그를 의미한다.
• 특정 상품을 클릭하거나 검색하거나 배너를 스와이프하는 등의 액션을 예로 들 수 있다.
• 행동 로그 설계의 핵심은 이벤트의 속성을 어떤 수준으로 함께 남길 것인가를 정의하는 부분이다.

1단계 : 단순 이벤트 집계

• 발생한 이벤트의 숫자를 세는 수준

2단계 : 이벤트 속성 집계

• 발생한 이벤트의 숫자를 세는 수준 + 발생한 이벤트의 상세 정보(어떤 상품을 클릭했고 상품의 평균 가격 등)

3단계 : 이벤트 속성 + 사용자 속성 집계

• 발생한 이벤트의 숫자를 세는 수준 + 발생한 이벤트의 상세 정보 + 발생한 이벤트를 클릭한 사용자의 정보(성별 비율 및 사용자가 가지고 있는 쿠폰 등)

 

속성을 기록하는 수준에 따라 얻을 수 있는 인사이트의 수준이 차이가 난다.

 

 

 

이벤트 스키마 설계서

• 이벤트를 어떤 기준으로 쌓아서 볼 것인지 정의하는 문서
• 수집하는 이벤트 수가 너무 많아지면 유지보수가 어려워진다는 점도 기억하자.
• 이벤트 스키마 설계가 완료되면 스키마에 따라 실제로 이벤트를 적재하고 확인해야 한다.
• 구글 애널리틱스나 앰플리튜드 등의 로그 분석 시스템을 활용하면 이벤트 스키마에 따라 적재된 데이터를 확인할 수 있다.

3) 데이터 활용을 위한 역량과 문화 갖추기

• 데이터가 흐르는 조직을 만드는 것이 중요
• 꾸준하고 정기적인 교육
• 교육을 통해 배운 지식들을 실무에 바로 적용할 수 있는 환경을 만들고 독려하기

 

4) 성장 실험

A/B 테스트

 

가설

• A/B 테스트를 통해 확인하고 싶은 가설이 무엇인지 종속변수의 목표 수준을 정하고 독립 변수와 종립 변수를 지정한다.

 

실험 집단/통제 집단

• 전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고 어떤 비율로 할당할 것인지

 

독립 변수

• 인과관계에서 원인이 되는 변수
• 일반적으로 2개 내외의 수준을 정해서 A/B테스트를 진행하게 된다.

 

종속 변수

• 인과관계에서 결과가 되는 변수

 

통제 변수

• 실험 집단 /통제 집단 모두에서 동등한 조건을 가져야 하는 변수
• 종립 변수에 영향을 미칠 수도 있는 제 3의 변수

 

샘플 크기

• 가설 검증에 필요한 실험 참가자의 숫자

 

실험 기간

• 샘플 크기를 고려했을 시 가설 검증을 위한 데이터를 수집하는 데 필요한 기간

 

유의사항

• 통제 변수가 관리되지 않은 전제 하에 진행되는 랜덤 추출을 주의하기
• 순차 테스트: 실험 기간이 달라짐에 따라 발생될 수도 있는 예상치 못한 외부 개입, 어려운 통제 변수 관리
• 샘플 크기 계산

 

주의사항

• 무가설
• 통제 변수 관리 실패
• 단순 평균 비교
• 엿보기 + 조기 중지
• 시간의 흐름에 다른 차이를 살펴보지 않는 것
• 과거의 A/B 테스트 경험을 지나치게 신뢰하는 것
• 국지적 최적화의 함정

그로스 조직과 업무 프로세스

• 그로스 해킹은 다양한 직군의 사람들이 각자의 전문성을 바루히하면서 협업하는 프로젝트성 업무에 가깝다.
• 그로스 조직의 목표는 핵심 지표를 개선하는 것으로 가설-실행-검증으로 이어지는 일련의 과정을 반복하며 지표를 가시적으로 개선해 나가는 것이다.

그로스 조직의 구조

• 리포팅 라인: 그로스 조직의 상위 의사결정권자가 누구인가?
• 전담 인력 구성: 그로스 업무만 전담해서 진행하는 인력을 어라만 배치할 것인가?
• 협업 구조: 사내 다른 조긱과 어떤 구조로 커뮤니케이션하는가?

크로스펑셔널 팀 구조

• 기능 조직에 소속된 각 직군별 담당자들이 모여서 그로스 해킹을 하는 것

 

독립 팀 구조

• 기존의 기능 조직과는 별개로 독립된 그로스 조직을 새롭게 만드는 형태

 

복합 구조

• 크로스펑셔널 팀+ 독립 팀으로 별도 조직을 구성하지만 일부 인원은 파견이나 겸직 발령 형태로 기존의 기능 조직 형태를 유지한다.

 

그로스 조직의 업무 프로세스에서의 핵심은 프로세스 전반에 걸쳐 목표와 실행이 서로 영향을 주고 받아야 하는 점이다.

 

아이디에이션

• 진행할 실험에 대한 아이디어를 수집하고 구체화하는 과정으로 스프린트의 전체 기간 동안 지속적으로 진행된다.

 

플래닝

• 아이디어 공급로에 있는 아이디어의 우선순위를 정의하고 실험 대상이 되는 아이디어를 선별하는 프로세스
• 아이디어 우선순위를 정할 때 ICE 프레임워크가 사용된다.

 

실험 위키: 실험 과정을 문서화

• 개요: 실험 배경, 실험 책임자, 각 파트별 담당자
• 가설: 실험을 통해 검증하고자 하는 가설
• 설계: 대상자, 실험 범위, 독립 변수, 종속 변수, 통제 변수, 측정방법
• 목표: 종속 변수의 목표 수준
• 일정: 실험을 위한 개발 및 배포 일정, 실험 기간
• 기타 참고사항

회고

• 스프린트가 마무리되면 회고를 통해 성과를 리뷰한다.

마치며

책을 읽으며 '데이터가 흐르는 조직'을 만들기 위해서는 개인의 역량보다도 모두가 성장할 수 있도록 돕는 환경이 중요하다는 것을 알게 되었다. 실무에서 데이터를 단지 추출하는 것만 아니라 데이터 파이프라인을 설계시 어떤 기준으로 쌓을지 또는 행동 로그 분석시 어떻게 하면 좋은지 예시들을 잘 보여줘서 이해하기 쉬웠고 이전과 다르게 공부의 방향성을 어떻게 잡는게 좋은지도 보이기 시작했다. 데벨챌을 진행하며 다양한 환경에서 열심히 공부하고 있는 사람들을 보며 동기부여가 되었으며 중도포기하지 않고 잘 공부해온 것 같다. 다음에도 기회가 생긴다면 또 참가하고 싶다!