지표
스톡: 특정 시점의 스냅숏에 해당하는 지표
플로: 시작과 끝에 대한 시간 범위가 존재하며 일정한 시간 동안의 변화량을 나타내는 지표
허무 지표(Vanity metric) - 행동을 이끌어 내지 못하는 의미 없는 지표
- 스톡에 해당하는 많은 지표들이 허무 지표에 가깝다.
허무 지표의 대표적 예시
- 누적 다운로드
- 누적 앱 설치
- 누적 방문자
- 페이지 뷰
지표를 기반으로 성장 실험을 할 때는 해당 지표를 어떻게 정의하고 측정할 것인가를 반드시 짚고 넘어가야 한다.
허무 지표에 빠지지 않기 위해서
- 좋은 지표가 가져야 할 조건 중 하나는 해당 지표를 바탕으로 행동할 수 있어야 한다.
- 허무 지표는 쉽게 변화시킬 수 있는 경우가 대부분인 것이 특징이다.
- 근 6개월 이상 주간 업무 보고 포맷이 전혀 달라지지 않는다면 주간 업무 보고를 수정할 필요성이 있다.
- 지표를 개선하기 위해서는 부분 최적화보다 전체 관점에서의 최적화에 초점을 맞춰야 한다.
심슨 패러독스 & 대푯값
- 쪼개진 데이터에서 성립하는 관계가 합쳐진 데이터에서는 반대로 나타나는 현상
- 전체 결과의 경향성과 부분 결과의 경향성이 불일치하는 경우
- 대푯값을 무작정 평균으로 대체하는 방법은 데이터를 온전히 설명해주지 못한다.
- 분석 목표에 맞는 데이터를 신중하게 수집하고 가공하는 단계가 우선시 되어야 한다.
OMTM
- One metric that matter = 지금 가장 중요한 지표
- 단순히 지표를 나열하는 것은 지표 간 우선 순위를 정의할 수 없다.
- 지표를 잘 활용하기 위해서는 가장 중요한 지표가 현재 무엇인지 생각하는 것이다.
- OMTM은 모두가 공유하는 하나의 목표인 반면, KPI는 평가를 위해 활용하는 지표로 팀이나 부서별로 다르게 설정된다.
- 목표를 정하는 과정에서 측정 가능하고 도전적인 소수의 목표에 집중할 것을 권장한다.
2주차 후기
EDA를 진행하며 갈피를 못 잡는 순간들이 너무 많았다. 팀 프로젝트를 진행하면(특히나 팀장을 맡을 때면) 우리가 가고자 하는 목표가 뭔지 잘 파악하지 못할 때가 종종 있었는데 이번주에 책을 읽으며 내가 그동안 목표 관리를 잘못 설정하고 있었다는걸 배울 수 있었다. 특히 KPI는 많이 접했음에도 OMTM은 처음 접하는 개념이었는데 팀원들이 같은 방향을 바라보며 목표를 관리할 수 있다는 점이 인상깊었다. 심슨 패러독스 개념도 상당히 흥미로웠는데 EDA는 결국 끊임없이 데이터 리터러시를 요하는 작업임을 알 수 있었다.
'공부' 카테고리의 다른 글
가설검정 (0) | 2024.11.30 |
---|---|
[데벨챌 4기] 그로스 해킹 (그로스 해킹 시작부터, 성장 실험까지/ 그로스 조직과 업무 프로세스) (2) | 2024.11.23 |
[데밸첼 4기] 그로스 해킹 (그로스해킹이란?/전제조건/AARRR) (1) | 2024.11.09 |
[BDA x 이지스 퍼블리싱] Easy Study Project 마무리를 하며 (0) | 2024.01.26 |
BDA X 이지스퍼블리싱 서평단 이벤트 [Do it! 데이터 과학자를 위한 실전 머신러닝]/ 11장:다층 퍼셉트론 모델 (0) | 2023.12.31 |