얕고 방대한 지식

숏 모바일 비디오 플랫폼인 틱톡으로 서비스 역기획을 해보았다. 서비스 역기획은 이미 완성된 서비스를 역으로 어떻게 기획되었는지 정리하는 방식이다. 자세한 내용은 혼자 서비스 기획을 공부하는 방법을 참고했다. 

1. 틱톡의 비즈니스 모델 알아보기

1-1) 고객 가치

"틱톡(TikTok)은 쇼트 모바일 비디오의 궁극적인 목적지가 되는 것을 지향하며, 우리의 미션은 창의력을 고취시키고 즐거움을 주는 것이다."

틱톡의 미션을 살펴보면 그들이 추구하는 고객가치를 알 수 있다. 틱톡은 자신의 아이디어나 개성을 표현하고 싶은 사람들이 숏 비디오 영상을 통해 그 목표를 달성할 수 있도록 돕는다. 여기에 10~20대 초반의 MZ세대가 주목했다. 그들이 SNS에서 커뮤니케이션하는 방식에 많은 관련이 있었기 때문이다. MZ세대는 SNS에서 다양한 사람들과 만나는 것에 거부감이 적으며, 자신의 개성이나 생각을 표현함에 있어 다른 세대보다 적극적이다. 10대의 75% 이상이 유튜버를 꿈꾼다는 통계도 이런 성향을 반증한다.

틱톡은 스냅챗, 스노우 앱 등의 다양한 편집효과들(AR 마스크, 립싱크 등)과 인스타그램, 트위터 등의 SNS 기능(팔로우, 태그 소환, 좋아요 등)을 고루 갖고 있다. 그러나 기존의 SNS와 달리, 사람들 간의 '관계'보다 '콘텐츠'를 더 중요하게 여긴다. 즉, 틱톡은 관계를 맺는 부담을 줄이고, 가볍게 즐길 수 있도록 의도했다. 이러한 틱톡의 방향은 앱을 열면 팔로우 없이도 콘텐츠가 바로 재생되는 부분에서 확인할 수 있다.(15 ~ 60초의 짧은 영상 시간도 한 몫한다.) 이로서 유저는 다양한 편집효과를 통해 창의력을 고취시키거나 제작된 영상들을 시청하며 즐거움을 얻을 수 있다.

2-2) 사업 가치

기존 SNS와 마찬가지로, 틱톡 역시 광고를 통해 수익을 얻는다. 틱톡커와 브랜디드 콘텐츠를 제작하거나, 해시태그 챌린지로 유저 참여하는 프로모션을 진행하는 등이다. 광고스럽지 않고 놀이처럼 참여할 수 있어 광고효과가 클 것으로 예상된다. 상품뿐만 아니라, 가수들의 신곡 등의 무형 콘텐츠도 홍보할 수 있어 마케팅적으로 틱톡의 가치는 높다.

현재 틱톡은 유튜브와 다르게 영상 제작자(틱톡커)와 광고 수익을 배분하지 않는다. 그러나 유명한 틱톡커의 영상이 트래픽과 앱 체류 시간을 높이는데 한 몫하고 있기 때문에, 앞으로 수익을 배분하는 모델이 등장할 것으로 보인다.

정리하면, 쉽게 제작가능한 숏 비디오 플랫폼을 통해 고객 가치를 창출하고, 이 과정에서 틱톡커와 시청자가 모두 참여할 수 있는 다양한 광고 상품을 기획하여 사업 가치를 창출했다. 

2. 비즈니스 모델을 바탕으로 데이터 가설을 세우고, 서비스에서 검증하기

2-1) 가설

• 유저는 어떤 목적으로 콘텐츠를 만드는가?
• 틱톡은 유저가 재미있는 콘텐츠를 만들수 있도록 어떤 노력을 하는가?

틱톡의 핵심 요소는 '재미있는 콘텐츠'이다. 유저의 취향에 맞게 추천을 하더라도, 해당 영상이 개성이나 재미가 없다면 금방 이탈해버릴 것이다. 그래서 위의 질문을 바탕으로 틱톡 인터페이스를 살펴보고, 어떤 데이터를 쌓을 수 있는지 추측해보았다.

2-2) 검증

[가설1 - 유저는 어떤 목적으로 콘텐츠를 만드는가?]

관심사 선택 

위의 이미지는 틱톡을 다운로드하고 열면, 처음에 등장하는 페이지이다. 관심사를 아이콘으로 카테고리를 만든 다음, 유저에게 관심사를 선택하게 한다. 유저는 선택한 관심사를 기준으로 영상을 추천받을 수 있다. 반대로 틱톡의 유저들은 해당 관심사 내에서 영상을 제작하고 있음을 유추해볼 수 있겠다. 틱톡은 관심사 중에서도 인기 관심사를 클릭수로 파악하여, 틱톡커가 인기 관심사에 맞는 영상 제작을 하도록 그 분야에 더 많은 편집효과, 사운드, 밈 등을 추가할 수 있다.

편집 효과

편집효과는 주제별로 카테고리가 나뉘어 있다. 유저들은 목적에 맞게 주제를 선택하고 편집효과를 고를 수 있다. 필터를 사용하기 위해서 다운로드를 하여야 하는데, 이렇게 쌓인 다운로드 지표는 이후 필터를 추가할 때 기준이 될 수 있다. 

• HOT: 인기 있는 편집효과
• NEW: 새로 추가된 편집효과
• Meme: 밈(짤)로 이용하는 편집효과
• Halloween: 할로윈 기념 편집효과 (시즌성)
• Game: 게임 장면의 편집효과
• Autumn: 가을 관련 편집효과 (시즌성)
• Tlog: 틱톡 브이로그용 편집효과
• Funny: 엔터테인먼트 요소가 들어간 편집효과
• Animal: 동물 관련 편집효과
• Cute: 귀여운 필터가 있는 편집효과
• Makeup: 얼굴에 화장이나 꾸밈을 해주는 편집효과
• Hair: 헤어스타일 관련 편집효과
• Fashion: 스타일 관련 편집효과
• Multi: 2개 이상의 필터가 합쳐진 편집효과
• AR: AR 관련 편집효과

사운드

영상 만들기 페이지의 맨 상단에 '사운드'를 클릭하면 배경음악을 찾아서 영상에 넣을 수 있다. 직접 검색을 하거나, 추천 알고리즘으로 다른 유저들이 많이 사용하는 음악을 선택할 수 있다. 뿐만 아니라 최신 음악, 트렌딩 등 다양하게 주제별로 묶어 목적에 맞게 찾아서 사용할 수 있도록 도왔다. 다른 동영상 서비스에 비해, 틱톡이 다양한 음악을 제공할 수 있는 이유는 틱톡 영상은 최대 1분이기 때문이다.(저작권이 있는 음악도 1분까지는 허용이 된다.) 

해시태그 챌린지

틱톡 하단 바의 검색 아이콘을 클릭하면, 여러 가지 해시태그 챌린지를 구경할 수 있다. 유저는 재밌어 보이는 챌린지를 선택하여, 쉽게 참여할 수 있다. 해시태그 옆 3.3M, 11.4M 등으로 조회수가 적혀 있는데, 이 조회수와 영상 제작 횟수를 기준으로 유저들이 좋아할 만한 편집 효과를 추가할 수 있다. 

[유저가 콘텐츠를 만들기 위해 틱톡은 어떤 노력을 하는가?]

◆ 틱톡 설문조사

틱톡은 위와 같은 설문조사를 통해 유저의 의견을 듣고 있다. 주로 편집효과나 경쟁사로 여기는 카메라 앱이나 SNS 사용성에 대해 묻는다. 이 정성적 데이터를 통해 경쟁우위를 잡고, 차별화된 서비스를 제공하는데 적용할 것으로 보인다. 그리고 '스노우' 앱은 한국, 일본 등 특정 나라에서 주로 이용하는 카메라 앱인데, 설문조사에 포함된 것을 보면, 서비스 지역별로 문항을 달리 구성하여 그 지역에 특화된 서비스를 제공할 수 있도록 고민하고 있는 것 같다. 

fin

한국에서 틱톡은 관종끼가 다분한 영상으로 광고/마케팅하여 MZ세대를 제외한 다른 세대들에게 부정적으로 자리잡았었다. 개인적으로도 같은 이유로 틱톡을 이용하지 않았다. 그러나 이번에 역기획 해보며, 틱톡에 대한 편견을 깰 수 있었다.(여담으로 미국의 틱톡 서비스는 한국보다 볼거리가 훨씬 많다고 한다.)

틱톡은 고도화된 추천 알고리즘과 편리한 인터페이스로 영상을 이용할 수 있어서 편리하다. 하지만 영상의 수가 다양하거나 많지 않다면, 지속적으로 성장하기 어려웠을 것이다. 틱톡은 보다 많은 유저들이 시청에서 그치지 않고, 직접 틱톡커가 될 수 있도록 인터페이스 측면에서 많은 고민을 했다. 수익을 목적으로 제작하는 유튜브와 비교하여, 부담없이 영상 제작 자체가 즐겁게 느끼도록 구현했다. 앞으로도 틱톡이 '영상 놀이터'로서 가볍게 즐길 수 있는 플랫폼으로 성장 했으면 하는 바램이다.

[출처]

- 틱톡 수익? 틱톡이 무섭게 성장하는 6가지 원동력

- 틱톡이 인기를 끄는 이유와 향후

- 틱톡(TikTok)이 성공할수 밖에 없었던 3가지 이유

- 윗유

UX/UI의 10가지 심리학 법칙에서 제시한 10가지 법칙을 기준으로, 네이버 웹툰의 UX/UI를 살펴보았다.

마이리얼트립은 여행 상품을 중개하는 온라인 플랫폼이다. 개인적으로 여행 계획을 짜거나, 여행 상품 예약을 할 때 고민이 많았는데 이때마다 마이리얼트립의 도움을 받았었다. 항공권, 숙박부터 맛집, 관광명소까지 한 플랫폼에서 비교와 예약이 가능했기 때문이다. 개인적인 경험 외 마이리얼트립을 살펴보고자 마음먹었던 건 '코로나 19' 때문이다. 코로나 19의 여파로 여행 산업은 큰 타격을 받았는데, 그럼에도 마이리얼트립은 꾸준히 성장세를 갖고 있으며, 432억원을 투자 유치했다. 이것이 어떻게 가능했을까?

고객,  " 어떻게든 좋으니 여행을 가고 싶다 😂 "

마이리얼트립의 고객은 대부분 해외여행 준비를 목적으로 서비스를 이용했다. 그러나 코로나 19로 해외여행을 갈 수 없게 되자, 그들은 여행을 랜선 투어 하거나 가까운 거리로 여행을 가는 식으로 해결하기 시작했다. 

WindowSwap은 세계 여러 도시의 집에서 촬영한 창문밖 풍경을 공유한다. 유저들은 집에서 이 사이트를 통해 여행을 간접적으로 경험한다. 

그리고 호캉스, 근교 여행, 체험형 레저 등 국내에서 즐길 수 있는 여가 상품이 인기를 끌었다. 가까운 거리에서 여행 가는 방법을 찾은 것이다. 

마이리얼트립은 이러한 고객의 문제 해결 방식에 집중하여, 비대면으로 여행을 경험할 수 있는 '랜선투어'와 '국내 여행'을 중심으로 비즈니스를 피봇(Pivot)했다. 아래에 랜선투어와 국내 여행 상품에 대해 정리해보았다.

1. 랜선투어 - 집에서 여행을 가자

◆ 상품 카테고리: 랜선투어,오디오투어

1) 랜선 투어

- 여행지 현장: 실시간 라이브 영상을 중심으로 진행

 ㄴ 장점: 실제 여행하는 경험을 느낄 수 있음

 ㄴ 단점: 갑작스러운 변화에 대처하기 어려움 (송출 불가 등)

- 실내 스튜디오: 가이드가 직접 촬영한 명소를 중심으로 진행

 ㄴ 장점: 계획 중심으로 차질 없이 진행 가능, 시청자 맞춘 진행에 용이

 ㄴ 단점: 미리 촬영된 영상으로, 생생하게 체험하기는 어려움

2) 오디오 투어: 관광 명소 가이드를 오디오로 들을 수 있음

◆ 구현 방식(기술)

- 라이브 진행: 유튜브 등 라이브를 진행할 수 있는 플랫폼을 통해 라이브를 진행

- 영상 촬영: 일부 가이드는 생경한 느낌을 전달하고자 드론으로 촬영

◆ 유저 플로우: 앱을 기준으로 어떻게 상품을 구매하는지 살펴봄

1) 앱을 열면 맨 왼쪽의 화면이 등장하며, '여행 카테고리'에서 '랜선 투어' 아이콘을 클릭할 수 있다.

2) 다음으로 랜선 투어 페이지에서 여러 상품들을 확인할 수 있다.

- 카테고리

ㄴ 상품: 랜선 투어, 오디오 투어

ㄴ 순서: 추천순, 인기순, 후기 순, 가격순, 신상품 순 

- 상품 표기: 상품명, 라이브/스튜디오 여부, 별점, 가격, 즐겨찾기(하트)

3) 상품을 클릭하면, 상품 정보나 리뷰 등을 상세하게 확인할 수 있고, 구매할 수 있다.

5) 리뷰를 확인할 수 있는 페이지: 연령과 여행 콘셉트가 적혀 있어 구체적으로 어떤 사람들이 이 상품을 선택했는지 알 수 있다.

- 고객의 연령과 여행 콘셉트를 요약하여, 고객의 구매 결정을 돕고 있다. 

- 아래의 사진목록은 좌우로 스와이핑이 가능하다.

6) 날짜 선택을 할 수 있는 페이지

7) 구매하기 페이지: 여행 컨셉을 필수로 묻는데, 앞서 리뷰의 "30대, 혼자 가는 여행의 구매가 가장 많은 상품"을 알리기 위함인 것 같다.

🧐 평가

- 비즈니스: 코로나 19로 인한 고객의 니즈 변화를 파악하여, 집에서도 여행을 경험할 수 있는 상품을 기획

ㄴ 매출이 감소한 해외여행 업체에게 차선책을 제공하여, 업체 이탈을 방지함

- 기술: 라이브 영상을 소비하는데 어려움이 없어, 가이드와 관광객 모두에게 편리함

 ㄴ 해상도가 갑자기 떨어지거나, 송출이 안 되는 문제에 대한 대책이 필요해 보임

- 유저 경험: 시작 페이지부터 구매 단계까지 직관적으로 플로우를 구성

 ㄴ 아이콘으로 간단하게 보여주거나, 필요한 정보만 간단하게 노출하여 쉽게 비교할 수 있음

 ㄴ 더 자세히 알고 싶은 고객을 위해 따로 페이지를 만들어서 보여줌

2. 국내 여행 - 가까운 거리로 여행을 가자

마이리얼트립은 해외 여행자에서 국내 여행자로 목표 고객을 수정하였는데, 그 방향성이 앱 페이지 구성에 잘 녹아있다. 기술적인 부분은 원래의 방식에서 바뀐 부분은 없었기에, 인터페이스 변화에 따른 '유저 플로우'의 변화에 집중했다. 

◆ 유저 플로우

1) 첫 페이지

- 관광지: 대표 인기 관광지를 카테고리로 분류 (제주도, 서울, 강원도, 부산)

- 아이콘: 인기 관광지마다 고객이 필요로 하는 상품을 기준으로 키워드로 표현

2) 아이콘: 제주도의 감성 숙소 아이콘을 예로 살펴봄

- 감성 숙소를 영상/ SNS/ 직원 후기 등 분류

- 해당 페이지 역시 구체적인 설명보다 이미지와 키워드를 중심으로 표현

3) 숙소 페이지: 상품명, 평점, 가격, 대표 이미지를 확인

그 외, 리뷰나 구매 단계는 랜선투어와 동일하여 다시 분석하지 않았다.

🧐 평가

- 유저 경험: 고객이 편리하게 자신의 목적에 맞는 여행 상품을 선택할 수 있도록 페이지를 구성

fin

마이리얼트립은 여타 이커머스와 비슷하게 프로모션 배너를 맨 상단에 띄우거나 많은 상품군을 한 번에 다 보여줄 수도 있었다. 그러나, 아이콘이나 간략한 키워드를 활용하여 유저들이 원하는 상품을 직접 선택할 수 있게 도왔다. 뿐만 아니라, 고객의 니즈 변화에 맞게 비즈니스를 변화하여 시장에 적응했다. 이런 이유들로 코로나 19로 어려운 상황임에도 성장하지 않았나라는 생각이 든다. 

[출처]

- ‘랜선투어’ 비대면 시대 여행 콘텐츠로 자리 잡을까

- 마이리얼트립 소개

- 코로나19 시대의 ‘깜짝’ 성과…’마이리얼트립’, 432억원 투자 유치

- 코로나19 속 호캉스 트렌드 - 고객들에게 보다 안전한 이미지 전달되야

많은 회사에서 애자일을 도입하고 있는데, 애자일을 실제로 구현해낸 회사는 많지 않은 것 같다. 애자일은 특정 방법론을 넘어, '문화'이기 때문이다. 방법은 배울 수 있지만, 조직에 문화가 정착하기까지 많은 사람의 노력과 시간이 필요하다. 조직문화, 업무 프로세스를 기준으로 애자일을 잘 구현한 회사를 찾아보았다.(개인적인 기준으로, 외부인의 관점에서 평가한 것이니.. 양해 바랍니다^^;)

기준

• 목표: 점진적인 성장 속에서 방향을 잃지 않도록 조직원에게 명확한 목표 제시 
• 직책보다 역할: 수직적인 관계가 아니라 역할에 따라 나누어진 관계 - 관리자가 모든 권한을 갖지 않음
• 책임: 하나하나의 '성과'에 대한 책임을 개인이 지지 않게 하되, 비즈니스 목표 달성에 대한 책임은 지게 함
• R&R: 비즈니스 목표 달성을 위한 것이라면 타 영역에 대해 피드백이나 의견 제안을 할 수 있음 - 자기 역할과 일에만 신경 쓰지 말자
• Ownership: 수평적으로 팀원 모두가 권한을 갖고 자기 주도적으로 업무를 할 수 있음
• 채용 절차: 애자일 문화에 맞는 인재를 채용하기 위한 뚜렷한 기준이 있음

매스프레소 - 콴다(Qanda)

콴다는 매스프레소에서 만든 수학 문제 풀이 관련 앱으로, 모르는 문제를 사진으로 캡처하면 풀이 방법부터 개념, 유사 문제까지 확인할 수 있다. 대학교 3학년에 중학교 2학년 방과 후 수학강사로 활동했었는데, 그때 중학생 친구들이 요긴하게 쓰는 것을 보기도 했다. 콴다는 서비스 가치를 인정받아, 소프트 뱅크 등 여러 투자자로부터 투자를 받았고, 현재 베트남, 미국 등에서 성과를 얻으며 성장하고 있다.

Mission/Vision

단순하면서 명확한 미션과 비전을 제시하여, 조직원이 이해하기 쉽게 정의했다.

One Sentence - Do It now

주저하지 않고 곧바로 실행하는 태도는 애자일과 잘 맞아떨어진다. 애자일은 예상되는 성과/결과에 따라 업무를 결정하지 않고, 지금 조직 수준에서 가능하고, 필요하다면 곧장 하는 문화이기 때문이다. 

Promise for Do It Now

이 부분에서 구체적으로 메스프레소가 애자일을 도입했음을 알 수 있다. 하나씩 살펴보자.

• 투명한 정보 공유: 조직에 해가 되는 정보가 아니라면, 모두에게 정보를 공유
• 상호 존중: 서로가 존중하는 태도를 갖고, 생산성을 높이기 위해 노력
• 누구나 Driver 가능: 비즈니스 목표 달성에 부합하다면 누구든 실행 권한을 가질 수 있음
• 팀원의 퀄리티: 작은 단위로 빠르게 실행하기 위해 뛰어난 팀원이 필요, 그에 맞는 채용 절차를 가짐

각자가 제 역할을 다하되, 비즈니스 목표를 위한 것이라면 영역을 침범할 수도 있고, 실행 권한을 가질 수도 있다. 그런 조직을 만들기 위해 채용 기준을 만들어, 인력을 뽑고 있다. 

그리고 Mission부터 Promise 단계까지 Top-Down이 아니라 Bottom-Up으로, 소수의 리더십이 아닌 모두가 함께 이끄는 조직문화임을 예상할 수 있다. 이것은 애자일 문화가 지향하는 바이기도 하다.

fin

콴다 서비스를 운영하는 매스프레소를 통해, 애자일이 잘 구현된 회사 사례를 알아보았다. 회사는 기계처럼 물리 엔진으로 돌아가지 않고, 사람에 의해 운영된다. 애자일을 '고객을 더 잘 이해하기 위함'을 넘어, '우리 함께 잘해보자'는 마인드에서 도입한다면 더 바람직하지 않을까 싶다.

[출처]

- 애자일 조직의 리더, "다 안다" 아닌 "같이 찾자"의 자세로

- 메스프레소 기업 소개

소프트웨어 개발 프로세스에서 애자일과 워터폴은 자주 비교된다. 소프트웨어는 업데이트나 변경이 용이하기에 워터폴보다 애자일을 더 우위에 두는 사람들도 많다. 그러나 조직문화나 목표에 따라 선택하는 영역으로, 어느 것이 나은지는 조직에 따라 다르다. 이번에 애자일과 워터폴은 어떤 차이가 있는지 살펴보았다. 

WATERFALL

사전적으로 폭포라는 의미를 갖고 있으며, 보통 문서를 통해 순차적으로 개발하는 방법이다. 이 방법은 고객/비즈니스 요구사항을 기반으로 실제 제품이 완성될 때까지 수정이 없다. 장점으로 명확하게 스케줄링이 가능하며, 고객의 요구사항과 솔루션을 제대로 파악하고 있다면 효율적이다. 단점으로 요구사항이 변경되어도 중간에 수정이 어렵고, 릴리즈 후 시장에서 실패하면 리스크가 크다.  

AGILE

사전적으로 기민한, 재빠른 등의 의미를 가지고 있다. 초기 소프트웨어 개발할 때보다, 고객의 요구사항이나 소비 행태가 복잡해지면서 등장했다.(2001년 애자일 선언문이 그 시작) 기획부터 완성까지 '스프린트'라는 소규모 단위로 진행된다. 이 과정에서 완전한 형태를 가진 서비스가 아닌, '특정 고객에게 서비스 가치를 인정받는 것을 목표'로 MVP(Minimal Valuable Product)를 만든다. MVP는 꼭 애플리케이션이나 웹사이트의 형태를 가질 필요 없고, 기획안이나 프로토타입으로 제작되기도 한다.

장점으로 고객의 요구사항/문제에 민첩하게 대응할 수 있으며, 실패하더라도 낮은 비용이 들기 때문에 리스크가 낮다. 단점으로 '성과주의'인 조직에서 이 방식을 따를 경우, 실패하지 않을 서비스나 기능 개선에만 집중하여 뛰어난 서비스로 완성되기 어렵다.

"그럼 애자일이 워터폴보다 좋은 건가?"

조직 상황에 따라 다르다. 방법론보다 현재 우리 조직이 '고객의 요구사항/문제를 제대로 파악하고 있는지, 그리고 그에 맞는 솔루션을 제공하고 있는지'가 중요하다. 이미 잘하고 있다면 새로 도입할 필요가 없다. 다만, '시행착오'에 대한 두려움을 걷어내는 것은 필요하다. 성장을 위해 이것저것 시도해보며, 실패를 겪었을 때 성과로 평가하기보다 그 시도를 통해 무엇을 배웠는지에 집중해야 한다. 자전거를 타기 위해 수차례 넘어져보며 몸에 감각을 익히는 것처럼 말이다.

[출처]

- 애자일-디자인씽킹-린 스타트업, 이거 정말 좋은건가요?

- 애자일과 린, 그리고 워터폴

- 애자일이 무엇인가요?

A/B테스트란?

A/B테스트는 두 집단 간의 대조 실험으로 통계적 가설 검정을 통해 변수 사이의 인과관계를 확인하는 방법론이다. 예로 들면, 웹사이트 방문객을 임의로 2개의 집단으로 나누어, 각기 다른 디자인의 랜딩페이지를 보여준 다음, 두 집단 중에서 어떤 집단이 높은 성과를 보이는지 측정하여 어느 랜딩페이지가 효과적인지 정량적으로 확인한다. 성과에는 비즈니스/제품 목표에 따라 다르지만, 일반적으로 구매 전환율(Conversion), 재방문율(Retention) 등을 성과지표로 본다. 

"그렇다면 A/B테스트는 왜 하는 것일까?"

간단하게 말하면, 여러 선택지 중에서 최선의 선택지를 찾기 위함이다. 고객 데이터를 통한 정량적인 분석과 설문조사, 인터뷰 등을 통해 정성적인 분석으로 솔루션을 찾았다 하더라도, 실제로 그 솔루션이 고객과 기업 모두에게 효과적이지 않을 수 있다. 이러한 위험부담을 줄이기 위해 전체 고객에게 배포하기 전, 일부 고객을 대상으로 A/B테스트를 진행하는 것이다. 실험 결과에 따라 개선하는데 비용이 적고, 편리하다.하지만, A/B테스트는 디자인, 문구 등 비교가 뚜렷한 분야에서 진행되어 간단할 것 같지만, 실험 설계에 고려해야될 요소가 많다.

설계

A/B테스트를 설계할때, 고려해야될 요소들은 다음과 같다.

• 가설: 실험을 통해 확인하고 싶은 부분으로 독립변수와 종속변수의 관계, 종속변수의 목표 수준이 포함됨.
• 실험집단: 실험의 대상
• 통제집단: 가설 검증을 위해 실험집단과 비교 하는 집단, 보통 기존 서비스를 그대로 노출받음.
• 독립변수: 종속 변수에 영향을 주는 변수로, 실험 하는 기획안이 여기 포함됨.
• 종속변수: 실험의 성과를 측정할 때 사용하는 변수로, 어떻게 측정할 것인지에 대한 정의가 필요.
• 통제변수: 실험 결과에 영향을 줄 수 있는 변수로, 실험집단/통제집단 모두 동등하게 적용해야함.
• 목표: 현재 종속변수의 수준과 목표 수준을 정의 - 실험결과에 대해 올바르게 판단하기 위함
• 표본 크기(샘플링): 실험 표본의 크기는 실험 전에 미리 정함 - 실험 진행 중에 표본 크기를 변화하면 결과에 영향을 줄 수 있음
• 실험 기간: 표본 크기를 고려했을때, 가설 검증을 위한 데이터를 수집하는데 필요한 기간

고려사항

1. 실험 순서

A/B테스트는 A, B 순서대로 진행하면 안된다. 표본을 추출하는데 오류가 발생할 수 있으며, 외부 효과로 인해 실험 결과가 오염될 수 있기 때문이다.(ex. 코로나19 신규 확진자 증가 등의 사회 이슈) 그리고 동시에 실험을 진행하더라도, 표본 추출에 대해 많이 고려해야한다. 

2. 표본

표본의 수가 너무 적거나, 표본이 모집단을 대표하지 않으면 실험 결과에 대해 신뢰할 수 없다. 가설 검증을 위한 표본의 크기는 어느 정도 되는지 미리 파악해야 한다. 그리고 표본의 대표성을 위해 단순 무작위 추출이 아니라, 인구통계학적 기준이나 비즈니스 특성에 따라 구분하고 비례적으로 무작위 추출을 하는게 좋다. 

[참고] 샘플 사이즈 계산기

3. 실험 유형

종속변수가 범주, 이산형에 따라 분석방법 또한 다르다. 변수에 따라 회귀분석, T검증 등이 있다. 

4. 기간

실험 기간 동안 매출이나 고객 확보에 손해를 볼 수도 있다. 이런 경우를 대비하여 MAB(Multi-Armed Bandit)이라는 방법을 사용할 수 있다. MAB는 Best와 Test 2개 안으로 나누어서 Best에 표본 비율을 높여 실험 기간동안 발생할 수 있는 손해를 줄인다. 

분석

"만약 랜딩페이지 테스트 결과, A가 B보다 구매 전환율이 0.05% 높았다면, 우리는 A를 채택해야 할까?"

단순히 구매 전환율의 차이를 기준으로, 결과를 판단하기는 이르다. 먼저, 위의 실험이 '통계적으로 유의미한지' 확인해야한다. 여기서 통계적 유의성을 확인하는 대표적인 방법은 P Value(Provability Value, 유의 확률)을 기준으로 가설을 검증하는 것이다. 여기서 귀무가설과 대립가설이 필요하다. 귀무가설과 대립가설의 관계는 다음과 같이 표현할 수 있다.

정리하면, 미리 가정한 귀무가설을 기각하고 대립가설을 채택함으로서 '통계적 유의성'을 확인 할 수 있다. 위의 랜딩페이지 사례를 예로 들면, 다음와 같다.

- 귀무가설: A와 B 랜딩페이지는 차이가 없다.(무의미하다, 상관관계가 없다)

- 대립가설: A와 B 랜딩페이지는 차이가 있다.(유의미하다, 상관관계가 있다)

이때 "P Value < 0.05"라는 기준이 등장하는데, P값이 0.05보다 낮다면 귀무가설은 해당 표본에서 관찰될 확률이 극히 적다는 것이다. 이로서 귀무가설은 기각되고, 대립가설이 채택된다.

[참고] 0.05라는 수치는 신뢰구간에서 등장한 개념이며 신뢰구간 95%를 의미한다.
95% 신뢰구간: 반복적으로 표본 표출을 100회했을 때 모평균을 포함한 신뢰구간이 95개 나올수 있다. 즉, 95%만큼 표본을 신뢰할 수 있다.

이제 실험 결과를 믿어야 할까? 아직, 한 단계가 남아있다. 바로 "효과크기"이다. 위의 실험결과에서 0.05% 구매전환율이 높다는 것은 우리 서비스에게 어떤 의미일까? 활성사용자의 수나 ARPU(Average Revenue Per User, 유저 당 평균매출) 등에 따라 구매전환율에 대한 평가는 달라진다. 

- A의 구매전환율: 0.1% 상승

- B의 구매전환율: 0.05% 상승

A의 구매전환율을 기준으로 계산

- DAU 1,000명 / ARPU 10,000원: 1,000,000원/일 추가 매출 발생

- DAU 2,000명 / ARPU 4,000원: 800,000원/일 추가 매출 발생

정리하면, 비즈니스 상황에 따라 같은 구매전환율이라도 얻는 이익이 다를 수 있다. 즉, 실험결과에서 뚜렷한 차이를 보이며 유의 하더라도, 실제 비즈니스에서 유의하지 않을 수 있다. 

뿐만 아니라, A/B테스트를 통해 의미있는 결과를 얻더라도, 이것은 과거의 결과이다. 따라서, 미래에도 이 결과가 유효하다고 보장할 수 없기에 지속적으로 실험하고 검증하는 작업이 필요하다. 

fin

A/B테스트는 고객에게 우리의 솔루션을 직접 실험할 수 있는 유용한 방법이다. 하지만 유의미한 실험결과를 얻기 위해 철저한 실험 설계가 기반이 필요하며, 무엇보다 A와 B 조건 모두 고객의 문제를 해결할 수 있는 최선의 솔루션이여야 한다. 그렇지 않다면 그 결과는 서비스 운영에 실질적으로 도움이 되지 않을 것이다. 

[출처]

- A/B 테스트에서 p-value에 휘둘리지 않기

- p-value의 의미

- 빈도론 기반의 A/B 테스트-A/B Test, Split Test, Frequentism

- A/B 테스팅이란

- 인프런 강의

PM은 팀에서 고객의 입장을 대변하며, 고객의 요구사항/문제 해결에 집중한다. 고객은 데이터로 흔적을 남기는데, PM은 그 데이터를 통해 고객을 파악한다. 그리고 이 데이터는 팀에서 '고객 지향적인 의사결정'을 위해 쓰인다. 팀원들이 아이디어/기능에 과몰입하거나 고객을 놓치면, PM은 '고객 데이터'를 근거로 올바른 방향을 잡아주어야 한다.

그렇다면 PM은 데이터 분석을 어느 수준까지 할 수 있어야 할까?

조직/팀에 데이터 분석 담당자가 있다면, 그들과 협업하면 된다. 그러나 그 역할을 맡아줄 담당자가 없다면, 개발팀에 분석 요청을 해야 한다. 이 절차는 생각보다 오랜 시간이 걸리며, 내가 원하는 결과물을 얻지 못할 수도 있다.(게다가 자주 요청하면 관계가 안 좋아질 수도 있다.) 그래서 PM이 DB에서 SQL Query로 뽑아서 스프레드 시트로 가공하고, 그래프/차트 시각화까지 다 할 줄 알면 좋다. 다만 분석을 위한 분석으로 많은 시간을 잡아먹는 것은 지양해야 한다. PM이 여러 가지 분석 툴이나 지식을 아는 것도 중요하지만, 지금 필요한 수준으로 분석을 할줄 아는 것이 가장 중요하지 않을까싶다. 그러려면 좋은 질문을 던질줄 알아야 한다.

좋은 질문은 도메인 지식에 대한 이해를 바탕으로 문제를 여러 각도로 살펴보는 과정에서 만들어진다. 그리고 질문을 거듭하며 고객의 요구사항/문제를 명확하게 파악할 수 있다. 예를 들자면, "할인 쿠폰의 낮은 이용률"에 대해 할인 품목의 매력도나 쿠폰 이용 절차 등 여러 관점에서 질문할 수 있다. 이렇게 질문을 통해 낮은 이용률에 영향을 줄 수 있는 요소들을 뽑아내는 것이다. 또한 분석 목적에 따라 고객 등급, 구매 금액 등 조건을 달수도 있다.

fin

PM은 고객 지향적인 태도로 고객을 잘 알기 위해 데이터를 분석한다. 그래서 분석 자체에 휩쓸리지 않고, 시장/산업에 대한 이해를 바탕으로 좋은 질문을 계속 던질 수 있어야 한다. 숫자는 고객의 감정, 생각을 말해주지 않는다.

[출처]

- Product owner(manager)와 데이터 분석

- 데이터 분석에 있어서 도메인 지식에 관하여

아프리카 TV는 온라인 방송 플랫폼으로, 무료로 웹과 앱에서 방송을 진행할 수 있으며 시청도 가능하다. 비즈니스 모델을 살펴보면, 아프리카 TV는 크게 BJ/시청자/광고주 3개의 이해관계자로 구성되어 있다.

- BJ: 아프리카 TV에서 방송으로 콘텐츠를 제공한다. 인기 있는 BJ의 경우, 시청자에게 금전적인 후원을 받을 수 있다.

- 시청자: BJ의 방송을 보는 사람들이다. 자신이 좋아하는 BJ에게 금전적인 후원을 할 수 있다.

- 광고주: 기업의 제품/서비스를 알리기 위해 광고를 집행한다. 아프리카 TV 플랫폼과 BJ 개인방송에서 광고를 의뢰할 수 있다.

아프리카 TV의 수익은 자체 광고 상품과 BJ의 후원금(별풍선)에서 발생한다. 이러한 수익 구조에서 BJ는 가장 중요한 이해관계자이다. BJ가 아프리카 TV에서 방송을 하지 않는다면, 시청자와 광고주 둘 다 수급할 수 없기 때문이다. 따라서, 아프리카 TV는 다양한 분야의 BJ가 유입하는데 집중하고, 신입 BJ가 계속 방송을 할 수 있도록 돕는다. 더 나아가 BJ들이 스타성을 가질 수 있도록 시상식 등을 진행한다. 일반인에서 스타가 된 BJ를 통해 신입 BJ의 유입을 증가시킬 수 있기 때문이다. 

아프리카 TV의 핵심지표, BJ의 방송시간과 횟수

아프리카TV의 비즈니스 모델을 근거로, 핵심지표는 BJ의 방송시간과 횟수이다. BJ의 방송시간이 길어질수록, 광고의 노출시간 역시 길어지며 후원금을 더 많이 받을 수 있다. 그리고 방송 횟수가 많아지면, 광고의 노출 빈도도 높아지며 후원금을 받을 확률이 올라간다. 따라서 아프리카TV는 비즈니스의 유지를 위해 BJ들이 지속적으로 방송할 수 있도록 돕는다.