눔 비즈니스 인사이트

https://dbr.donga.com/article/view/1203/article_no/9212

[DBR] “포기하지 말라”는 인간 코치의 위로, AI 기술과 정서적 교감 만나 감동이 되다

이처럼 눔의 직원들은 서비스 개선 아이디어가 떠오를 때마다 수시로 ‘이런 기능이 추가됐으면 좋겠다’고 협업 툴인 슬랙(slack)에 올린다. 사용자를 가장 가까이서 접하는 코치는 물론 경영진이나 엔지니어라도 예외는 없다. 그리고 이렇게 모인 가설들의 점수를 매긴 뒤 점수가 높은 순서대로 테스트를 수행한다. 이 가설들은 ‘ICE’, 즉 ‘Impact(얼마나 영향이 큰지)’ ‘Confidence(얼마나 성공 확률이 높은지)’ ‘Ease(얼마나 구현이 쉬운지)’의 세 가지 지표에 따라 점수가 매겨진다. 가령, 성공할 경우 매출이 최대 10% 오를 수 있는 가설과 최대 2% 오를 수 있는 가설이 있다면 전자의 임팩트(Impact) 점수가 더 높다. 또 비슷한 레퍼런스가 많다거나, 과거 비슷한 실험을 해봤는데 성공했다거나, 다른 회사에서 했는데 잘된 적이 있다면 ‘Confidence’ 점수가 높아진다. 마지막으로, 기술력이나 경제성을 고려해 구현이 쉬운 경우 ‘Ease’에서 높은 점수를 받게 된다.

이렇게 가설이 정해지면 임의로 그룹을 나눠 A/B 테스트를 진행한다. 실험군이 9000명, 대조군이 9000명으로 총 1만8000명의 데이터가 분석 대상이 된다. 이렇게 총 1만8000명을 동원하는 실험이 전사적으로 매주 250건씩 돌아간다. 매주 새로운 가설을 기반으로 실험을 만들고(build), 측정하고(measure), 배우는(learn) 과정의 무한 반복이다. 정 대표는 “이렇게 수도 없이 많이 아이디어를 테스트해도 92% 이상의 경우 결과가 기존 서비스보다 별로다. 나머지 8%도 정말 기차게 좋은 경우는 거의 없다. 기껏해야 3%만 효과가 있을까 말까다.” 그러나 92% 이상을 실패하더라도 실패는 아니라는 설명이다. 이 경험이 다음번 가설들에 대한 ICE 점수를 매길 때 ‘Confidence’와 ‘Ease’의 정확도를 높여주기 때문이다. 실패를 기록하고, 그 원인을 분석하는 작업이 결국은 다 회사의 자산이 된다.