굿하트의 법칙과 코브라 효과: 숫자가 목표가 되면 숫자만 좋아진다

고객 문의 처리 시간을 줄이라는 목표를 받은 팀이 있다고 해 보겠습니다. 한 달 뒤 평균 처리 시간은 실제로 줄어듭니다. 그런데 고객 불만은 줄지 않고, 같은 고객이 같은 문제로 다시 문의하는 건수가 늘어납니다. 문의를 해결하지 않고 빨리 닫는 쪽이 목표를 맞추기 쉬웠기 때문입니다. 일부러 속인 사람이 있는 것도 아닙니다. 담당자는 받은 목표를 가장 효율적으로 맞췄을 뿐입니다. 숫자가 목표가 되면 숫자는 좋아지지만 원래 바라던 일은 그대로인 현상을 굿하트의 법칙이라고 부릅니다.

1975년 영국 경제학자가 남긴 관찰

영국 경제학자 찰스 굿하트는 1975년 영국의 통화 관리 경험을 다룬 발표에서 이런 관찰을 남겼습니다. 어떤 숫자가 상황을 잘 보여 준다고 해서 그 숫자를 목표로 정하고 관리하기 시작하면 그 숫자는 더 이상 상황을 잘 보여 주지 못한다는 것입니다. 지금 널리 쓰이는 문장은 1997년 영국 인류학자 메릴린 스트래선이 대학 평가 제도를 다룬 글에서 쓴 표현입니다. "측정치가 목표가 되면 더 이상 좋은 측정치가 아니다." 그가 든 예는 대학 시험 성적이었습니다. 좋은 성적을 받는 것이 당연한 기대가 될수록 그 성적으로는 학생들의 실력 차이를 구분하기 어려워진다는 것입니다.

코브라 효과와 하노이의 쥐꼬리

영국이 인도를 다스리던 시절 델리에 독사인 코브라가 많아지자 당국이 코브라를 잡아 오면 보상금을 주기로 했다는 이야기가 있습니다. 처음에는 코브라가 줄었지만 곧 보상금을 받으려고 코브라를 기르는 사람들이 생겼습니다. 당국이 이를 알고 보상금을 없애자 기르던 사람들은 쓸모가 없어진 코브라를 풀어 줬고, 코브라는 처음보다 더 많아졌습니다. 독일 경제학자 호르스트 지베르트가 2001년에 이 이야기를 소개하면서 코브라 효과라는 이름을 붙였습니다. 델리 이야기는 당시 행정 기록으로 확인되지 않아 지어낸 이야기일 가능성이 있습니다. 같은 구조의 일이 기록으로 남은 사례는 1902년 프랑스가 다스리던 베트남 하노이에서 있었습니다. 쥐가 크게 늘자 당국은 쥐를 잡아 오는 사람에게 보상금을 주기로 하고 잡았다는 증거로 쥐꼬리를 가져오게 했습니다. 얼마 지나지 않아 거리에서 꼬리 없는 쥐가 보이기 시작했습니다. 쥐를 죽이지 않고 꼬리만 잘라 놓아주면 그 쥐가 새끼를 낳아 다음 보상금이 생기기 때문이었습니다. 두 곳 모두 당국이 원한 것은 코브라와 쥐가 줄어드는 것이었지만 실제로 센 것은 잡아 온 코브라와 쥐꼬리의 개수였습니다. 사람들이 그 개수를 늘린 것은 누가 나빠서가 아니라 그쪽이 훨씬 쉬웠기 때문입니다. 숫자에 따라 보상을 주면 사람들은 그 숫자를 올리는 가장 쉬운 방법을 찾아냅니다. 그 방법이 원래 문제를 처음보다 키우기도 합니다.

회사에서 숫자만 좋아지는 세 가지 경우

회사에서도 같은 일이 일어납니다. 누가 규칙을 어기지 않아도 숫자만 좋아지는 경우가 흔합니다. 대개 아래 세 가지 중 하나입니다.

• 분모를 바꾼다: 전환율을 올리라고 하면 전환 가능성이 낮은 유입을 집계에서 뺍니다. 비율은 오르지만 실제 고객 수는 그대로입니다.
• 쉬운 것부터 처리한다: 처리 건수를 목표로 삼으면 어려운 건이 뒤로 밀립니다. 건수는 늘지만 해결하기 어려운 문의는 처리가 더 늦어집니다.
• 시점을 옮긴다: 분기 매출 목표가 있으면 다음 분기 계약을 할인해서 이번 분기로 당깁니다. 이번 분기 목표는 맞추지만 다음 분기 목표를 맞추기가 더 어려워집니다.

세 가지 모두 숫자는 좋아지지만 숫자로 원래 확인하려던 것은 그대로이거나 나빠집니다. 이 차이는 숫자 하나만 보는 사람에게는 보이지 않습니다.

지표를 버리라는 말이 아닙니다

굿하트의 법칙을 측정하지 말자는 이야기로 받아들이면 곤란합니다. 숫자 없이 일하면 무엇이 나아졌는지 알 방법이 없어집니다. 문제는 숫자 하나만 목표로 세울 때 생깁니다. 가장 흔한 대응은 서로 견제하는 지표를 짝으로 보는 것입니다. 처리 시간은 재문의율과 함께 보고, 처리 건수는 미해결 건의 평균 경과 일수와 함께 봅니다. 한쪽만 무리하게 올리면 다른 쪽이 나빠지므로 숫자만 맞추는 방법이 통하지 않습니다. 다른 하나는 목표 숫자를 정할 때 원래 목적을 함께 적어 두는 것입니다. 처리 시간 목표에 「고객이 같은 문제로 두 번 연락하지 않게 한다」는 목적이 적혀 있다고 해 보겠습니다. 그러면 문의를 빨리 닫기만 해서는 목표를 맞춘 것이 아니라는 점이 분명해집니다.

이력서의 숫자도 같은 의심을 받습니다

채용 담당자는 매일 숫자가 들어간 경력기술서를 봅니다. 응답 시간 50% 단축, 전환율 2배, 처리 건수 30% 증가 같은 문장입니다. 담당자도 회사에서 지표를 다뤄 본 사람이라 숫자를 보면 그 숫자를 올리는 동안 다른 지표가 나빠지지 않았는지를 먼저 궁금해합니다. 응답 시간을 절반으로 줄였다는 문장만 있으면 담당자는 해결률이 그대로였는지 알 수 없습니다. 전환율이 두 배가 됐다는 문장만 있으면 가입자가 실제로 늘었는지 유입이 줄어 비율만 올랐는지 알 수 없습니다. 맥락 없이 큰 숫자만 적으면 오히려 면접에서 그 숫자에 대한 확인 질문을 받게 됩니다. 반대로 짝 지표가 함께 있는 문장은 담당자가 믿을 만합니다.

• 숫자만 있는 문장: 고객 문의 평균 처리 시간 50% 단축

• 짝 지표가 함께 있는 문장: 자주 들어오는 문의 유형 12개의 답변 템플릿을 만들어 평균 처리 시간을 40분에서 20분으로 줄였습니다. 같은 기간 재문의율은 18%에서 11%로 낮아졌습니다.

• 숫자만 있는 문장: 회원가입 전환율 2배 달성

• 짝 지표가 함께 있는 문장: 가입 단계를 5단계에서 3단계로 줄여 전환율을 4%에서 8%로 올렸습니다. 같은 기간 가입 뒤 30일 잔존율은 이전과 같은 수준을 유지했습니다.

짝 지표를 적은 문장에는 무엇을 바꿨는지와 그 변화가 다른 지표를 해치지 않았는지가 들어 있습니다. 담당자가 면접에서 물어보려던 내용을 이력서에서 미리 확인할 수 있습니다.

숫자를 남길 때 세 가지를 함께 적습니다

문제는 짝 지표가 이력서를 쓰는 날에는 기억나지 않는다는 점입니다. 처리 시간이 줄었다는 사실은 오래 기억에 남지만 그때 재문의율이 얼마였는지는 몇 달만 지나도 잊어버리기 쉽습니다. 그래서 숫자가 바뀐 그 주에 아래 세 가지를 함께 적어 두는 편이 좋습니다.

1. 바뀐 숫자와 그 전후 값. 비율이라면 분모가 무엇이었는지도 적습니다.
2. 숫자를 바꾸려고 실제로 한 일. 템플릿을 만들었는지, 단계를 줄였는지, 담당을 나눴는지가 여기 들어갑니다.
3. 함께 확인한 짝 지표. 처리 시간이라면 재문의율, 전환율이라면 잔존율이나 환불률처럼 숫자만 쉽게 올리는 방법이 통하지 않게 하는 숫자입니다.

세 번째를 확인할 수 없었다면 그 사실도 적어 둡니다. 그 기록이 있으면 나중에 이력서를 쓸 때 그 숫자를 어느 정도까지 강조해도 되는지 판단할 수 있습니다.

숫자가 올랐을 때 확인할 질문

굿하트의 법칙은 숫자가 나쁘다는 이야기가 아닙니다. 목적은 보지 않고 숫자만 목표로 삼으면 숫자만 좋아질 수 있다는 이야기입니다. 회사에서 목표를 받을 때도, 이력서에 숫자를 적을 때도 확인할 질문은 같습니다. 이 숫자가 올랐을 때 원래 바라던 일도 실제로 일어났다고 말할 수 있는지입니다. 그 질문에 답할 수 있는 숫자만 남겨 두면 이력서의 숫자는 담당자가 따로 확인하지 않아도 되는 근거가 됩니다.