최근에 리서치 프로젝트를 수행하다가 생각지도 못했던 문제가 발생했다. 데이터 수집이 시작한 후 발생한 문제였고 문제의 발견 및 수정에 하루 정도가 소요가 되어 결국 데이터 수집 기간(실사 기간)을 하루 까먹고 말았다.
또한 일부분의 수집된 데이터는 폐기해야 했으며, 원래 계획된 실사 기간도 더 늘려 잡야야 했다.
문제에 대한 수정을 완료하고 문제가 발생한 원인을 다시 분석하니 일반적인 리서치 진행과정에서 발생하기 힘든 문제였고, 최종 점검 단계에서 발견하기 힘든 사항이었다. 하지만 그렇다고 사전에 그 문제를 발견하는 것이 불가능한 것은 아니었다. 조금 더 디테일한 검증 절차를 가졌다면 발견할 수 있는 문제였다.
새삼 디테일함에 대한 집착의 중요성을 다시 한번 느끼게 되었다. 개인적으로 디테일에 대한 집착(조사설계, 진행과정, 분석, 보고서 작성등에 대해서 발생 가능한 다양한 경우들을 고려하고 그에 대한 대응 방안을 아주 세밀하게 설계하려는 노력)은 좋은 리서치 결과물을 낳는다고 생각한다. 그렇기 때문에 대부분의 리서처는 디테일에 강하다. 오죽하면 리서치 밥을 5년 이상 먹은 남자 리서처는 좀뺑이도 그런 좀뺑이가 없다고 하겠는가?
하지만 리서치의 특성을 조금만 생각하면 왜 그렇게 디테일에 집착해야 하는지 이해가 될 것이다. 리서치는 눈에 보이지 않는 개념이나 현황을 눈에 보이는 수준으로 측정(정량적, 정성적으로)한다고 할 수 있다. 즉 리서치의 관건은 개념이나 현황을 실제와 얼나마 동일하게 측정해내는지에 달려 있다고 할 수 있다. 이를 통계적으로는 신뢰성이라고 한다. 이 신뢰성의 반대편에서 신뢰성을 저해하는 모든 것을은 통상적으로 bias라고도 하고 오차라고도 한다. 즉 측정하는 과정에서 다양한 문제들이 발생해 실제의 측정하려고 하는 개념, 현황과 차이가 있는(다른) 결과를 만들어낼 수 있은 가능성이 무척 많다는 것이다. 그 이유는 리서치는 실험실에서 결과에 영향을 미치는 외생변수를 철저하게 차단된 형태로 이루어지지 못하기 때문이다. 그렇다면 최대한 결과에 영향을 미치는 외생변수, bias, 오차가 발생할 가능성이 있는 모든 것들을 차단해 측정이 이루어져야 한다.
개념적으로는 그렇지만 실제 이를 특정의 조사대상자에게 설계된 설문지로 접근하는 것과 같이 실제 리서치 프로젝트를 운영하는 입장에서는 결코 쉬운 일은 아니다. 정말 생각지도 못한 일들이 발생할 가능성이 너무 많기 때문이다.
얼마 전에 리서처로 일하고 있는 지인에게 들었던 일화가 이런 상황을 잘 보여준다고 할 수 있다. 국내 모 기업은 자사가 진입한 시장에서 자사의 브랜드의 인지도가 어느 정도 되는지 파악하기 위한 조사를 수행했다. 그런데 조사 결과 도저히 납득하기 어려운 결과를 얻었다.
그 결과는 자사의 A 브랜드의 최초 상기도(Top of Mind, 소비자에게 핸드폰 하면 어느 브랜드가 가장 먼저 떠오르세요?라고 물어보는 것과 같이 특정 업종의 소비자가 어느 브랜드를 가장 먼저 상기하는지 파악하는 지표로서 대체로 시장 점유율과 비슷한 패턴을 보인다)이 너무 높게 도출된 것이다. 수치가 어느 정도라면 그 동안 자사의 노력이 성공했구나 정도로 파악할 수 있겠지만 그 수준을 뛰어 넘는 너무 높은 수치가 도출된 것이다. 이에 대해서 리서치를 의뢰한 기업과 리서치펌이 다각도로 분석했지만 원인을 찾을 수가 없었다. 그러던 중 우연한 기회에 그 원인을 찾게 되었다.
A 브랜드의 최초 상기도가 높게 도출된 이유는 리서치펌의 이름과 A브랜드가 같기 때문이었다. 즉 실제 설문조사를 수행하는 면접원이 다음과 같이 설문 대상자에게 접근하기 때문에 발생한 문제였다.
바로 이 처럼 리서치 결과는 전혀 예상할 수 없는 상황으로 인해서 잘못된 결과를 얻을 가능성이 정말 무궁무진하다. 그렇기 때문에 정확한 결과를 얻기 위해서는 리서치 프로젝트 모든 것에 대해서 디테일에 집착할 수 밖에 없다. 설문 문구 하나 하나, 조사방법 중에 발생할 가능성이 있는 모든 상황 등을 따지고 또 따져봐야 하는 것이다.
만약 이 글을 읽고 있는 당신이 리서처 또는 리서치를 담당하는 이라면 디테일에 대한 집착은 하고 또 해도 전혀 지나치지 않다고 생각한다.
또한 일부분의 수집된 데이터는 폐기해야 했으며, 원래 계획된 실사 기간도 더 늘려 잡야야 했다.
새삼 디테일함에 대한 집착의 중요성을 다시 한번 느끼게 되었다. 개인적으로 디테일에 대한 집착(조사설계, 진행과정, 분석, 보고서 작성등에 대해서 발생 가능한 다양한 경우들을 고려하고 그에 대한 대응 방안을 아주 세밀하게 설계하려는 노력)은 좋은 리서치 결과물을 낳는다고 생각한다. 그렇기 때문에 대부분의 리서처는 디테일에 강하다. 오죽하면 리서치 밥을 5년 이상 먹은 남자 리서처는 좀뺑이도 그런 좀뺑이가 없다고 하겠는가?
하지만 리서치의 특성을 조금만 생각하면 왜 그렇게 디테일에 집착해야 하는지 이해가 될 것이다. 리서치는 눈에 보이지 않는 개념이나 현황을 눈에 보이는 수준으로 측정(정량적, 정성적으로)한다고 할 수 있다. 즉 리서치의 관건은 개념이나 현황을 실제와 얼나마 동일하게 측정해내는지에 달려 있다고 할 수 있다. 이를 통계적으로는 신뢰성이라고 한다. 이 신뢰성의 반대편에서 신뢰성을 저해하는 모든 것을은 통상적으로 bias라고도 하고 오차라고도 한다. 즉 측정하는 과정에서 다양한 문제들이 발생해 실제의 측정하려고 하는 개념, 현황과 차이가 있는(다른) 결과를 만들어낼 수 있은 가능성이 무척 많다는 것이다. 그 이유는 리서치는 실험실에서 결과에 영향을 미치는 외생변수를 철저하게 차단된 형태로 이루어지지 못하기 때문이다. 그렇다면 최대한 결과에 영향을 미치는 외생변수, bias, 오차가 발생할 가능성이 있는 모든 것들을 차단해 측정이 이루어져야 한다.
개념적으로는 그렇지만 실제 이를 특정의 조사대상자에게 설계된 설문지로 접근하는 것과 같이 실제 리서치 프로젝트를 운영하는 입장에서는 결코 쉬운 일은 아니다. 정말 생각지도 못한 일들이 발생할 가능성이 너무 많기 때문이다.
그 결과는 자사의 A 브랜드의 최초 상기도(Top of Mind, 소비자에게 핸드폰 하면 어느 브랜드가 가장 먼저 떠오르세요?라고 물어보는 것과 같이 특정 업종의 소비자가 어느 브랜드를 가장 먼저 상기하는지 파악하는 지표로서 대체로 시장 점유율과 비슷한 패턴을 보인다)이 너무 높게 도출된 것이다. 수치가 어느 정도라면 그 동안 자사의 노력이 성공했구나 정도로 파악할 수 있겠지만 그 수준을 뛰어 넘는 너무 높은 수치가 도출된 것이다. 이에 대해서 리서치를 의뢰한 기업과 리서치펌이 다각도로 분석했지만 원인을 찾을 수가 없었다. 그러던 중 우연한 기회에 그 원인을 찾게 되었다.
A 브랜드의 최초 상기도가 높게 도출된 이유는 리서치펌의 이름과 A브랜드가 같기 때문이었다. 즉 실제 설문조사를 수행하는 면접원이 다음과 같이 설문 대상자에게 접근하기 때문에 발생한 문제였다.
안녕하세요 저는 A조사의 면접원 입니다. 이번에 저희 A조사에서는 ㅇㅇ업종에 대한 조사를 진행하고 있습니다. (중략) 그럼 먼저 OO하면 떠오르는 브랜드는 무엇입니까?당연히 해당 업종의 A브랜드가 있는 상태에서 A라는 말을 듣고 응답을 시작하기 때문에 A브랜드를 먼저 떠올릴 수 밖에 없게 된 것이다. 이런 상황이 발생할 것을 담당하는 리서처도 그리고 리서치를 의뢰한 기업도 예측하기는 쉽지 않았을 것이다.
바로 이 처럼 리서치 결과는 전혀 예상할 수 없는 상황으로 인해서 잘못된 결과를 얻을 가능성이 정말 무궁무진하다. 그렇기 때문에 정확한 결과를 얻기 위해서는 리서치 프로젝트 모든 것에 대해서 디테일에 집착할 수 밖에 없다. 설문 문구 하나 하나, 조사방법 중에 발생할 가능성이 있는 모든 상황 등을 따지고 또 따져봐야 하는 것이다.
만약 이 글을 읽고 있는 당신이 리서처 또는 리서치를 담당하는 이라면 디테일에 대한 집착은 하고 또 해도 전혀 지나치지 않다고 생각한다.