'조사오류'에 해당되는 글 1건

  1. 2006.08.15 잘못된 조사의 치명적 7가지 원인

마케팅 조사에 대한 정말 괜찮은 글이다.
마케팅리서처로 일하는 나도 이러한 오류를 범할 때가 있다. 가까이 두고 또 볼 일이다.

지난 주에는 북한 산에 다녀왔습니다.

북한산은 일년에 예닐곱 번은 꾸준히 올라가는 산입니다.

서울에 이런 산 있다는 사실에 언제나 흐뭇해 하는 명산입니다.

총 57개의 있는 것으로 등산 잡지에 나와 있습니다. 정말 다양하죠?

이번에 오른 코스는 북한산에서 어렵기로 세 손가락 안에 꼽히는 코스였는데 어려운 대신 그만큼 경치도 좋은 코스입니다.

함께 간 동지들 모두 안전하게 다녀왔고 좋은 경치 잘 즐기고 왔습니다.

산에서 배우는 자연의 원리에서 저는 마케팅 인사이트를 찾고 옵니다.

하산 길에 재미있는 설문 조사 장면을 봤습니다.

장애인과 관련된 공개 조사였는데,

그걸 보고 이번 주 목어는 이것을 써야겠다고 생각을 했답니다. 

브랜킹의 요즈음 수업은 마케팅의 가장 기초가 되는 마케팅 조사 부분을 한 달에 걸쳐 진행하고 있습니다.

모든 마케팅 활동의 근간이 되는, 워낙 중요한 부분이기 때문에 필수적으로 잘 숙련시켜 놓아

야만 하는 부분입니다. (마케팅 조사는, 활용은 하되 얽매여선 안됩니다.)

이제까지 수없이 많은 조사를 기획,진행해봤고 외부 기관에 의뢰해 보기도 했지만
조사를 할 때마다 원 설문지를 살펴보면 한 두 개 이상의 오류를 발견하고 합니다.


소위 전문가 집단에서도 이런 오류가 발견되고, 실무 마케터도 간과하곤 합니다.

조사 설계가 잘못되면 결과 또한 유용하지가 못합니다.

더 안좋은 상황은 잘못된 의사 결정을 내리게 해서 큰 손해를 발생시키는 경우입니다.

예전에 ‘마리안느’라는 여성잡지가 있었습니다.

괜찮은 잡지로 기억하는데 90년대 초반에 부도가 나서 망한 것으로 기억하고 있습니다.

무섹스(無sex), 무스캔들, 무루머를 통한 건전한 여성 교양지를 추구한 잡지였습니다.

사전에소비자들에게 마케팅 조사를 통해 니즈를 반영했다고 합니다.

조사에서 기존의 말초적인 자극 일색의 잡지에 식상해 있던 소비자들은 위의 컨셉을 표방한

유익한 생활정보 교양지가 나오면 구매하겠다고 응답한 비율이 95%였다고 합니다.

하지만 현실에서의 결과는 참패였지요. 왜?

백설햄에서 그린그린비엔나라는 햄이 있었습니다.

역시 마케팅 조사 결과, 주 구매자인 주부들은 햄에 야채를 듬뿍 넣은 햄이 나온다면

자녀들의 건강에도 좋을 것이라는 이유로 구매의향율이 4/5점이 넘었습니다만

이 또한 결과는 참패였습니다. 왜?

둘 다 조사의 오류에서 비롯한 실패의 경우입니다.

오늘은 현실 속에서 대표적으로 조사의 오류를 발생시키는 치명적인 일곱 가지 요인

말씀 드리고자 합니다.

1.       시각의 오류 :  가장 빈번하게 실수하는 경우입니다.
생산자 mind와 소비자 mind와의 괴리에서 나오는 것인데요,
설계자 스스로는 잘 알고 있지만 소비자는 무엇을 묻는 것인지 헷갈리는 경우입니다(가끔 저는 이런 경우를 ‘설계자 자아도취 오류’라고도 부릅니다)
 

가)
’용어’의 공감이 안 되는 경우

사례1) ‘귀하는 향수 샴푸를 써 본 경험이 있습니까?’
이 경우 설계자는 ‘향이 좋은 샴푸=향수 샴푸 라고 생각하고 질문하지만 응답자는 어떤 것을, 어느 정도의 향이 나는 샴푸를 지칭하는 말인지 혼동에 빠지게 됩니다.

사례2) ‘귀하께서 먹어 본 가공 식품 중에서 어떤 식품이 가장 맛이 있었습니까?’
이 질문 역시 당초의 설계자 의도는 ‘레토르트 가공식품’을 생각하고 설계한 것이지만  응답자는 깊은 고민에 빠지게 되는 질문이지요.

나)
고객의 눈높이를 못 맞추는 경우:

사례1) ‘귀하는 향후 SUV 차량을 구입할 의향이 있습니까?’
      ‘ㅇㅇ통신 사의 페이백(PAY BACK) 제도가 얼마나 유용하다고 생각합니까?’
이 질문의 경우 설계자는 ‘SUV’나 ‘페이백’을 당연히 모든 사람이 알 것이라고 가정하고 있지만 답변하는 소비자 중에는 모르는 경우 있습니다. 이럴 경우 잘못된 응답이 나오게 되는 것이죠. 응답자에게는 정확한 의미 전달이 필요합니다.

사례2) ‘전주에는 비빔밥 집이 몇 군데나 있을까요? 
      1)500점 2)700점 3)1000점 4)2000점
 

이 경우 응답자는 숫자에 대해 전혀 감을 못 잡는 관계로 응답 결과 역시 유용성이 거의 없어지게 됩니다.

다)구체화가 안된 경우

사례)’귀하께서는 한국인(중국인/태국인/스웨덴/…)의 잠재적 능력이 어느 정도라고 보십니까?
  1)매우 별로 2)별로 3)보통 4) 큰 편 4)매우 큰 편
 

이 경우 ‘어떤 잠재 능력’을 말하는 것인지, 어떤 한국인을 말하는 것인지가 안 나와 있기 때문에 응답자는 자기 마음 대로 평가하게 되는데 이럴 때는 중간화 또는 관대화 경향이 발생되어서 3)~4)의 비중이 압도적으로 크게 됩니다.(이 사례는 교육 단체의 사례로 10~20대 한국 남성의 지적 능력에 대한 평가가 목적이었습니다) 간혹 설문에 따라 가혹화 경향이 나타난 경우도 있지요.


2.       용어의 오류

하나의 단어가 여러 가지 의미로 해석될 수 있는 가능성이 있는 용어를 사용하는 경우와 잘못된 부사를 시용하는 경우 입니다.

사례1) ‘ 귀사에서 발생한 2004년도 이익은 얼마입니까? 라고 했을 때
이익이 순이익 인지, 영업이익 인지, 세전이익 인지에 따라 응답하는 이익 규모 자체가 크게 달라지게 됩니다.
 

사례2) ‘귀하는 사회활동을 하는 직장여성이 바람직하다고 생각하십니까? 아니면 그냥 집에서 가사활동에 전념하는 전업주부가 바람직하다고 생각하십니까”
여기서 사용된 부사 ‘그냥’은 응답율에 큰 변화를 주게 되는 것이지요.
 


3.       욕심의 오류

한 질문에 두 개 이상의 질문이 포함된 경우나 필요 없는 질문이 포함된 경우입니다.

사례) ‘ 향후에 A브랜드를 구매 또는 권장할 의향이 있으신가요?

이 경우, 본인이 구매 하는 것과 타인에게 권장하는 것과는 완전히 다른 항목입니다. 타인에게 권장하는 요인과 본인이 구매하는 요인이 다르기 때문입니다. 본인 구매 시에는 보편성보다는 개인의 특성,습관을 감안하기 때문이지요. 이렇게 두 개의 다른 내용이 들어있는 질문에 대한 응답은 전혀 분석 가치가 없는 것입니다.


4.       문맥 오류

앞 뒤의 문맥에서 원래의 의도와는 다른 응답이 유발될 수 있는 경우, 주로 유도형 질문이 되는 경우가 많습니다.

사례) ‘2005년 6월 식약청에서는 임신 중 음주,커피,녹차,흡연의 폐혜에 대한 대규모 공청회를 갖는다고 합니다. 귀하는 여성의 흡연에 대해 어떻게 생각하시나요?

이 경우 ‘식약청,폐해,공청회’ 라는 말이 포함된 문장이 선행됨에 따라 부정 응답을 유도하는 질문이 됩니다.    


5.       체면의 오류


사회적 관계를 고려해서 실제 내면의 반응 보다는바람직하다는 방향(social desirable)으로 응답하게 되는 경우입니다.

사례) ‘교육 목적으로 어린이 체벌이 필요하다고 생각하십니까?
    ‘귀하는 가정에서 간혹 자녀나 부인을 때리고 계십니까?’
    ‘해외로 입양되는 우리의 아이들이 계속 증가하고 있습니다. 국내 입양이 필요하다고 보십니까?”
    ‘비전염성 문둥병 환자에 대한 격리 해제가 필요하다고 생각하십니까?’

이러한 사례들은 모두 사회에서 바람직하다고 생각하는 쪽으로 응답이 몰리게 되지요
 

 

6.       순서의 오류

조사의 순서가 변함에 따라 응답율이 변화하는 경우입니다.

사례) ‘문1)최근 3개월 이내에 본 샴푸 TV 광고 중에서 생각나는 상표는요?
        문2)샴푸 중에서 기억하는 상표를 모두 불러 주세요.’

이러한 순서면
문1)에서 최근 광고로 생각난 상표가 문2)에 그대로 승계되어서 응답되므로 공정한 상표 최초인지율과 비보조인지율을 알 수 없게 됩니다. 즉, 왜곡된 응답을 얻게 되는 것이지요.


7.       선택의 오류 

이것은 조사 방법의 선택을 잘 못 한 경우에 일어나는 오류입니다.
조사는 해당되는 목적에 따라 가장 적절한 조사방법이 있는데 부적절한 방법을 선택했을 경우 필요없는 정보나 왜곡된 정보를 얻게 되는 것입니다.

대표적으로,
‘체면의 오류’기 예상되는 조사는 심층면접조사(FGI 등)가 필요한데, 설문지 구성에 의한 전화설문이나 CLT 조사 등의 방법을 사용한다면 매우 왜곡된 결과가 나올 수 밖에 없는 것입니다.


위의 일곱 가지 오류는 담당자는 물론 최소한 간부는 정확히 파악해 낼 수 있어야 합니다.
한번 실시하면 수백만 원에서 수천만 원, 혹은 수억 원이 들기도 하는 조사,
필요한 만큼 정확히 실시해야 약이 됩니다.
비용 효과도 문제지만 잘못된 의사결정이 내려지면! 돌이킬 수 없는 실패의 길로 갈 수 있으니까요.

지난 북한산행 하산 길에 봤던 ‘문제의 그 조사’를 보여드리겠습니다. ^^



‘체면의 오류’를 극대화시키는 환경이었지요. 그것도 공개투표로...

하지만 이 경우는 ‘캠페인’의 목적이 있었겠죠? 그래도 좀…심하군요?

기초가 강한 마케팅.

<(주)CJ 마케팅실장 김왕기>

Posted by honeybadger :