여론조사의 영향력이 커지자 각 언론사와 여론조사 전문기관들은 앞다투어 결과를 발표하고 있다. 하지만 같은 시기에 조사한 결과가 차이를 보이거나, 해석이 다른 경우도 많아 유권자들은 혼란스럽다. 여론조사 결과는 반드시 믿어서도, 무조건 의심해서도 안 된다. 동시다발적으로 쏟아져나오는 여론조사 결과의 흐름을 이해하고 취사 선택할 수 있는 이해력이 필요하다. 그래서 흔히 가질 수 있는 궁금증 몇 가지를 문답 식으로 풀어보았다.
선거에 이용하기 위해서는 전 국민을 다 조사하는 것이 맞다. 그런데 1천명 정도 조사한 결과가 전국민의 여론과 동일하다고 볼 수 있나?
국민 전체를 다 조사하려면 우선 엄청난 인력과 비용, 시간이 든다. 그리고 정치 의식이나 투표 성향과 같은 사항은 단기간의 상황 변화에 따라 민감하고 빠르게 바뀌기 때문에 짧은 시간 내에 끝낼 수 있는 표본 조사가 유리하다. 한 컵 분량의 물로 취수장 전체의 오염을 검사할 수 있는 원리와 마찬가지로 모든 국민을 조사할 필요는 없다.
나는 여론조사 전화를 받아본 적이 한 번도 없다. 응답자는 어떻게 뽑는 것인가?
여론조사의 차이를 보이는 중요한 기준을 적용해 나눈다. 대개 지역별·성별·연령별 인구비례에 따른 할당 표본 추출 방법을 사용한다.
할당표본표를 만들면 해당 시·도별 전화번호부에 등재되어 있는 인명편 가구 전화번호 중에서 조사할 표본 수(할당)의 10배를 무작위로 추출한다. 면접원은 추출된 전화번호로 전화를 걸어 만 19세 이상 성인과 통화해 미리 정해진 질문 순서에 따라 질문하게 된다.
표본 수가 많을수록 더 정확해지는가?
물론 많을수록 정확도가 높아질 수는 있지만 반드시 그렇지는 않다. 예를 들어 95% 신뢰 수준에서 표본 수가 1백명이면 ±9.8%포인트, 1천명이면 ±3.1%포인트다. 표본 수는 10배 증가했지만 표본 오차는 그만큼 줄지 않는다. 특히 2천 표본일 경우 ±2.2%포인트, 3천 표본일 경우 ±1.8%포인트, 4천 표본일 경우 ±1.5%포인트, 5천 표본일 경우 ±1.4%포인트 등 표본 수가 일정 수를 넘어가면 표본 오차가 거의 줄지 않는 것을 알 수 있다.
예를 들어 국민투표에 대한 찬성 여론이 48.5%, 반대 여론이 51.5%라고 하면 어떻게 해석하는 것이 옳은가?
결과만 놓고 보면 반대 여론이 찬성 여론보다 3.0%포인트 높아 보인다. 그러나 전국 1천명 여론조사의 최대 허용 표본오차는 95% 신뢰 수준에서 ±3.1%포인트이므로 실제 반대하는 사람들은 최대 51.6%(48.5%+3.1%)에서 최소 45.4%(48.5%-3.1%)에 이른다고 추정할 수 있다. 반대 여론의 경우에는 48.4%~54.6%의 범위 안에 존재한다. 이렇게 보면 반대 여론이 찬성 여론보다 반드시 많다고 할 수 없다. 쉽게 말해, 찬반의 차이 3.0%포인트는 6.2%포인트 보다 작으므로 이 경우 찬반 여론이 최대 허용 표본 오차 이내에 있어 찬성 여론과 반대 여론이 비슷하다고 해석하는 것이 옳다.
탄핵 때 나이를 물어본 다음에 60세 이상이면 전화를 끊어버려서 ‘여론 조작이 아니냐’는 의혹이 있었다고 들었다.
노년층의 경우 낮 시간대에 집에 있을 가능성이 많아서 표본 수를 빨리 채울 수 있다. 이후에 전화를 받은 사람이 같은 표본이라면 여론조사에 포함시킬 필요가 없다. 이를 할당 추출 방식이라고 하는데, 거기에서 비롯된 오해이다. 낮 시간에 집에 있을 확률이 높은 40·50대 주부 역시 비슷한 현상이 발생한다.
여론조사의 문항, 표본 오차 꼼꼼히 봐야
집 전화로만 조사하면 직장인이나 대학생 등 바깥 활동을 하는 사람은 제외되는 것인가?
일반적으로 여론조사는 낮 2시에 시작해서 밤 10시 께까지 진행된다. 직장인들이 퇴근 후 집에서 전화를 받을 수 있는 기회는 충분하다. 대답한 여성들이 주로 집에 있는 분이라는 점에서 경제 활동 여성은 제외되는 문제가 생길 수 있다. 이에 대비해 일부만 낮에 조사하고 일부는 밤에 조사하는 방법을 사용하기도 한다.
휴대전화는 편하게 연락을 받을 수 있으니까 그것으로 조사하면 되지 않는가?
휴대전화는 번호를 확보하는 일이 어렵다. 집 전화번호는 여러 기준에 따른 분포가 공개되어 있지만 휴대전화는 그렇지 않다. 무작위로 해야 하기 때문에 대표성에 문제가 생길 수 있다. 휴대전화를 이용할 경우에는 보통 패널 모집 방법을 사용한다. 하지만 패널 역시 대표성은 떨어진다. 휴대전화 조사는 계속 연구 중이지만 이론적으로 도입한 지 얼마 되지 않아 도입하기에 무리가 있다. 인터넷도 비슷한 이유를 갖고 있다. 누리꾼들의 대답이 국민의 대표성을 가지기 어려운 측면이 많다. 편리할 수 있지만 여론조사에서는 사용하지 않는다.
전화조사와 ARS 조사는 무슨 차이가 있기에 최근 선거관리위원회에서 이 둘의 구분을 강제한 것인가?
전화조사는 면접원이 직접 전화를 걸어 질문을 읽어주고 응답을 받는 방법이다. 언론사에서 의뢰해 발표하는 여론조사는 대개 전화조사 방법이다. ARS 조사는 말 그대로 안내 멘트에 따라 응답자가 번호를 누르는 방식이다.
ARS 조사에서 문제가 많이 발생하는데 예를 들어 불성실하게 아무 버튼을 누르거나, 그냥 끊어버리는 경우가 대표적이다. 응답 성공률이 낮으면 여론조사의 신뢰도가 떨어진다.
통화를 하다가 중간에 끊어버리는 경우도 있고, 답변을 하지 않는 경우도 있을 것이다. 그럴 경우 다음 샘플은 어떻게 정하는가?
해당 지역에서 다른 전화번호로 전화를 걸어 계속 조사를 진행한다. 이런 위험을 대비해 보통 필요한 샘플 수 10배 정도의 정보를 준비한다. 부재중, 통화중, 조사 거절 등을 다 고려하며 여론조사에 임한다.
여론조사를 보면 조사 기관과 조사 의뢰기관이 있는데 발표의 책임은 누구에게 있는가?
조사 결과에 대한 통계적 해석과 자문은 조사 기관에서 하지만 최종적으로 시청자나 독자들에게 공표되는 결과는 의뢰 기관에서 한다. 언론사 여론조사의 경우는 해당 언론사가 기사화한 것이다. 많은 조사 결과 중 어떤 내용을 보도할 것인지, 기사의 제목은 무엇으로 할 것인지, 어떤 형식으로 어느 정도 길이로 보도할 것인지 등 결과 공표의 형식이나 내용, 편집 방향은 조사를 의뢰한 언론사가 결정한다.
독자들이 여론조사의 신뢰성을 따지는 데 중요하게 생각해야 할 부분은 무엇인가?
우선은 언론사가 보도를 잘 해야 한다. 여론조사 보도 준칙에 따라 객관적으로 할 필요가 있다. 신뢰도가 있는 언론사에서 발표한 것은 믿을 수 있다. 하지만 누가, 어디서, 누구를 대상으로 했으며 문항은 무엇인지, 표본 오차는 얼마인지는 꼼꼼히 따져볼 필요가 있다.
도움말 : 이양훈(밀워드브라운 미디어리서치 책임연구원)
