[선상원의 촉]쏟아지는 여론조사, 실제 응답률 미미한데 신뢰성 있을까

TV 토론회 참석한 이재명-이낙연 지난 4일 오후 서울 마포구 상암동 YTN미디어센터에서 열린 더불어민주당 대선 예비후보 토론회를 앞두고 이재명 후보가 이낙연 후보 옆을 지나고 있다. [국회사진기자단]

[이데일리 선상원 기자] 대선의 계절이다. 하루가 멀다 하고 여론조사 결과가 나온다. 쏟아지는 여론조사를 보고 있으면 의문점이 생긴다. 어떤 조사는 이재명 경기도지사가 앞서고 다른 조사에서는 윤석열 전 검찰총장이 앞선다.

실제 엠브레인퍼블릭·케이스탯리서치·코리아리서치·한국리서치 4개 여론조사기관이 9~11일 전국 만 18세 이상 남녀 1017명을 대상으로 내년 대선 가상대결을 조사한 결과(표본오차는 95% 신뢰수준에 ±3.1%포인트), 이 지사가 41%로 윤 전 총장을 8%포인트 앞섰다. 이낙연 전 대표와 윤 전 총장의 양자 대결에서는 이 전 대표가 35%를 기록해 윤 전 총장에 오차범위 내인 2%포인트 차이로 앞섰다.

차기 대선후보 적합도 조사에서는 이 지사가 23%로 1위를 차지했다. 윤 전 총장은 19%, 이 전 대표는 12%를 기록했다. 전주와 비교해 이 지사는 5%포인트, 윤 전 총장은 3%포인트 하락했으나 이 전 대표는 2%포인트 상승했다.

이번 조사는 100% 무선전화면접 방식으로 이뤄졌고 더 자세한 사항은 중앙선거여론조사심위원회 홈페이지를 참고하면 된다.

윈지코리아컨설팅이 아시아경제 의뢰로 지난 7~8일 전국 만 18세 이상 남녀 1006명을 대상으로 차기 대선 가상대결을 조사한 결과(표본오차는 95% 신뢰수준에 ±3.1%포인트), 이 지사가 41.8%로 오차범위 내에서 윤 전 총장을 0.5%포인트 앞섰다. 이 전 대표와 윤 전 총장 가상대결에서는 이 전 대표가 45%로 윤 전 총장보다 2.4%포인트 앞섰다. 이번 조사는 100% 무선전화 ARS 방식으로 이뤄졌고 더 자세한 사항은 중앙선거여론조사심위원회 홈페이지를 참고하면 된다.

두 조사와 달리 윤 전 총장이 앞서는 조사도 있다. 한길리서치가 쿠키뉴스 의뢰로 지난 7~9일 전국 만 18세 이상 남녀 1015명을 대상으로 차기 대선 양자대결을 조사한 결과(표본오차는 95% 신뢰수준에 ±3.1%포인트), 윤 전 총장은 41.7%, 이 지사는 36.3% 나왔다. 두 후보 간 격차는 5.4%포인트로 오차범위 내였다. 윤 전 총장과 이 전 대표 양자대결에서도, 윤 전 총장이 42.1%로 이 전 대표보다 8%포인트 앞섰다.

이번 조사는 무작위 RDD 방식(유선 전화면접 19.1%, 무선 ARS 80.9%)으로 이뤄졌고 더 자세한 사항은 중앙선거여론조사심의위원회 홈페이지를 참고하면 된다.

ARS는 열성 지지자 응답이 많아, 면접원 조사는 일반 국민까지 끌어내

시점 차이가 있다고 해도 여론조사기관마다 제각각인 것은 조사 방식이 다른 데 따른 결과다. 우선 핸드폰을 이용한 조사인지, 아니면 집 전화를 반영한 조사인지에 따라 결과가 다를 수 있다. 아무래도 집 전화 조사를 하면 지방 거주자나 고령층의 의사를 반영하는 게 수월하다. 다만 결번이 많다보니 답변을 받아내는 게 만만치 않고 응답자가 세대와 지역을 대표할 수 있을지 의문이다.

물론 고령층 가운데 핸드폰을 일상적으로 쓰는 사람과 그렇지 않은 사람이 있을 수 있어 집 전화 조사를 하면 그런 성향상의 차이까지 반영할 수 있는 장점이 있기도 하다.

면접원에 의한 조사인지, 자동응답시스템을 통한 조사인지에 따라서도 결과가 다르게 나올 수 있다. ARS 조사는 조사 기간을 단축할 수 있고 비용이 저렴하다는 장점이 있는 반면, 조사 특성상 열성 지지자들이 과잉 대표되는 한계가 있다. 기계음을 듣고 응답하는 조사 방식상 대선후보나 각 정당 열성 지지자들이 아니라면 자신의 시간을 내어 답변하는 게 쉽지 않다.

대신 면접원에 의한 전화면접조사는 조사기간이 3일 정도 걸리고 비용도 많이 들지만, 열성 지지층만이 아닌 일반 국민들까지도 답변을 이끌어낼 수 있어 신뢰성 확보 측면에서는 강점이 있다.

정한울 한국리서치 전문연구위원은 “유무선 전화면접조사는 다 장단점이 있다. 어떤 조사가 100% 정답이라고 할수 없다”며 “ARS는 정치적 관심이 많거나 입장이 강한 사람들이 응답을 많이 한다. 그런 것을 감안해서 조사 결과를 봐야 한다”고 말했다.

국민의힘 대선 예비후보 윤석열 전 검찰총장이 12일 오전 서울 종로구 국민캠프에서 열린 코로나19 대책 마련을 위한 전문가 간담회에서 모두발언을 하고 있다. [국회사진취재단]

통화 실패와 통화 중 응답거절 사례 포함한 실제 응답률 1%도 나와

여기서 반드시 살펴봐야 할 게 있다. 응답률이 어느 정도이고, 성별 세대별 지역별 할당 응답자를 제대로 확보했는지 여부다. 응답률이 낮으면 조사 결과에 대해 신뢰성을 갖기 어렵고 성별 세대별 지역별 할당을 맞추지 못해 가중치 부과를 많이 했다면 통계로써의 유의미성이 낮다.

앞서 가상대결 조사를 한 엠브레인퍼블릭 등 4개 여론조사기관은 3개 통신사로부터 2만개의 안심번호를 받아 이중 1만3000여개를 사용, 1017명의 답변을 받았다. 응답률이 28.3%였으나 통화중이거나 부재중으로 아예 통화에 실패하거나 전화통화에 성공했어도 응답을 거절한 사례까지 포함해 계산하면 실제 응답률은 8.26%다. 대신 안심번호를 사용하고 면접원에 의한 조사다 보니, 성별 세대별 지역별 할당을 맞춰 가중치 부여가 없었다.

100% 무선ARS 조사를 한 원지코리아컨설팅은 3개 통신사로부터 3만개의 안심번호를 받아 다 사용했고 1006명으로부터 답변을 받았다. 응답률이 7%였으나 통화 실패와 통화 중 응답거절 사례까지 포함해 계산하면 실제 응답률은 3.38%다. 성별 세대별 지역별 할당을 맞추지 못해 여성 1.12, 20대 1.26, 70세 이상 1.26, 강원·제주 1.10의 가중치를 부여했다.

유선 전화면접과 무선ARS를 혼용한 한길리서치는 무작위로 34만8000여개의 전화번호를 생성해 이중 16만6301개를 사용, 1015명의 답변을 받았다. 유무선을 합친 전체 응답률이 4.6%였으나 통화 실패와 통화 중 응답거절 사례까지 포함해 계산하면 실제 응답률은 1.07%였다. 성별 세대별 지역별 할당을 맞추지 못해 여성 1.14, 20대 1.34, 30대 1.10, 인천·경기 1.12 충청 1.10의 가중치를 부여했다.

낮은 응답률이 우리나라 뿐만 아니라 전 세계적인 현상이라고 하지만, 한 자리수의 응답률은 여론조사의 신뢰성을 심각히 훼손할 수 있다. 미국 최대 여론조사기관인 퓨리서치센터 통계를 봐도 우리나라의 실제 응답률에 해당하는 협조율이 2000년 40%에서 2006년 31%, 2009년 21%, 2012년 14%로 낮아졌다.

정 전문연구위원은 “목표 할당을 못 채운 상황에서 가중치를 줘 보정하면 오차가 더 커질 수 있다. 샘플에 편향이 있으면 그 편향이 증폭된다”며 “세계적인 여론조사기관인 퓨리서치도 최근 협조율이 7~8%까지 낮아졌다. 공직선거법상 응답률 기준이 없다고 하지만 정치권과 언론사에서 응답률이 낮은 조사방식에 대해 고민해봐야 한다”고 강조했다.