사회과학 연구에서의 설문조사 설계: 실질적인 팁

영어 원문: Survey Design in Social Science Research: Practical Tips (2023년 9월 10일 게시)

설문조사 설계는 목표 모집단으로부터 신뢰할 수 있고 타당한 데이터를 수집하고자 하는 사회과학 연구자에게 필수적인 역량입니다. 그러나 훌륭한 설문조사를 설계하는 일은 겉보기만큼 쉽지 않습니다. 설문조사의 목표, 사용할 측정 도구, 선택할 플랫폼, 해결해야 할 연구 윤리적 문제, 확보해야 할 데이터 품질 등 고려해야 할 요소가 많습니다. 이번 블로그 포스트에서는 저 자신의 경험을 바탕으로 사회과학 연구에서 설문조사를 설계하는 방법에 관한 몇 가지 실질적인 팁을 공유하고자 합니다.

더 많은 학술 자료를 찾으시는 분들을 위해 유용한 참고문헌을 소개합니다:

• Stantcheva, S. (2022). How to run surveys: A guide to creating your own identifying variation and revealing the invisible. Annual Review of Economics, 15.
• Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer.
• Chiang, I.-C. A., Jhangiani, R. S., & Price, P. C. (2015). Constructing survey questionnaires. In Research Methods in Psychology – 2nd Canadian Edition. BCcampus.

목표 구체화

설문조사 설계의 첫 번째 단계는 목표를 구체화하는 것입니다. 설문조사를 통해 답하고자 하는 핵심 연구 질문은 무엇인가요? 검증하고자 하는 가설은 무엇인가요? 측정하고자 하는 변수는 무엇인가요? 이러한 질문들은 설문조사에 적합한 측정 도구와 표집 방법을 선택하는 길잡이가 되어 줄 것입니다. 또한 데이터를 어떻게 분석할 것인지, 어떤 결과를 발견할 것으로 기대하는지도 함께 고려해야 합니다.

ICPSR 의 다른 설문 사례 검토

https://www.icpsr.umich.edu/web/pages/

사회과학 연구에서 설문조사를 설계하는 방법을 배우는 한 가지 방법은 ICPSR에 있는 다른 설문지를 읽어보는 것입니다. ICPSR은 정치, 경제, 보건, 교육 등 다양한 학문 분야와 주제에 걸친 수천 건의 연구 및 데이터셋에 대한 접근을 제공하는 데이터 아카이브입니다. 자신의 연구 관심사와 관련된 연구를 둘러보거나 검색하여 다른 연구자들이 설문조사를 어떻게 설계했는지, 어떤 측정 도구를 사용했는지, 데이터를 어떻게 수집하고 분석했는지, 어떤 결과를 얻었는지 살펴볼 수 있습니다. 또한 직접 활용하거나 연구 재현을 위해 데이터와 관련 문서를 다운로드할 수도 있습니다.

ICPSR에서 설문조사 사례를 찾으려면 웹사이트를 방문하여 검색창이나 브라우징 옵션을 이용해 자신의 키워드나 기준에 부합하는 연구를 검색하면 됩니다. 또한 주제, 지리적 영역, 조사 기간, 시리즈, 연구책임자, 또는 데이터 형식별로 결과를 필터링할 수도 있습니다.

측정 도구 탐색

다음 단계는 관심 변수를 포착할 수 있는 측정 도구를 찾는 것입니다.

A. 관심 주제에 관한 문헌을 읽고 관련 논문의 Measures 섹션으로 곧바로 이동하는 것부터 시작할 수 있습니다. 이전 연구자들이 사용한 측정 도구를 출처, 참고문헌, 채점 방식과 함께 스프레드시트에 정리할 수 있습니다. 예를 들어 다음 그림에서는 척도 이름과 응답 범주를 확인할 수 있습니다. 전체 척도 문항을 확인하기 위해 원문 참고문헌을 찾아보아야 할 수도 있습니다.

B. APA PsycTests 아카이브를 활용하여 전문가들이 발표하거나 검토한 심리 검사 및 측정 도구를 검색할 수도 있습니다. 예를 들어 APA PsycNet에 접속하여(소속 기관의 인증을 거쳐 접속해야 할 수 있습니다) ‘Test Available’ 버튼을 클릭한 상태로 검색어를 입력하면 됩니다. 그러면 오른쪽 화면에 수집할 수 있는 ‘Test’ PDF 파일이 나타납니다.

APA PsycTests 아카이브는 해당 리소스를 구독하는 기관의 소속원에게만 제공됩니다. 대안으로 일반에 공개된 다음 라이브러리를 활용할 수 있습니다: https://db.arabpsychology.com/

구성개념, 척도명, 문항 수, 우선순위 여부, 수집 여부, 참고문헌, 비고 등이 포함된 스프레드시트 예시입니다. collected 열은 해당 척도의 문항 문구 (예: APA PsycNet에서 받은 PDF 파일)를 확보했는지 여부를 나타냅니다.

스프레드시트에 후보 측정 도구들을 정리한 후, 동료 연구자, 공저자 또는 지도교수와 상의하여 연구 목표에 가장 잘 부합하는 문항들을 최종 확정할 수 있습니다. 또한 측정 도구의 타당도와 신뢰도뿐만 아니라 목표 모집단 및 설문 플랫폼에의 적합성도 점검해야 합니다. 예를 들어 다양한 언어적 배경을 가진 사람들을 대상으로 설문조사를 진행하는 경우 일부 측정 도구는 번역이 필요할 수 있습니다.

설문지 설계

측정 도구를 결정했다면 설문지 설계를 시작할 수 있습니다. 설문조사 순서대로 전체 문항 목록을 담은 자체 문서를 작성할 수 있습니다. 섹션을 나눈 뒤 공동 연구자들과 섹션별로 논의할 수도 있습니다. 채점 절차와 참고문헌이 포함된 설계 문서의 예시가 여기에 있습니다. 최종 확정 후 설문 플랫폼에 그대로 복사하여 붙여넣으면 됩니다.

몇 가지 실질적인 팁을 소개합니다.

1. 목표 모집단과 표집 방법뿐만 아니라 설문조사에 소요될 시간과 예산을 구체적으로 계획해야 합니다.
2. 설문조사를 호스팅하고 필요한 기능을 제공할 수 있는 플랫폼을 선택해야 합니다. 널리 쓰이는 플랫폼으로는 온라인 설문조사 제작 및 배포를 위한 다양한 옵션을 제공하는 [Qualtrics]와 [SurveyMonkey]가 있습니다. 많은 대학이 기관 차원에서 Qualtrics를 구독하고 있으므로 소속 학교의 지원 여부를 확인해 보시기 바랍니다.
3. 다국어 설문조사의 경우 Qualtrics와 SurveyMonkey 모두 다국어 설문 기능을 지원합니다. 전문 번역가를 고용하거나 여러 언어에서의 척도 타당화를 고민해야 할 수 있습니다.
4. 설문지를 설계할 때 유념해야 할 점 중 하나는 설문 전체에 걸쳐 몇 가지 주의 집중 점검 문항 을 배치하는 것입니다. 이는 특정 보기를 선택하도록 지시하거나 간단한 질문에 답하게 함으로써, 집중하지 않거나 무작위로 응답하는 응답자를 가려내는 데 도움이 되는 문항입니다. 주의 점검 문항 활용 우수 사례에 관한 Qualtrics 포스트를 참고하시기 바랍니다.
5. 고정관념, 신체 건강, 정신건강과 같은 민감한 주제를 조사하는 경우 사회적 바람직성 문항을 추가하는 것도 고려할 수 있습니다. 이는 질문에 응답할 때 응답자가 사회적 규범이나 기대에 얼마나 영향을 받는지 측정할 수 있는 문항입니다.
6. 또 다른 고려 사항은 설문조사의 윤리적 측면입니다. 취약 집단이나 민감한 주제를 조사하는 경우 응답자로부터 충분한 정보에 입각한 동의를 얻었는지, 개인정보와 비밀을 철저히 보호했는지, 응답자가 겪을 수 있는 잠재적 피해나 불편을 최소화했는지 확인해야 합니다. 또한 설문조사를 수행할 때 소속 기관의 윤리 지침과 규정을 준수해야 합니다.
7. 마지막으로 다른 설문조사와의 비교 가능성을 고려해야 합니다. 가능하다면 유사한 맥락이나 모집단에서 다른 연구자들이 이미 사용한 것과 동일한 측정 도구를 사용하는 것이 좋습니다. 이를 통해 자신의 결과를 선행 연구와 비교할 수 있으며 연구 결과의 일반화 가능성을 높일 수 있습니다.

데이터 수집

설문지 설계를 마쳤다면 원하는 플랫폼(예: Qualtrics)에서 데이터 수집을 시작할 수 있습니다. 이때 몇 가지 유의할 사항이 있습니다.

1. 목표 모집단에 설문지를 배포하기 전에 목표 모집단과 유사한 소규모 응답자 표본을 대상으로 파일럿 테스트를 거쳐야 합니다. 이를 통해 설문 완료에 소요되는 시간을 가늠하고, 조건부 이동 로직이 잘 작동하는지 확인하며, 오류를 찾아낼 수 있습니다.
2. 이메일, 소셜 미디어, 온라인 커뮤니티, 웹사이트 등 다양한 채널을 통해 설문지를 배포할 수 있습니다. 그러나 누구에게나 열려 있는 온라인 플랫폼을 활용할 때는 응답자의 품질에 각별히 유의해야 합니다. 설문조사에 유입되어 무효하거나 신뢰할 수 없는 데이터를 생성하는 봇이나 허위 응답자가 다수 존재하기 때문입니다. 캡차 코드, IP 주소 필터링, 이메일 인증 등 이를 방지하거나 탐지하는 기법을 활용해야 합니다.

데이터 정제

설문조사 응답을 충분히 수집한 후에는 분석에 들어가기 전에 데이터의 품질을 점검해야 합니다. 몇 가지 실질적인 팁을 정리하면 다음과 같습니다:

• 불완전한 응답, 중복 응답, 주의 집중 점검 문항을 통과하지 못한 응답을 제거하여 데이터를 정제해야 합니다.
• 사용한 공인 척도들의 내적 일관성을 점검할 수도 있습니다.
• 주관식 서술형 문항이 있다면 응답 내용을 직접 읽어보는 것이 좋습니다. 무작위로 무의미한 내용을 적는 경우가 있으며, 이러한 케이스는 신뢰할 수 없습니다.

Stata에서 다음 명령어를 사용하여 타당도 및 신뢰도 점수를 산출하는 방법에 관해서는 이 포스트를 참고할 수 있습니다: validscale 명령어:

[Stata] Convergent and discriminant validity and reliability of subscales: validscale command

코드북 작성

수집한 데이터와 측정한 변수를 설명하는 코드북을 함께 작성해 두는 것이 좋습니다. 코드북은 데이터의 출처, 구조, 내용 및 코딩 방식에 관한 정보를 제공하는 문서입니다. 연구자 자신뿐만 아니라 다른 연구자들도 데이터를 더 잘 이해하고 후속 분석이나 연구에 활용할 수 있도록 돕습니다.

코드북 작성 예시입니다. 첫 페이지에 인구통계학적 특성을 기재하고, 각 측정 도구별로 기술통계치와 내적 일관성 신뢰도(Cronbach’s alpha)를 포함한 세부 정보를 정리할 수 있습니다.

이 블로그 포스트가 사회과학 연구에서 설문조사를 설계하는 데 유용한 팁이 되었기를 바랍니다. 읽어주셔서 감사합니다.