Qualtrics, Prolific 등에서 하는 온라인 패널 설문조사와 어노테이션 안내

영어 원문: A Guide to Online Panel Surveys and Annotation on Qualtrics, Prolific, and Other Platforms (2026년 10월 24일 게시)

학생들은 종종 자신의 네트워크를 넘어 설문조사 응답자를 찾는 방법에 대해 질문하곤 하며, 그때마다 몇 가지 공통된 질문이 나옵니다. 어떤 플랫폼을 사용해야 하는지, 비용은 얼마나 드는지, 그리고 심사자(reviewer)가 해당 표본을 신뢰하고 인정할 것인지에 대한 것입니다. 이에 대한 답변을 이곳에 한 번 정리해 두고자 합니다. 저는 설문조사 방법론 전문가가 아니므로, 이 글을 독자 여러분의 추가 학습을 위한 출발점으로 삼으시고 본인의 연구에 적용 가능한 부분을 참고하시기 바랍니다.

온라인 패널과 자체 배포 설문조사

우리 대부분은 처음에 Qualtrics나 Google Forms로 설문지를 만들고 메일링 리스트, 수업, 지역사회 단체 또는 소셜 미디어 게시물에 직접 링크를 보내어 조사를 진행합니다. 이 방법은 비용이 거의 들지 않으며, 연구에 필요한 사람들이 이미 연락 가능한 그룹에 속해 있을 때 적절한 선택입니다. 하지만 모든 모집을 연구자가 직접 진행해야 한다는 한계가 있습니다. 누가 링크를 보았는지 알 수 없으므로 응답률을 산출할 수 없고, 표본은 응답하기로 자발적으로 선택한 사람들로만 구성되며, 보상이 걸린 공개 링크는 부정 응답(fraud)을 끌어들입니다. Pozzar 연구팀(2020)이 Twitter와 Facebook에 15달러의 보상을 내걸고 설문조사를 게시했을 때, 7시간 만에 271건의 완료된 설문이 접수되었고 그중 94.5%가 부정 응답으로 분류되었습니다.

온라인 패널은 설문조사에 참여하기로 사전에 동의한 상설 인력 풀입니다. 온라인 패널에 관한 AAPOR 태스크포스 보고서는 향후 데이터 수집에 동의한 “잠재적 응답자의 표본 데이터베이스”라는 ISO 정의를 사용합니다. 패널 회사는 회원을 모집하고, 가입 시 프로필 질문(연령, 성별, 인종, 학력, 거주 지역, 건강 상태나 직업 등)을 수렴하며, 특정 연구 조건에 부합하는 회원을 초대하고, 보상금을 지급하며, 품질 검증을 통과하지 못한 회원을 제외합니다. AAPOR 보고서는 이를 모집, 가입 및 프로파일링, 연구 표집, 인센티브 프로그램, 패널 유지 관리의 5가지 활동으로 정리합니다. 연구자는 설문지를 작성하고, 참여 자격 기준과 할당(quota)을 설정하며, 완료된 응답당 비용을 지불합니다. 그 대가로 연구자는 직접 찾기 어려웠을 응답자들을 대체로 며칠 내에 확보할 수 있으며, 비록 전부는 아닐지라도 악의적 응답자를 사전에 일부 걸러낸 벤더로부터 데이터를 제공받게 됩니다(아래의 데이터 품질 섹션 참조).

확률 기반 패널과 옵트인 패널

아래에 소개하는 모든 옵션은 두 그룹 중 하나에 속하며, 그 차이에 따라 데이터로부터 주장할 수 있는 내용의 한계와 범위가 결정됩니다.

확률 기반 패널(probability-based panel)은 일반적으로 우편 주소 목록에서 가구를 무작위로 추출하여 가입할 때까지 우편, 전화 또는 대면 방문으로 접촉합니다. 각 가구는 추출될 확률을 명확히 알 수 있으며, 이 추출 확률이 모집단 추정과 오차 범위 계산의 기초가 됩니다. NORC의 AmeriSpeak, Ipsos KnowledgePanel, SSRS Opinion Panel, Gallup Panel, 그리고 Pew의 American Trends Panel이 이러한 방식으로 운영됩니다. Pew의 패널은 외부 연구자가 비용을 내고 이용할 수는 없지만, 해당 방법론 웹페이지는 패널 구축에 관한 최고의 무료 참고 자료입니다.

옵트인 패널(opt-in panel)은 주로 광고나 추천 사이트를 통해 자발적으로 가입한 사람들로 구성됩니다. Prolific, CloudResearch Connect, Qualtrics 패널(Dynata나 Cint와 같은 파트너 벤더의 표본을 재판매), YouGov 등이 이 그룹에 속합니다. YouGov는 목표 모집단에 맞추기 위해 옵트인 패널에서 응답자를 선별하여 매칭하므로 도움이 되지만, 초기 모집단 풀 자체는 여전히 자기선택(self-selected)된 표본입니다.

대표성

두 그룹 간의 비교 연구는 지난 15년 동안 일관된 결과를 보여줍니다. Yeager 연구팀(2011)은 인구통계 변수를 활용한 사후 층화(post-stratification) 후에도 확률 표본이 “비확률 표본 조사보다 일관되게 더 정확하다”는 점을 발견했으며, MacInnis 연구팀(2018)은 40개의 벤치마크 변수를 사용하여 이 결과를 재현했습니다. 가장 명확한 최근 수치는 동일한 설문지로 3개의 확률 패널과 3개의 옵트인 표본을 조사한 Pew의 2023년 비교 연구에서 확인할 수 있습니다. 옵트인 표본의 오차는 전반적으로 약 2배 더 컸으며, 청년층과 히스패닉계 성인에서 오차가 훨씬 더 크게 나타났습니다.

Pew는 하위 집단 오차의 상당 부분을 거의 모든 질문에 “예”라고 답하는 허위 응답자(bogus respondents)의 탓으로 돌렸습니다. 옵트인 표본에서는 18~29세의 15%와 히스패닉 성인의 19%가 16개 예/아니오 질문 중 최소 10개에 “예”라고 답한 반면, 확률 패널에서는 그 비율이 1~2%에 불과했습니다. 사회복지 연구의 관점에서 이는 매우 곤혹스러운 부분입니다. 우리가 가장 흔히 과대 표집하는 집단인 청년층과 라티노 응답자가 바로 옵트인 추정치가 가장 크게 왜곡되는 집단이며, Pew의 2024년 후속 연구에 따르면 일부 허위 응답자는 스크리닝 문항을 통과하기 위해 이러한 정체성을 허위로 기재하는 것으로 나타났습니다.

가중치 부여(weighting)로도 이 문제를 크게 해결하지 못합니다. Pew의 2018년 가중치 연구에 따르면 가장 우수한 조정을 거치더라도 옵트인 표본 편향의 약 30%만을 제거할 수 있었으며, “가중치 부여를 위해 올바른 변수를 선택하는 것이 올바른 통계적 방법을 선택하는 것보다 더 중요합니다.” Pew의 2016년 보고서는 가장 부정확했던 두 표본이 가중치를 적용하기 전의 인구통계학적 프로필 측면에서는 오히려 센서스와 가장 잘 일치했다고 덧붙입니다. 따라서 센서스와 일치하는 표본 구성표만으로는 응답이 정확한지 여부를 거의 알 수 없습니다.

언어 포괄 범위(language coverage)는 별개의 문제이며, 이는 확률 패널에도 동일하게 적용됩니다. AmeriSpeak은 영어와 스페인어로 참가자를 모집하고 설문을 진행하며, KnowledgePanel 또한 라티노 패널을 통해 동일하게 운영합니다. Pew가 아시아계 미국인 추정치에 관한 2020년 노트에서 밝혔듯이, 이러한 추정치는 “영어(또는 스페인어) 구사자만을 기반으로” 하며, 다른 언어를 사용하고 영어 나 스페인어에 능숙하지 않은 사람들은 일반적으로 참여할 수 없습니다. 영어가 제한적인 이민자를 대상으로 하는 연구의 경우, 제가 아는 한 이 모집단을 적절히 포괄하는 패널은 없으므로 연구의 한계점 섹션에 이러한 포괄성 공백을 명시하는 것이 좋습니다.

실험과 유병률 추정

이 모든 점이 옵트인 표본이 쓸모없다는 것을 의미하지는 않습니다. 기존 연구 근거들은 두 가지 유형의 질문을 구분합니다. 미충족 정신건강 요구를 가진 성인의 비율과 같은 유병률의 경우, 2010년 AAPOR 태스크포스는 연구자들이 “연구 목표 중 하나가 모집단 값을 정확하게 추정하는 것일 때 비확률 온라인 패널을 피해야 한다”고 기술했습니다. 반면 무작위 설문 실험의 경우 결과가 훨씬 더 양호합니다. Coppock, Leeper, and Mullinix (2018)는 원래 전국 확률 표본으로 수행되었던 27개 실험을 온라인 편의 표본을 사용하여 재현한 결과 “매우 높은 일치도”를 발견했으며, 이를 개인 간 처치 효과의 낮은 변량 덕분으로 보았습니다. 다만 그 조건은 하나의 가정이므로, 효과가 일반화될 수 있는가에 대한 2013년 AAPOR 보고서의 답변은 “상황에 따라 다르다(It depends)”입니다.

따라서 저는 연구의 주장과 플랫폼을 일치시킬 것을 권합니다. 비네트(vignette) 실험, 측정 연구, 새로운 척도의 파일럿 테스트는 Prolific이나 Connect에서 진행할 수 있습니다. 반면 미국 성인 전체로 일반화하고자 하는 유병률 추정치는 확률 패널이나 기존의 연방 설문조사 데이터를 활용해야 합니다.

GSS 비교와 그 한계

옵트인 표본에서 흔히 쓰이는 방식은 그 추정치를 General Social Survey(GSS) 추정치와 나란히 배치하고 유사해 보인다고 주장하는 것입니다. 시카고대학교 NORC가 GSS를 주관하며, 데이터 파일은 NORC에서 무료로 받거나 GSS Data Explorer를 통해 다운로드할 수 있습니다. 미시간대학교 ICPSR은 2016년까지의 누적 파일만을 제공하므로, 최근 연도의 데이터는 NORC에서 직접 다운로드하는 것이 좋습니다.

저는 다음 네 가지 이유로 이러한 비교를 신중하게 진행할 것을 권합니다.

• GSS의 조사 방식이 변경되었습니다. 2021년 조사는 웹 설문 초대장을 우편으로 발송하는 설계로 변경되어 AAPOR 응답률이 17.4%에 그쳤고, 2022년 조사는 대면 면접, 웹, 전화를 혼합하여 진행되었습니다. NORC의 조사 방식 민감도 노트에 따르면 웹 응답자들 사이에서 제도에 대한 신뢰도가 더 낮고 종교 활동이 훨씬 낮게 보고되었으며, NORC는 연구자들에게 최근 추세의 변화가 이러한 방법론적 변경을 반영할 수 있음을 명시해 줄 것을 요청하고 있습니다.
• 인구통계학적 특성은 잘못된 벤치마크입니다. 연령, 성별, 인종, 교육 수준에 가중치를 부여했다면, 해당 변수들에서 GSS와 일치하는 것은 가중치 조정이 제대로 작동했음을 보여줄 뿐입니다. Yeager와 Pew는 흡연 여부, 운전면허 소지 여부, 투표 참여와 같이 가중치 부여에 사용되지 않은 벤치마크를 활용하며, 바로 이러한 비교가 표본의 정확성을 검증하는 진정한 척도가 됩니다.
• Subgroups are small. 최근 단일 연도 파일의 사례 수는 약 4,000건에 불과하며, 2022년과 2024년에 추가된 흑인, 히스패닉, 아시아인 응답자에 대한 AmeriSpeak 과대표집은 누적 파일에서 제외되어 있습니다.
• Language coverage is limited. 2021년 GSS는 영어와 스페인어로만 제공되었습니다.

Prolific 표본을 GSS와 비교 평가한 출판된 연구는 찾지 못했으나, Qualtrics 패널을 GSS와 비교한 연구는 두 편이 있습니다. Boas, Christenson, and Glick (2018)은 2015년 말 Facebook, MTurk, Qualtrics를 통해 각각 최소 1,000명의 미국 응답자를 모집하여 주로 2014년 GSS와 비교했습니다. 이들은 “Qualtrics가 인구통계학적 및 정치적으로 가장 대표성이 높다”고 결론지으면서도, 연령, 교육, 소득, 인종, 민족성에서 Qualtrics 표본이 “MTurk와 같은 방향으로 편향되었으나 덜 심각한 수준이었다”는 점을 한계로 지적했습니다. Zack, Kennedy, and Long (2019)는 MTurk 표본과 Qualtrics 패널을 GSS와 비교하여 “일변량 및 다변량 분석 모두에서 Qualtrics가 MTurk보다 우수하다”고 밝히면서도, 두 표본 모두에서 “위양성의 위험”이 있다고 보고했습니다. 보다 초기의 비교 연구인 Simmons and Bobo (2015)는 인구통계학적 차이는 미미했으나 웹 표본에서 정치적 관심이 더 높고 더 양극화된 응답자가 나타났음을 확인했습니다.

소수자 및 숨은 모집단

옵트인 풀은 미국 전체 인구와 닮지 않았으며, 플랫폼끼리도 서로 다릅니다. 2020년 9월 플랫폼당 약 500명의 미국 응답자를 대상으로 한 Peer and colleagues (2022)의 연구에서 여성 비율은 MTurk 표본의 33.5%, Prolific의 52.7%, Qualtrics의 47.2%, Dynata의 60.1%였으며, Qualtrics 표본에서는 “표본의 절반이 64세 이상”이었습니다. Douglas, Ewell, and Brauer (2023)에서는 여성이 Prolific 표본의 67.5%, Qualtrics 표본의 66.6%를 차지했고, Qualtrics의 평균 연령은 64.3세였으며 95.0%가 백인을 선택했습니다. 초기 MTurk 연구들은 더 젊고, 진보적이며, 덜 종교적인 풀을 보고했습니다. Levay, Freese, and Druckman (2016)은 자신들의 MTurk 표본이 “ANES 표본보다 인종적·민족적으로 훨씬 덜 다양하다”고 기술했습니다. Qualtrics 역시 자체 패널에 대해 “35~54세 여성의 대표성은 높은 경향이 있는 반면, 18~24세 히스패닉 남성과 같이 접근하기 어려운 인구 집단의 대표성은 낮다”고 동일하게 밝히고 있습니다. 개별 표본의 구성은 플랫폼과 조사 시점에 따라 달라지므로, 이를 전제하기보다는 전국 벤치마크와 나란히 표로 제시하여 보고하는 것이 좋습니다.

각 플랫폼은 서로 다른 방식으로 연구에 참여할 사람을 선택할 수 있도록 지원합니다.

• Prolific은 민족성, 출생 국가, 제1언어, 유창하게 구사하는 언어, 성 정체성, 성적 지향 등을 포함한 “수백 개”의 filters를 제공합니다. “대부분의 필터 응답은 참가자의 자기보고”에 기반하므로, 필터의 정확도는 가입 시 응답한 내용의 정확도에 비례합니다. 미국의 representative samples은 연령, 성별, 그리고 5개 집단(백인, 혼혈, 아시아인, 흑인, 기타)으로 구성된 “민족성(단순화)”에 따라 층화되므로 히스패닉 출신 여부는 층화 기준에 포함되지 않으며, 최소 300명의 참가자부터 시작됩니다. Prolific은 “매우 작은 인구통계학적 집단은 정확하게 대표하기 어려울 수 있다”고 덧붙이고 있습니다.
• CloudResearch Connect는 “연령, 인종/민족, 성별, 성적 지향, 정치적 견해 등”을 target할 수 있도록 지원합니다. 소규모 집단의 경우 Prime Panels 서비스를 통해 여러 벤더의 패널을 취합하며, CloudResearch는 매우 작은 대상 집단의 경우 “여러 플랫폼의 자원을 결합해야만 연구가 가능할 수 있다”고 설명합니다.
• Qualtrics panels은 할당을 사용합니다. panel을 구성할 때 “Add Quotas를 클릭하여 각 인구통계학적 특성에 제한을 설정”하고 각 그룹의 비율을 지정하면, 해당 페이지에서 가격과 패널 구축 가능 여부를 보여줍니다. 타겟팅 기준은 “국가별로 다르므로”, 계획을 세우기 전에 해당 국가에서 인종과 민족성이 제공되는지 확인해야 합니다. 출현율이 낮아지고 타겟팅 기준이 구체화될수록 가격은 올라갑니다. Qualtrics 설문조사 내에서도 자체 스크리너 응답에 quotas를 설정할 수 있으며, 해당 집단의 정원이 차면 자동으로 마감됩니다.

소수 집단을 스크리닝할 때는 특정한 형태의 부정 응답이 발생하기 쉽습니다. Pew의 2024 analysis에 따르면, 자신이 히스패닉이라고 응답한 옵트인 참가자의 24%가 원자력 잠수함 조종 면허가 있다고 응답한 반면 비히스패닉 응답자는 2%에 불과했으며, Pew는 허위 응답자들이 “스크리닝 질문을 통과하기 위해” 이러한 방식으로 정체성을 선택했을 가능성을 제시합니다. 따라서 가능한 한 플랫폼에 사전 저장된 프로필 필터를 활용하고, 어떤 답변이 참가 자격을 얻는지 노출하는 스크리너를 피하며, 일관성 검증을 위해 설문조사 내에서 정체성 질문을 다시 묻는 것이 좋습니다.

목표가 해당 집단 자체에 대한 추정인 경우, 과대표집을 포함한 확률 패널이 훨씬 더 강력한 선택입니다. NORC의 AmeriSpeak overview에는 “Amplify AAPI (Asians and Pacific Islanders), AmeriSpeak Latino (Spanish-language-dominant Hispanics)”, 그리고 “아프리카계 미국인, 히스패닉, 아시아인 과대표집을 포함한” 청년 패널이 나열되어 있습니다. Pew의 American Trends Panel은 2019년, 2022년, 2023년에 히스패닉, 흑인, 아시아인 성인을 과대표집했습니다. 아시아계 미국인의 경우 표본 크기만큼이나 면접 언어가 중요합니다. Pew의 2022~2023년 아시아계 미국인 조사는 별도의 주소 기반 연구로 “offered in six languages: 중국어(간체 및 번체), 영어, 힌디어, 한국어, 타갈로그어, 베트남어”되었으며, California Health Interview Survey.aspx)는 영어뿐만 아니라 “스페인어, 중국어(보통화 및 광둥어 방언), 한국어, 베트남어, 타갈로그어”로 실시되어, 영어가 제한적인 아시아계 캘리포니아 주민들이 모국어로 응답한 몇 안 되는 공공 데이터셋 중 하나입니다.

어떤 집단들은 모든 온라인 패널과 대부분의 가구 확률 패널에서 누락되어 있습니다. 옵트인 플랫폼은 인터넷 접근을 요구하며, Pew는 ATP에서 인터넷이 없는 가구에 “a data plan and tablets“을 제공함으로써 이를 해결합니다. 주소 기반 표본추출틀은 주거 단위를 표집하며, 센서스국은 “주거 단위에 거주하지 않는 모든 사람”을 쉼터, 교정 시설, 요양원 등을 포함하는 집단 주거 시설 거주자로 classifies all people not living in housing units합니다. 노숙을 하는 사람들은 두 표본추출틀 모두에서 제외됩니다. review by Bonevski and colleagues (2014)는 “거리에서 생활하는 노숙인”과 문해력이 낮은 사람들을 모집하기 가장 어려운 집단으로 꼽으며, 눈덩이 표집과 응답자 주도 표집(Heckathorn, 1997)을 설명하고, 연구자들에게 “더 높은 자원 투입 비용을 계획하고 지역사회 파트너십을 통해 운영할 것”을 조언합니다. 소셜 미디어를 사용하는 집단의 경우 유료 광고도 또 다른 경로입니다. Pötzschke and Braun (2017)은 Facebook 광고를 통해 유럽 4개국에서 1,103명의 폴란드 이주민을 총 500유로로 모집했으며, Guillory and colleagues (2018)은 Facebook과 Instagram에서 성소수자 청년을 모집하여 “소셜 미디어 방법이 데이터 품질 문제는 더 많지만 현장 가로채기 표집보다 더 빠르고 비용이 적게 든다”는 점을 발견했습니다.

따라서 앞선 섹션들과 동일한 규칙이 적용됩니다. 한 집단 내부의 실험이나 측정 연구는 필터나 할당을 갖춘 옵트인 플랫폼을 사용할 수 있으며, 방법론 섹션에 이를 상세히 보고해야 합니다. 반면 해당 집단에 관한 일반화된 추정치는 과대표집을 포함한 확률 패널, 해당 집단의 언어로 제공되는 서베이, 또는 지역사회 파트너와 함께 구축한 모집 설계가 필요합니다.

벤더 및 가격

아래 가격은 10월 확인 기준 각 벤더의 자체 페이지 또는 대학 웹페이지에서 발췌한 것입니다

1. 대부분의 확률 패널은 맞춤형 연구에 대해서만 견적을 제공하므로, 그러한 패널의 경우 옴니버스

공유 설문조사에서 몇 개 문항을 구매하는 방식의 가격을 기재합니다.

옵션	표본 유형	공시 가격
Prolific	옵트인, 약 300,000명의 활성 참가자, 미국 및 영국 대표 표본	참가자 보상금에 학술 계정 기준 33.3% 수수료 추가(기업 계정 42.8%), 최소 보상 시간당 8달러, 권장 12달러
CloudResearch Connect	옵트인	참가자 보상금에 학술 계정 기준 25% 수수료 추가(기타 40%)
Qualtrics panels	옵트인, 파트너 패널로부터 재판매	견적 기반; 최대 $15,000까지 온라인 구매 가능. BYU에 따르면 응답 완료당 $5이며 최소 주문 금액은 $500
YouGov 옴니버스	표본 매칭을 적용한 옵트인(Opt-in)	성인 1,000명 기준 기본 설정비 $1,500 및 문항당 $600
NORC AmeriSpeak 옴니버스	확률 표본	성인 1,000명 기준 초기 5개 문항까지 문항당 $1,000, 최소 3문항 이상
Ipsos KnowledgePanel	확률 표본	견적 문의 전용
U-M M-Panel	확률 표본(미시간주 과표집 포함)	비용 분담 옴니버스, 최소 3문항 이상; 가격 문의 필요

계산기는 옵트인 연구 예산을 책정하는 가장 빠른 방법입니다. 수수료는 참가자가 받는 금액에 추가로 부과되므로, 학술 연구의 경우 세전 참가자 지급액의 1.33배가 든다는 점을 기억하시기 바랍니다. 예전 대학 웹페이지들에는 여전히 30%의 수수료와 $6.50의 최저 기준이 명시되어 있으나 둘 다 구버전 정보입니다.

저 역시 연구에서 Qualtrics 패널을 여러 차례 사용해 왔으며, 현재 이 회사는 실제 인간 패널과 함께 “연구용 합성 응답자(synthetic respondents)”도 판매하고 있습니다. Qualtrics를 통해 표본을 구매하는 경우 응답에 합성 데이터가 포함되어 있는지 서면으로 확인하시기 바랍니다. U-M의 Qualtrics 라이선스는 설문 작성 기능만을 지원하므로 패널 표본은 별도로 구매해야 합니다.

미시간에서 확률 표본을 구하기 위한 가장 최신의 옵션은 ISR의 M-Panel로, 이는 “미시간주를 과표집한 미국 성인 전국 대표 온라인 확률 패널”입니다. 2026년 여름 6,750명의 패널 모집을 목표로 시작되었으며, 연구자들은 약 3,000명의 응답자를 대상으로 하는 공유 옴니버스에서 최소 3개 문항을 구매할 수 있고, 문의는 mpanel-inquiry@umich.edu로 보낼 수 있습니다. 미시간주 차원의 연구 질문이라면 가장 먼저 고려해 볼 만한 곳입니다.

Herman and colleagues (2024)는 MTurk과 KnowledgePanel에서 동일한 건강 설문을 진행했습니다. KnowledgePanel 연구는 $236,178가 소요된 반면 MTurk은 $27,146가 소요되어 약 9배 더 비쌌지만, 연구진의 투입 시간은 훨씬 적게 들었습니다.

2026년의 MTurk과 TESS

Amazon Mechanical Turk은 2026년 9월 30일부로 영구 서비스 종료되었습니다. 의뢰인은 10월 30일까지 작업을 승인하고 보너스를 지급할 수 있으며, 종료 FAQ에 따르면 이번 종료로 SageMaker Ground Truth와 Amazon Augmented AI 내의 MTurk 작업자 옵션도 함께 종료됩니다. CloudResearch 역시 같은 날 MTurk Toolkit 서비스를 종료했습니다. 기존에 작성된 방법론 섹션, 연구실 매뉴얼, 또는 전달받은 IRB 서식에 여전히 MTurk이 언급되어 있다면 수정이 필요합니다.

두 번째 변화는 무료 데이터 수집을 신청하려 했던 분들에게 중요합니다. NORC의 확률 패널에서 채택된 실험을 무료로 진행해 주던 사회과학용 시분할 실험(TESS)은 현재 홈페이지에서 “운영을 중단했으며 신규 제안서를 받지 않는다”고 밝히고 있습니다. 해당 페이지에는 구체적인 날짜나 이유가 명시되어 있지 않으며, 일부 NORC 웹페이지에는 여전히 TESS가 열려 있는 것으로 기술되어 있으므로 연구계획서에 이를 포함하기 전에 TESS 공식 사이트를 직접 확인하시기 바랍니다.

데이터 품질과 부정 응답

옵트인 플랫폼 중에서는 독립적인 비교 연구에서 Prolific과 Connect가 우수한 평가를 받고 있습니다. Douglas, Ewell, and Brauer (2023)는 5개 플랫폼에서 동일한 연구를 수행한 후 주의력 점검을 통과하고, 고유한 ID와 위치에서 유입되었으며, 관련성 있는 개방형 응답을 제공한 경우에만 고품질 응답으로 판정했습니다. Peer and colleagues (2022) 역시 동일한 순위를 보고했으나, 저자 중 세 명이 Prolific 소속이었습니다.

더 최근의 위협은 설문에 응답하는 소프트웨어입니다. Sean Westwood의 2025년 PNAS 연구에서는 그가 테스트한 거의 모든 탐지 방식을 회피하면서 일관된 답변으로 설문을 완료하는 AI 에이전트를 구축했습니다. 실제 연구에서 이러한 일이 얼마나 자주 발생하는지는 아직 알려지지 않았습니다. 소셜 미디어를 통한 공개 모집은 훨씬 더 심각합니다. Pozzar and colleagues (2020)에서는 7시간 이내에 수집된 271건의 응답 중 256건이 허위 응답이었습니다.

설문 시작 전에 제가 구축해 둘 점검 사항들:

• Qualtrics 부정 응답 방지 도구. 실사 전에 봇 탐지, 중복 탐지, 다중 응답 방지 기능을 켜 두세요. 각 필드에 대한 설명은 Qualtrics 부정 탐지 페이지에 안내되어 있습니다. RelevantID는 2025년에 서비스가 종료되었으므로 이를 언급하는 이전 가이드들은 최신 정보가 아닙니다.
• 복수의 주의 집중 점검 문항. Prolific은 5분 이상의 연구에서 참가자가 최소 두 개 이상의 점검 문항에 실패했을 때만 거부를 허용하며, Kennedy와 동료들은 주의 집중 점검 문항만으로는 MTurk 상의 많은 부정 응답을 걸러내지 못한다는 점을 발견했습니다.
• 실제 생활 경험과 연계된 개방형 문항. Prolific 자체의 LLM 사용 탐지 지침은 참가자의 실제 경험과 연구 맥락에 기반한 질문을 활용할 것을 권장합니다.
• 사전에 작성된 제외 규칙. 데이터를 직접 확인하기 전에 어떤 응답을 실패하거나 부정 응답으로 간주할지 미리 결정하고 사전 등록하세요.

미시간대학교 IRB-HSBS에는 주로 보상금이 지급되는 공개 링크 설문을 위해 작성된 온라인 부정 응답에 관한 팁 시트가 있습니다. 우편 주소를 수집하라는 제안은 식별 정보를 수집하지 못하도록 한 Prolific의 규정과 충돌하므로, Prolific을 이용할 때는 플랫폼의 규정을 따르고 IRB 신청서에 그 선택 이유를 명시하는 것이 좋습니다.

어노테이션(데이터 라벨링) 플랫폼

MTurk은 텍스트 라벨링 작업을 할 인력을 고용하는 기본 플랫폼이기도 했기에, 서비스 종료로 인해 사회복지 분야의 NLP 프로젝트들도 동일한 질문에 직면했습니다. 학술 연구 예산으로 활용 가능한 남은 작업자 풀은 앞서 언급한 두 플랫폼입니다: Prolific은 동일한 수수료 체계 하에서 AI Task Builder를 통해 어노테이션 연구를 운영하며, Connect 또한 비설문 라벨링 프로젝트를 지원합니다. Scale, Surge, Toloka, Appen과 같은 상업용 라벨링 업체들은 가격을 공개하지 않으며 기업 단위 계약을 위해 설계되었습니다.

어노테이션 인터페이스는 작업자 풀과는 별도로 결정해야 하는 사항입니다. 무료 오픈소스 도구로는 Label Studio, Doccano, 툴 내부에서 평가자 간 일치도를 계산해 주는 INCEpTION, 그리고 미시간대학교 David Jurgens 연구실에서 개발하여 Prolific 및 Connect와 직접 연동되는 Potato 등이 있습니다. Prodigy는 개인 라이선스 기준 $390인 유료 대안입니다.

현재 많은 프로젝트에서 현실적인 방안은 거대 언어 모델(LLM)과 소규모의 인간 코딩 데이터셋을 결합하는 것입니다. Gilardi와 동료들 (2023)은 ChatGPT가 5개 어노테이션 과업 중 4개에서 크라우드 작업자보다 우수한 성과를 보였다는 점을 밝혔고, Veselovsky와 동료들 (2023)은 MTurk 작업자의 33%에서 46%가 이미 텍스트 과업에 언어 모델을 사용하고 있다고 추정했습니다. 그러나 주의해야 할 점 또한 분명합니다: Baumann과 동료들 (2025)은 재검증한 가설 중 약 31%에서 LLM 어노테이션이 잘못된 결론을 초래했음을 발견했으며, Egami와 동료들은 모델 라벨을 회귀분석에 직접 사용할 경우 정확도가 80~90%에 달하더라도 신뢰구간이 왜곡됨을 보여주었습니다. 따라서 저는 훈련된 코더를 통해 골드 스탠다드 하위 세트를 직접 수작업으로 코딩하고, 일치도를 보고하며, 이 하위 세트를 활용하여 모델 라벨을 보정할 것을 권장합니다. 미시간대학교의 학생 라벨러들에게는 임시직 직원 최저 시급인 시간당 최소 $15 이상이 지급됩니다.

텍스트가 자살, 학대 또는 기타 고통을 유발할 수 있는 내용을 포함하는 경우, 라벨러들에게 읽게 될 내용을 구체적으로 알리세요. Prolific의 민감한 콘텐츠에 관한 지침에 따르면 일반적인 경고만으로는 충분하지 않습니다. 라벨러가 연구 대상자(human subjects)에 해당하는지 여부는 그들에 관한 정보를 수집하는지에 따라 달라지며, 미시간대학교의 인간 대상 연구 FAQ는 어노테이션을 직접적으로 다루지 않으므로 IRB에 문의하는 것을 권장합니다.

결과 보고

AAPOR의 표본 오차 한계에 관한 지침에서는 이것이 “옵트인 온라인 설문조사 및 기타 비확률 기반 여론조사에는 적용되지 않는다”고 명시하고 있으므로, Prolific이나 Qualtrics 표본에 대해 이를 보고하지 않는 것이 좋습니다. 연구방법론 섹션의 경우, AAPOR의 공개 표준(disclosure standards)에 모집 방식, 가중치 부여, 데이터 품질 관리 절차 등 보고해야 할 항목들이 나열되어 있으며, 보건 계열 학술지에서는 종종 웹 설문에 대해 CHERRIES 체크리스트를 요구합니다. 플랫폼 명칭, 조사 기간, 보상률, 스크리닝 기준, 그리고 각 제외 규칙과 그로 인해 제외된 케이스 수를 명시하면 심사위원이 질문할 대부분의 내용에 답변이 됩니다.