Qualtrics、Prolific及其他平台在线样本库调查与数据标注实用指南

英文原文：A Guide to Online Panel Surveys and Annotation on Qualtrics, Prolific, and Other Platforms（2026年10月24日发布）

学生们经常向我咨询如何在自身学术社交圈之外招募问卷被试，每次提及的核心问题总不外乎这几个：选择哪个平台、需要多少经费预算，以及审稿人是否会认可该样本。我在此统一将答复梳理成文。我并非专职的调查方法学家，因此请将本文视为您进一步研读文献的起点，并各取契合您课题需求的部分进行参考。

在线样本库与自行分发的问卷调查

大多数人初次开展问卷调查时，通常是在Qualtrics或Google Forms中搭建问卷，然后自行分发链接至邮件列表、班级群组、社区机构或社交媒体。这种方式成本极低，且当您所需要的目标人群本就属于您可以直接触达的群体时，它是非常适切的选择。然而其局限性恰恰源于完全依赖研究者自行招募：无人知晓究竟有多少人浏览过该链接，因而无法计算真实的问卷应答率；样本完全由自主选择作答的人构成；而一旦公开链接附带报酬，就会招致大量虚假欺诈作答。当Pozzar and colleagues (2020)在Twitter和Facebook上发布附带15美元报酬的问卷时，他们在7小时内收到了271份填写完整的问卷，其中高达94.5%被判定为虚假作答。

在线样本库是一个由预先同意参与问卷调查的人员组成的常备样本池；AAPOR task force report on online panels采用了ISO定义，即同意参与未来数据收集的“潜在被试样本数据库”。样本库运营公司负责招募成员、在成员加入时收集其人口学画像信息（年龄、性别、种族、受教育程度、地理位置，通常还包括健康状况或职业），向符合特定研究条件的成员发送邀请、发放作答报酬，并剔除未通过质量检查的成员。AAPOR报告将这些归纳为五项核心活动：招募、加入与画像建档、研究抽样、激励计划以及样本库日常维护。研究者负责设计问卷、设定准入标准与配额，并按完成的有效问卷数量付费。作为回报，您通常能在数天之内获得自行招募绝难触达的被试样本，且样本服务商已为您过滤了部分恶意作答者（尽管并非全部，详见后文关于数据质量的分析）。

概率抽样样本库与自愿加入型样本库

以下提及的所有选项均归属于两大阵营之一，而这一区别直接决定了您能依据数据得出何种推论主张。

基于概率抽样的样本库通常从邮政地址名录中随机抽取住户，并通过信件、电话或入户面访持续跟进直至其同意加入。每个家庭被抽中的概率已知，而这一已知的入样概率正是进行总体推断和计算抽样误差限的科学基石。NORC的AmeriSpeak、Ipsos的KnowledgePanel、SSRS Opinion Panel、Gallup Panel以及Pew Research Center的American Trends Panel均采用此种模式。Pew的样本库不对外承接商业课题，但其方法学说明页面是目前关于概率样本库构建最详尽优质的免费公开文献。

自愿加入型样本库则由主要通过网络广告或推介网站自行注册的用户组成。Prolific、CloudResearch Connect、Qualtrics panels（转售来自Dynata和Cint等合作伙伴的样本）以及YouGov均属此类。YouGov会从其自愿加入的样本池中抽取被试以匹配目标总体特征，这确实有所改善，但其底层样本池本质上依然属于自选择样本。

样本代表性

过去十五年间对这两大阵营的对比研究均指向相同的结论。Yeager and colleagues (2011)发现，即便在利用人口统计学变量进行事后分层加权后，概率样本“依然始终比非概率样本调查更为精确”；而MacInnis and colleagues (2018)基于40个基准变量复现了这一结论。最新、最清晰的数据来自Pew Research Center于2023 comparison，该研究使用完全相同的问卷在三个概率样本库和三个自愿加入型样本库中同步施测。结果显示，自愿加入型样本的总体误差约为概率样本的两倍，且在青年群体和西语裔群体中的偏差幅度尤为巨大。

Pew将亚群体的显著误差主要归因于对几乎所有问题一律回答“是”的虚假作答者：在自愿加入型样本中，18至29岁的青年群体中有15%、西语裔成年人中有19%在16道“是/否”题中至少有10道选择了“是”，而在概率样本库中这一比例仅为1%至2%。对于社会工作研究而言，这正是最为棘手的一环：我们最常需要进行过抽样的群体（青年群体与拉丁裔被试），恰恰是自愿加入型样本估计偏差最为严重的群体；而Pew的2024 follow-up表明，部分虚假作答者会故意伪造这些身份以便通过问卷甄别门槛。

统计加权并不能根本解决这一问题。Pew在2018 weighting study中发现，即便是最优的加权校准算法也仅能消除自愿加入型样本中约30%的偏差，且“选择恰当的加权变量远比选择精巧的统计方法更为关键”。其2016 report进一步指出，准确度最差的两个样本在未加权时的人口统计特征反而最契合总体特征；因此，一份与人口普查高度吻合的样本描述表，并不能作为答卷内容是否真实的有效证明。

语言覆盖范围则是另一个独立存在的困境，且该困境在概率样本库中同样存在。AmeriSpeak使用English and Spanish开展招募与访谈，KnowledgePanel通过其专设的拉丁裔样本库也是如此。正如Pew在2020 note on Asian American estimates中所指出的，这些估计“仅基于通晓英语（或西班牙语）的群体”，而使用其他语种且不熟练掌握英语或西班牙语的人群通常根本无法参与。对于关注英语能力有限移民的研究，据我所知目前没有任何商业样本库能有效覆盖该群体，在撰写论文时我建议在研究局限部分坦诚声明这一覆盖盲区。

调查实验与流行率估计

但这并不意味着自愿加入型样本毫无学术价值。实证证据清晰区分了两类不同的研究问题。对于流行率估计（例如心理健康需求未得到满足的成年人比例），2010 AAPOR task force明确指出：“当研究目标之一是准确估计总体参数时，研究人员应避免使用非概率在线样本库”。而对于随机问卷实验，其实证表现则要乐观得多。Coppock, Leeper, and Mullinix (2018)利用网络便利样本复现了最初在全美概率样本上完成的27项实验，发现了“极高的吻合度”，他们将此归因于个体之间处理效应的变异较小。需要注意的是，这一前提本身是一项假设，而2013 AAPOR report针对因果效应是否具有可推广性的回答是：“视具体情况而定”。

因此，我建议根据所要确立的推论主张来匹配数据平台。情境假设实验、测量学研究或新量表的预调查完全可以在Prolific或Connect上实施；而若您的研究目标是得出拟推广至全美成年人总体的流行率或现状估计，则必须依赖基于概率抽样的样本库或既有的联邦权威调查。

与GSS的对比及其局限性

使用自愿加入型样本的研究者常采用的一种策略，是将样本估计值与General Social Survey（GSS）并列呈现，并据此论证两者特征高度相似。GSS由芝加哥大学NORC主持开展，数据文件可从NORC官方网站或通过GSS Data Explorer免费下载。密歇根大学的ICPSR所hosts累积数据文件仅更新至2016年，因此对于近年的数据，我建议直接从NORC官网下载。

出于以下四个原因，我认为应当极其审慎地对待此类对比：

• The GSS changed mode. 2021年调查转向了通过邮寄邀请函参与网络填答的设计，AAPOR应答率仅为17.4%；而2022 survey则混合了入户面访、网络填答和电话调查。NORC的mode sensitivity note指出，网络填答被试对社会机构的信任度显著更低、宗教活动频率大幅减少；NORC要求学者在使用时明确指出，近年来的趋势变动可能反映了调查方法论上的改变。
• Demographics are the wrong benchmark. 如果您已根据年龄、性别、种族和受教育程度对样本进行了加权校准，那么在这些变量上与GSS吻合，仅仅说明加权算法有效运行了而已。Yeager和Pew均采用了未参与加权的基准变量（例如吸烟率、持有驾照比例或投票率）进行检验，而只有此类对比才能真正检验样本的代表性与准确度。
• Subgroups are small. 近年单年度数据文件通常仅包含约4,000个样本，且2022年和2024年通过AmeriSpeak对黑人、西语裔和亚裔被试额外补充的过抽样样本已被排除在累积数据文件之外。
• Language coverage is limited. 2021年GSS仅提供英语和西班牙语两种版本。

我尚未见到公开发表的将Prolific样本与GSS进行基准对比的研究，但已有两项研究将Qualtrics panels与GSS进行了对照。Boas, Christenson, and Glick (2018)于2015年底分别通过Facebook、MTurk和Qualtrics招募了至少各1,000名美国受访者，并主要与2014年GSS进行了对比。他们得出结论认为，“Qualtrics在人口统计特征和政治立场上代表性最强”，但同时指出在年龄、教育、收入、种族和族裔方面，Qualtrics样本“存在与MTurk相同方向的偏差，只是严重程度相对较轻”。Zack, Kennedy, and Long (2019)将MTurk样本和Qualtrics样本与GSS进行对比，发现“Qualtrics在单变量和多变量分析中的表现均优于MTurk”，但同时报告两者均存在“假阳性风险”。较早的一项对比研究（Simmons and Bobo (2015)）发现，网络样本在人口学特征上差异微弱，但在政治兴趣和极化倾向上表现更为强烈。

少数族裔与隐匿人群

自愿加入型样本池不仅与全美真实人口构成存在显著差异，各平台之间也大相径庭。在Peer and colleagues (2022)对2020年9月各平台约500名美国受访者的研究中，女性在MTurk样本中占33.5%、在Prolific中占52.7%、在Qualtrics中占47.2%、在Dynata中占60.1%，而在Qualtrics样本中“半数被试年龄在64岁及以上”。在Douglas, Ewell, and Brauer (2023)的研究中，女性在Prolific样本中占67.5%，在Qualtrics样本中占66.6%（后者的平均年龄为64.3岁，且95.0%自报为白人）。早期的MTurk研究发现其样本群体更年轻、更偏自由派且宗教色彩更弱；Levay, Freese, and Druckman (2016)将其MTurk样本描述为“在种族和族裔多样性上显著低于ANES全国样本”。Qualtrics对自己运营的样本库也坦承类似特征：它们“往往过度代表35至54岁的女性，而在18至24岁西语裔男性等难以触达的人群中代表性较低”。任何单一抽样样本的具体构成均取决于平台特性与施测月份，因此我强烈建议在论文表格中将其与全国权威基准数据并列汇报，而非主观假定其具备代表性。

各大平台均提供了自主筛选问卷可见受众的功能，但实现方式各不相同：

• Prolific提供“数百种”filters，包括族裔、出生国、母语、流利语种、性别认同和性取向等。“绝大多数筛选标签的答案均由参与者自报”，因此筛选的准确度完全取决于用户注册时填写信息的真实性。其全美representative samples按年龄、性别及“简化族裔”（划分为白人、混血、亚裔、黑人、其他五大类）进行分层配额，因此西语裔背景并未作为独立分层变量，起订门槛为300名被试。Prolific补充说明：“规模极小的人口亚群往往难以做到精确代表”。
• CloudResearch Connect允许研究者按照年龄、种族/族裔、性别、性取向、政治倾向等维度进行target。针对规模较小的特殊群体，其Prime Panels服务能够汇总整合多家供应商的资源；CloudResearch指出，对于规模极小的目标人群，“只有整合多个平台的资源，研究才具备可行性”。
• Qualtrics panels主要采用配额控制。在定制panel时，研究者“点击添加配额以对各项人口学维度设置上限”，并为每个群体设定百分比配额，系统页面将实时显示报价及该配额的可行性。定向筛选标准“因国家而异”，因此在制定研究方案前，请务必确认您所在国家是否提供种族和族裔筛选维度。随着目标人群发生率的降低以及筛选条件的细化，单份问卷的单价将相应上涨。在任何Qualtrics问卷内部，您也可以基于自身的甄别题答案设置quotas，一旦某一配额满员，该组别的问卷链接将自动关闭。

专门甄别少数族裔群体往往会诱发一种特定的作弊欺诈。在Pew的2024 analysis中，自称西语裔的自愿加入型受访者中有24%声称自己拥有驾驶核潜艇的执照（相比之下非西语裔受访者仅有2%），Pew指出虚假作答者很可能是“为了通过筛选题”而故意虚构此类身份。在实际操作中，我建议尽可能依赖平台后台预存的用户画像标签进行筛选，避免在问卷甄别题中向被试明示何种选项符合入选资格，并在问卷内部再次设置身份核实题项以进行前后一致性检验。

当研究的核心目标是对特定群体本身进行总体参数估计时，带有过抽样的概率样本库是更严谨的选择。NORC的AmeriSpeak overview列出了“Amplify AAPI (Asians and Pacific Islanders), AmeriSpeak Latino (Spanish-language-dominant Hispanics)”，以及“对非裔美国人、西语裔和亚裔进行过抽样”的青年样本库。Pew的American Trends Panel在2019年、2022年和2023年均对西语裔、黑人和亚裔成年人进行了oversampled。对于亚裔美国人群体而言，访谈语言的选择与样本量同样关键。Pew在2022至2023年针对亚裔美国人的专题调查是一项独立的基于地址抽样的研究，“offered in six languages：中文（简体和繁体）、英语、印地语、韩语、他加禄语和越南语”；而California Health Interview Survey.aspx)除英语外，还提供“西班牙语、中文（普通话和粤语方言）、韩语、越南语和他加禄语”调查，这使其成为极少数能让英语熟练度有限的加州亚裔居民使用母语作答的公共数据库之一。

某些特定人群在所有的在线样本库以及绝大多数基于住户的概率样本库中都处于完全缺失状态。自愿加入型平台必然要求互联网接入能力，Pew在ATP中通过向没有互联网接入的家庭提供“a data plan and tablets”来缓解这一问题。基于地址的抽样框以正规住宅单位为抽样单元，而美国普查局将“classifies all people not living in housing units”为居住在集体宿舍，包括收容所、矫正管教机构和养老院；而在街头露宿的人群则完全游离于这两类抽样框之外。review by Bonevski and colleagues (2014)将“露宿街头的无家可归者”与低读写能力人群列为最难以招募的群体，阐述了滚雪球抽样和受访者推动抽样（Heckathorn, 1997），并建议研究人员“做好更高资源投入预算，并通过社区合作伙伴关系开展招募”。对于活跃使用社交媒体的群体，付费网络广告是另一条可行路径。Pötzschke and Braun (2017)通过Facebook广告在四个欧洲国家招募了1,103名波兰移民，总支出仅为500欧元；而Guillory and colleagues (2018)在Facebook和Instagram上招募了LGBT青年群体，并发现“社交媒体招募方法虽然存在较多数据质量隐患，但比街头拦截访问更快且成本更低”。

因此，前文所述的基本原则依然适用：针对某一群体内部开展的实验或测量学研究，可以使用带有筛选标签或配额控制的自愿加入型平台，并在方法学部分对此进行详尽充分的汇报；而若要得出关于该群体的总体推断估计，则必须依托带有过抽样的概率样本库、提供该群体母语的问卷设计，或是与社区伙伴紧密协同的扎实招募方案。

服务提供商与价格参考

以下价格信息源自各供应商官方页面或高校采购页面，核实于2026年10月。

1. 绝大多数概率样本库仅提供定制化询价报价，因此对于此类平台，我列出了多用户共享调查（omnibus）

的价格，即在共享问卷上认购少数几个题项的费用标准。

平台选项	样本类型	公开价格
Prolific	自愿加入型，约30万活跃被试；提供美英代表性样本	被试报酬外加学术账户33.3%服务费（企业账户42.8%）；最低报酬每小时8美元，推荐每小时12美元
CloudResearch Connect	自愿加入型	被试报酬外加学术账户25%服务费（其他账户40%）
Qualtrics panels	自愿加入型，转售自合作伙伴样本库	按询价定制；在线购买上限15,000美元。BYU采购页面列出每份有效问卷5美元，起步门槛500美元
YouGov omnibus	自愿加入型，采用样本匹配法	1,000名成年人样本：1,500美元建档费，外加每个题项600美元
NORC AmeriSpeak omnibus	概率抽样	1,000名成年人样本：前5个题项每个1,000美元，至少认购3个题项
Ipsos KnowledgePanel	概率抽样	仅限单独询价
U-M M-Panel	概率抽样，包含密歇根州过抽样	成本分摊型共享调查，至少认购3个题项；费用按需询价

该费用计算器是为自愿加入型研究编制预算最高效的工具。请牢记平台服务费是在被试实际所得报酬之外额外收取的，因此一项学术研究的总支出为税前被试报酬的1.33倍。部分高校旧版网页仍标示30%的服务费和6.50美元的最低时薪，这两项标准目前均已过时。

我在自己的科研课题中曾多次使用Qualtrics panels，该公司目前在真实人类样本库之外，还推销“科研级合成受访者”。如果您通过Qualtrics采购样本，请务必书面确认其中是否混杂了合成数据。密歇根大学的Qualtrics机构授权covers survey building only，因此样本库采购属于独立的付费项目。

在密歇根大学，开展概率抽样调查的最新选择是ISR的M-Panel，这是一个“具有全美代表性的成年人在线概率样本库，并对密歇根州进行了过抽样”。该项目于2026年夏季启动招募，目标规模为6,750名成员；研究人员可以在约3,000名受访者的共享调查中至少认购3个题项，业务咨询请联系mpanel-inquiry@umich.edu。针对密歇根州层面的研究议题，这无疑是首选的咨询渠道。

Herman and colleagues (2024)在MTurk和KnowledgePanel上同步实施了完全相同的健康问卷调查：KnowledgePanel的花费为236,178美元，而MTurk仅为27,146美元（前者约为后者的9倍），尽管KnowledgePanel所耗费的研究人员精力要少得多。

2026年的MTurk与TESS动态

Amazon Mechanical Turk已于permanently closed on September 30, 2026。任务发布者在10月30日之前仍可审核工作成果并支付奖金，而closure FAQ指出，此次停运也同步终止了SageMaker Ground Truth和Amazon Augmented AI内部调用MTurk众包工人的选项。CloudResearch也在同一天退役了其MTurk Toolkit工具。如果您沿用的研究方法章节、实验室手册或伦理审查（IRB）模板中仍包含MTurk，均需要及时重写修改。

第二项关键变动关乎所有计划申请免费问卷施测的研究人员。长期在NORC概率样本库上为入选实验项目提供免费施测的Time-sharing Experiments for the Social Sciences（TESS），目前在其home page上声明已“暂停运营，不再接收新的课题申请”。页面未列明恢复日期或关停原因，且NORC部分页面仍标注TESS正常开放，因此在将其写入基金申报书之前，务必直接核验TESS官方网站。

数据质量与作弊防范

在自愿加入型平台中，独立的对比研究普遍倾向于推荐Prolific和Connect。Douglas, Ewell, and Brauer (2023)在五个平台上开展了相同的对比研究，且只有当一份答卷通过注意力检测、来自唯一的ID与地理位置，并且对开放式问题给出了切题回答时，才被认定为高质量答卷。Peer and colleagues (2022)得出了相同的质量排名，尽管该文作者中有三位供职于Prolific。

最新的严峻威胁来自利用自动化软件代填问卷。Sean Westwood在2025 PNAS study中构建了一个AI智能体，该智能体能够以高度自洽连贯的答案完成问卷，且几乎避开了他所测试的所有甄别检测机制。这种现象在真实科研调查中出现的频率尚不得而知。而通过社交媒体公开招募的情况则更为恶劣：在Pozzar and colleagues (2020)的研究中，7小时内收集的271份答卷中有256份被证实为欺诈性作弊答卷。

在正式发布问卷前我建议内置的核查措施：

• Qualtrics fraud tools. 在问卷上线前开启机器人检测、重复答卷检测以及禁止多次提交功能；Qualtrics fraud detection page详细解释了各个设置项。RelevantID已于2025年退役，因此提及该功能的早期指南均已失效。
• More than one attention check. 对于耗时5分钟及以上的研究，Prolific仅在参与者fails at least two checks时才允许拒付；而Kennedy及其同事的研究表明，在MTurk上attention checks alone会遗漏大量欺诈作弊行为。
• Open-ended items tied to lived experience. Prolific官方关于guidance on detecting LLM use推荐设计植根于受访者亲身经历与具体研究情境的主观题目。
• Exclusion rules written in advance. 在接触真实数据之前，明确界定并预先注册何种答卷将被判定为无效或作弊答卷。

密歇根大学IRB-HSBS编制了一份关于tip sheet on fraudulent online responses，主要针对附带报酬的公开链接问卷。其关于收集邮寄地址的建议与Prolific禁止收集个人身份识别信息的规定存在冲突；因此若在Prolific上施测，我建议遵循平台规则，并在提交伦理审查申请时对此说明。

文本标注平台

MTurk过去也是招募人员进行文本标注的默认首选平台，其关停使社会工作领域的自然语言处理（NLP）课题面临相同的抉择困境。在符合学术研究预算的前提下，目前依然可用的被试资源池正是上述两家平台：Prolific在其相同收费架构下通过AI Task Builder支持标注研究，而Connect同样承接非问卷类的标注项目。诸如Scale、Surge、Toloka和Appen等商业标注服务商均不公开标价，主要面向大型企业定制合同。

标注界面的选择独立于众包被试池的选择。常用的免费开源工具包括Label Studio、Doccano、支持在工具内部自动计算标注者间一致性信度的INCEpTION，以及由密歇根大学David Jurgens实验室开发、可直接与Prolific和Connect对接的Potato。Prodigy则是一款商业付费替代工具，个人授权费用为390美元。

对于许多课题而言，当前切实可行的方案是将大语言模型与规模较小的人工标注数据集相结合。Gilardi and colleagues (2023)发现，在五项标注任务中有四项ChatGPT的表现优于众包工人；而Veselovsky and colleagues (2023)估算，33%至46%的MTurk众包工人在处理文本任务时已在使用语言模型。然而学术警示同样不可忽视：Baumann and colleagues (2025)发现，在其重新检验的假设中，LLM标注导致约31%得出了错误结论；而Egami and colleagues的研究表明，即便准确率达到80%至90%，若将模型生成的标签直接带入回归模型，所得到的置信区间依然是无效失真的。我建议由经过严格训练的标注员人工标注一个黄金标准子集，详尽汇报标注一致性，并利用该子集对模型预测标签进行统计校正。在密歇根大学，聘用学生标注员的时薪至少应达到临时雇员每小时$15 hourly minimum。

若文本语料涉及自杀、虐待或其他令人不适的内容，务必明确告知标注员其将阅读的具体文本性质；Prolific关于guidance on sensitive content明确指出，仅给出宽泛的一般性警示是不够的。标注员是否属于人类受试者，取决于您是否收集其个人信息；密歇根大学的human subjects FAQ未直接针对文本标注做出规定，因此我建议直接咨询校方伦理委员会（IRB）。

结果汇报

AAPOR关于guidance on the margin of sampling error指出，该指标“不适用于自愿加入型在线调查及其他基于非概率抽样的民调”，因此对于Prolific或Qualtrics样本，我建议切勿汇报抽样误差限。在撰写方法学章节时，AAPOR的disclosure standards列明了应当汇报的核心要素，包括招募方式、加权方法以及数据质量控制流程；医学与卫生类期刊通常还要求遵照网络调查的CHERRIES checklist。明确列出调研平台、起止日期、报酬标准、筛选准入条件以及每一条具体的样本剔除规则（并如实说明每条规则剔除的个案数量），便足以解答审稿人绝大多数的方法学质询。