Guía de encuestas en paneles en línea y anotación en Qualtrics, Prolific y otras plataformas

Original en inglés: A Guide to Online Panel Surveys and Annotation on Qualtrics, Prolific, and Other Platforms (publicado el 24 de octubre de 2026)

Los estudiantes me preguntan a menudo cómo encontrar participantes para encuestas más allá de sus propias redes de contactos, y en cada ocasión surgen las mismas interrogantes: qué plataforma elegir, cuánto cuesta y si los evaluadores aceptarán la muestra. Dejo por escrito aquí las respuestas de manera unificada. No soy metodóloga de encuestas, de modo que le invito a tomar este texto como un punto de partida para sus propias lecturas y a aplicar los elementos pertinentes para su estudio.

Paneles en línea y encuestas autoadministradas

La mayoría de nosotros realiza su primera encuesta diseñándola en Qualtrics o Google Forms y difundiendo el enlace por cuenta propia: a través de una lista de correo, un curso, una organización comunitaria o una publicación en redes sociales. Esto conlleva un costo mínimo y resulta la opción acertada cuando las personas requeridas ya integran un grupo al que se tiene acceso. Sus limitaciones derivan de asumir la totalidad del reclutamiento. Nadie sabe quién vio efectivamente el enlace, por lo que se carece de tasa de respuesta, la muestra se compone únicamente de quienes decidieron responder, y un enlace abierto asociado a un incentivo económico atrae fraude. Cuando Pozzar and colleagues (2020) publicaron una encuesta con un pago de $15 en Twitter y Facebook, recibieron 271 cuestionarios completos en siete horas y clasificaron el 94,5% de ellos como fraudulentos.

Un panel en línea constituye una reserva permanente de personas que han aceptado previamente responder encuestas; el informe del grupo de trabajo de AAPOR sobre paneles en línea adopta la definición ISO: “una base de datos muestral de encuestados potenciales” que aceptan participar en futuras recolecciones de datos. La empresa del panel recluta a los miembros, les aplica preguntas de caracterización al momento de incorporarse (edad, género, raza, educación, ubicación y con frecuencia salud u ocupación), convoca a quienes se ajustan a determinado estudio, gestiona el pago de incentivos y da de baja a quienes reprueban los controles de calidad. El informe de AAPOR desagrega esto en cinco actividades: reclutamiento, registro y caracterización, muestreo para estudios, programas de incentivos y mantenimiento del panel. El investigador diseña el cuestionario, define los criterios de elegibilidad y las cuotas, y abona un importe por respuesta completa. A cambio, recibe participantes a los que no habría podido acceder de forma autónoma, por lo general en cuestión de días, procedentes de un proveedor que ya ha depurado parte de los perfiles fraudulentos, aunque no a todos (consúltese la sección sobre calidad de datos más adelante).

Paneles probabilísticos y paneles de acceso voluntario (opt-in)

Cada una de las opciones analizadas a continuación pertenece a uno de dos grupos, y dicha distinción determina el alcance de las afirmaciones que pueden formularse a partir de sus datos.

Un panel de base probabilística recluta hogares de manera aleatoria, habitualmente a partir de un marco muestral de direcciones postales, y establece contacto por correo postal, teléfono o en persona hasta lograr su incorporación. Cada hogar cuenta con una probabilidad conocida de selección, y esa probabilidad conocida constituye el fundamento para formular estimaciones poblacionales y calcular márgenes de error. AmeriSpeak de NORC, KnowledgePanel de Ipsos, el SSRS Opinion Panel, el Gallup Panel y el American Trends Panel de Pew operan bajo este principio. El panel de Pew no está disponible para su contratación externa, pero sus documentos metodológicos constituyen el mejor registro gratuito sobre construcción de paneles.

Un panel de acceso voluntario (opt-in) está integrado por personas que se registraron por iniciativa propia, generalmente a través de anuncios o sitios de recomendación. Prolific, CloudResearch Connect, los paneles de Qualtrics (que comercializan muestras de proveedores asociados como Dynata y Cint) y YouGov pertenecen a este grupo. YouGov selecciona encuestados de su panel opt-in mediante emparejamiento con una población objetivo, lo cual mejora los resultados, pero la población de partida sigue estando autoseleccionada.

Representatividad

Las comparaciones entre ambos tipos de paneles arrojan conclusiones consistentes a lo largo de quince años. Yeager and colleagues (2011) constataron que las muestras probabilísticas “fueron sistemáticamente más precisas que las encuestas de muestras no probabilísticas, incluso después de realizar postestratificación con variables demográficas”, y MacInnis and colleagues (2018) replicaron este hallazgo a través de 40 variables de referencia. Las cifras recientes más contundentes proceden de la comparación de 2023 de Pew entre tres paneles probabilísticos y tres muestras opt-in administradas con el mismo cuestionario. El error en las muestras opt-in duplicó aproximadamente al de los paneles probabilísticos en términos globales, resultando sustancialmente mayor en jóvenes y adultos hispanos.

Pew atribuyó gran parte del error en los subgrupos a encuestados falsos que responden «Sí» a casi todo: en las muestras opt-in, el 15% de los jóvenes de 18 a 29 años y el 19% de los adultos hispanos respondieron afirmativamente al menos a 10 de 16 preguntas dicotómicas, frente al 1% a 2% registrado en los paneles probabilísticos. Para la investigación en trabajo social, esta constituye la dimensión más preocupante. Los colectivos que con mayor frecuencia sobremuestreamos —jóvenes y participantes latinos— son precisamente aquellos donde las estimaciones opt-in presentan mayor desviación, y el seguimiento de 2024 de Pew sugiere que ciertos encuestados fraudulentos declaran esas identidades para sortear las preguntas de filtro.

El ajuste por ponderación no logra corregir sustancialmente este sesgo. El estudio de ponderación de 2018 de Pew concluyó que incluso el ajuste más riguroso eliminaba únicamente cerca del 30% del sesgo en muestras opt-in, advirtiendo que «seleccionar las variables adecuadas para la ponderación reviste mayor trascendencia que elegir el método estadístico». Su informe de 2016 añade que las dos muestras menos precisas exhibían algunos de los mejores perfiles demográficos no ponderados, de modo que una tabla de distribución muestral que coincida con el Censo ofrece escasa certidumbre sobre la exactitud de las respuestas.

La cobertura lingüística representa un desafío independiente que afecta también a los paneles probabilísticos. AmeriSpeak recluta y entrevista en inglés y español, al igual que KnowledgePanel a través de su panel latino. Tal como formuló Pew en una nota de 2020 sobre estimaciones de asiático-estadounidenses, dichas estimaciones «se fundamentan exclusivamente en personas angloparlantes (o hispanohablantes)», por lo que quienes hablan otra lengua y no dominan el inglés o el español quedan habitualmente excluidos. En lo concerniente a investigaciones sobre inmigrantes con dominio limitado del inglés, ningún panel conocido cubre adecuadamente a esta población, omisión que recomiendo consignar explícitamente en la sección de limitaciones.

Experimentos y estimaciones de prevalencia

Nada de lo anterior implica que una muestra opt-in carezca de utilidad. La evidencia empírica distingue dos tipos de interrogantes. Para estimaciones de prevalencia, tales como la proporción de adultos con necesidades no satisfechas de salud mental, el grupo de trabajo de AAPOR de 2010 recomendó que los investigadores «deben evitar los paneles en línea no probabilísticos cuando uno de los objetivos de la investigación radique en estimar con precisión parámetros poblacionales». Frente a experimentos de encuesta aleatorizados, los antecedentes son más favorables. Coppock, Leeper, and Mullinix (2018) replicaron 27 experimentos administrados originalmente en muestras probabilísticas nacionales empleando muestras de conveniencia en línea, hallando una «correspondencia sumamente alta», lo cual atribuyen a la reducida variabilidad de los efectos del tratamiento entre individuos. Dicha condición constituye un supuesto, y la respuesta del informe de AAPOR de 2013 sobre si los efectos son generalizables concluye que «Depende».

Por consiguiente, aconsejo hacer corresponder la plataforma con el alcance de la afirmación. Un experimento de viñetas, un estudio psicométrico o la prueba piloto de una nueva escala pueden implementarse en Prolific o Connect. Una estimación de prevalencia orientada a generalizarse a la población adulta de EE. UU. exige un panel probabilístico o una encuesta federal preexistente.

Comparaciones con la GSS y sus limitaciones

Una práctica habitual al trabajar con muestras opt-in consiste en cotejar sus estimaciones con las de la General Social Survey (GSS) para sostener que exhiben patrones similares. NORC en la University of Chicago administra la GSS, y sus archivos pueden descargarse gratuitamente desde NORC o mediante el GSS Data Explorer. ICPSR en Michigan alberga archivos acumulativos únicamente hasta 2016, por lo que para los años recientes sugiero descargarlos directamente desde NORC.

Recomiendo proceder con cautela ante dicha comparación, por cuatro razones fundamentales:

• La GSS modificó su modalidad de administración. La encuesta de 2021 transitó hacia un diseño que remitía invitaciones por correo postal para completar un cuestionario en línea, alcanzando una tasa de respuesta AAPOR del 17,4%, mientras que la encuesta de 2022 combinó entrevistas presenciales, vía web y telefónicas. La nota sobre sensibilidad modal de NORC reporta una menor confianza en las instituciones y una actividad religiosa sustancialmente más baja entre los encuestados por internet, solicitando a los autores advertir que las fluctuaciones recientes en las tendencias pueden responder a modificaciones metodológicas.
• Las variables demográficas constituyen un parámetro de contraste inadecuado. Si usted ponderó por edad, sexo, raza y educación, constatar que su muestra coincide con la GSS en tales variables únicamente evidencia el funcionamiento de los ponderadores. Yeager y Pew emplean parámetros que no intervinieron en la ponderación —tales como tabaquismo, tenencia de licencia de conducir o participación electoral—, siendo esta comparación la que verdaderamente evalúa la exactitud.
• Los subgrupos son de tamaño reducido. Los archivos anuales recientes contienen alrededor de 4.000 observaciones, y las sobremuestras de participantes negros, hispanos y asiáticos incorporadas en AmeriSpeak en 2022 y 2024 están excluidas del archivo acumulativo.
• La cobertura lingüística es restringida. La GSS de 2021 se administró exclusivamente en inglés y español.

No he localizado estudios publicados que comparen una muestra de Prolific con la GSS, pero dos investigaciones contrastan paneles de Qualtrics con ella. Boas, Christenson, and Glick (2018) reclutaron al menos 1.000 participantes estadounidenses a través de Facebook, MTurk y Qualtrics a finales de 2015, comparándolos primordialmente con la GSS de 2014. Concluyeron que «Qualtrics es la más representativa demográfica y políticamente», advirtiendo no obstante que en edad, educación, ingresos, raza y etnicidad la muestra de Qualtrics «estaba sesgada en la misma dirección que MTurk, aunque con menor severidad». Zack, Kennedy, and Long (2019) compararon una muestra de MTurk y un panel de Qualtrics con la GSS, concluyendo que «Qualtrics supera a MTurk en análisis univariados y multivariados», reportando al mismo tiempo «un riesgo de falsos positivos» en ambas herramientas. Una comparación precedente, Simmons and Bobo (2015), identificó discrepancias demográficas menores pero constató participantes con mayor interés político y posturas más polarizadas en la muestra web.

Poblaciones minoritarias y de difícil acceso

Los paneles de acceso voluntario (opt-in) no reflejan la estructura poblacional de EE. UU. ni coinciden entre sí. En Peer and colleagues (2022), con cerca de 500 participantes estadounidenses por plataforma en septiembre de 2020, las mujeres representaron el 33,5% en la muestra de MTurk, el 52,7% en Prolific, el 47,2% en Qualtrics y el 60,1% en Dynata, y en la muestra de Qualtrics «la mitad de los participantes tenía 64 años o más». En Douglas, Ewell, and Brauer (2023), las mujeres constituyeron el 67,5% de la muestra de Prolific y el 66,6% de la de Qualtrics, cuya media de edad fue de 64,3 años y en la cual el 95,0% se identificó como blanco. Investigaciones previas sobre MTurk hallaron una población más joven, progresista y menos religiosa; Levay, Freese, and Druckman (2016) describen su muestra de MTurk como «mucho menos diversa racial y étnicamente que la muestra de ANES». Qualtrics constata lo mismo respecto de sus propios paneles: «tienden a una mayor representación de mujeres de 35 a 54 años y menor presencia de perfiles de difícil acceso, como varones hispanos de 18 a 24 años». La composición de una muestra depende de la plataforma y del mes de recolección, por lo que recomiendo presentarla en una tabla comparativa junto a un parámetro nacional de referencia en lugar de darla por supuesta.

Cada plataforma brinda distintas modalidades para definir quién visualiza el estudio.

• Prolific dispone de «varios cientos» de filtros, que abarcan origen étnico, país de nacimiento, lengua materna, idiomas que se dominan, identidad de género y orientación sexual. «La mayoría de las respuestas de los filtros es autoreportada por los participantes», de modo que un filtro tiene tanta validez como la respuesta brindada al registrarse. Sus muestras representativas de EE. UU. se estratifican por edad, sexo y «origen étnico (simplificado)» en cinco categorías (blanco, mixto, asiático, negro, otro), sin incluir el origen hispano como estrato independiente, y parten de un mínimo de 300 participantes. Prolific advierte además que «los grupos demográficos muy reducidos pueden resultar difíciles de representar con exactitud».
• CloudResearch Connect permite segmentar por «edad, raza/etnicidad, género, orientación sexual, posturas políticas, etc.». Para colectivos minoritarios, su servicio Prime Panels congrega a múltiples proveedores, señalando CloudResearch que ante grupos muy reducidos «un estudio puede ser viable únicamente combinando recursos de múltiples plataformas».
• Los paneles de Qualtrics operan mediante cuotas. Al configurar un panel, se selecciona «Añadir cuotas para definir límites en cada variable demográfica», se fija un porcentaje para cada grupo y la plataforma calcula el costo y la factibilidad del estudio. Los criterios de segmentación «varían según el país», por lo que conviene verificar que la raza y la etnicidad estén disponibles para su ámbito geográfico antes de planificar en torno a ellas. El costo se incrementa a medida que disminuye la tasa de incidencia y se tornan más específicos los criterios de segmentación. Dentro de cualquier encuesta de Qualtrics se pueden fijar además cuotas en las preguntas de filtro del propio cuestionario, cerrando el acceso a un grupo una vez completado su cupo.

El filtrado orientado a un grupo minoritario propicia una modalidad específica de fraude. En el análisis de 2024 de Pew, el 24% de los encuestados en paneles opt-in que manifestaron ser hispanos afirmó asimismo poseer licencia para operar un submarino nuclear, frente al 2% de los encuestados no hispanos, ante lo cual Pew sugiere que participantes fraudulentos podrían adoptar dicha identidad «con el propósito de sortear las preguntas de filtro». Recomiendo recurrir a los filtros de perfil almacenados por la plataforma cuando sea factible, evitar preguntas de cribado que anticipen qué respuesta clasifica para el estudio y reiterar la pregunta sobre identidad en el cuerpo del cuestionario como control de consistencia.

Cuando el propósito radica en obtener una estimación representativa del colectivo en sí, los paneles probabilísticos con sobremuestreo constituyen la opción más sólida. La descripción general de AmeriSpeak de NORC contempla «Amplify AAPI (asiáticos e isleños del Pacífico), AmeriSpeak Latino (hispanos hispanohablantes dominantes)» y un panel de adultos jóvenes «con sobremuestras de afroamericanos, hispanos y asiáticos». El American Trends Panel de Pew sobremuestreó a adultos hispanos, negros y asiáticos en 2019, 2022 y 2023. En el caso de los asiático-estadounidenses, el idioma de la entrevista reviste tanta trascendencia como el tamaño de la muestra. La encuesta de Pew de 2022 a 2023 sobre asiático-estadounidenses constituyó un estudio independiente basado en direcciones postales «administrado en seis idiomas: chino (simplificado y tradicional), inglés, hindi, coreano, tagalo y vietnamita», y la California Health Interview Survey.aspx) se administra en «español, chino (dialectos mandarín y cantonés), coreano, vietnamita y tagalo», además del inglés, lo que la sitúa entre las escasas bases de datos de acceso público en las que los californianos de origen asiático con dominio limitado del inglés responden en su propia lengua.

Determinados colectivos se encuentran ausentes de la totalidad de los paneles en línea y de la mayoría de los paneles probabilísticos de base domiciliaria. Las plataformas de acceso voluntario exigen conexión a internet, brecha que Pew subsana en el ATP proporcionando a los hogares sin conectividad «un plan de datos y tabletas electrónicas». Los marcos muestrales basados en direcciones postales seleccionan unidades de vivienda, y la Oficina del Censo «clasifica a todas las personas que no residen en unidades de vivienda» como residentes en alojamientos colectivos, categoría que abarca albergues, instituciones penitenciarias y centros de atención para adultos mayores. Las personas en situación de calle quedan fuera de ambos marcos muestrales. Una revisión desarrollada por Bonevski and colleagues (2014) incluye a «personas sin hogar que viven en la calle» y a personas con bajo nivel de alfabetización entre los colectivos más complejos de reclutar, describiendo el muestreo por bola de nieve y el muestreo guiado por los participantes (Heckathorn, 1997), y aconseja a los investigadores «prever mayores costos de recursos y operar a través de alianzas comunitarias». Para colectivos que emplean redes sociales, la publicidad pagada representa otra alternativa viable. Pötzschke and Braun (2017) reclutaron a 1.103 migrantes polacos en cuatro países europeos mediante anuncios en Facebook con un presupuesto total de 500 €, y Guillory and colleagues (2018) reclutaron jóvenes adultos LGBT en Facebook e Instagram, constatando que «los métodos basados en redes sociales presentan mayores desafíos de calidad de datos, pero resultan más rápidos y menos onerosos que las entrevistas interceptivas».

Por consiguiente, rige el mismo principio explicitado en las secciones anteriores. Un experimento o un estudio de medición al interior de un colectivo puede implementarse en una plataforma opt-in con filtros o cuotas, reportándolo detalladamente en la sección metodológica. Una estimación poblacional sobre el colectivo exige un panel probabilístico con sobremuestra, una encuesta administrada en los idiomas propios del grupo o un diseño de reclutamiento articulado con organizaciones comunitarias.

Proveedores y tarifas

Las tarifas consignadas a continuación proceden de los sitios web de cada proveedor o de portales universitarios, verificadas en octubre

1. La mayoría de los paneles probabilísticos presupuesta exclusivamente estudios a medida, por lo que para ellos indico la tarifa del servicio ómnibus,

donde se adquiere un número acotado de preguntas en una encuesta compartida.

Opción	Tipo de muestra	Tarifa publicada
Prolific	Opt-in, aproximadamente 300.000 participantes activos; muestras representativas de EE. UU. y el Reino Unido	Retribución al participante más una comisión del 33,3% para cuentas académicas (42,8% corporativas); pago mínimo de $8 por hora, recomendado $12
CloudResearch Connect	Opt-in	Retribución al participante más una comisión del 25% para cuentas académicas (40% en otros casos)
Paneles de Qualtrics	Opt-in, comercializados a partir de paneles de socios	Sujeto a cotización; compra directa en línea hasta $15.000. BYU reporta $5 por cuestionario completado con un gasto mínimo de $500
Ómnibus de YouGov	Opt-in con emparejamiento de muestra	$1.500 de configuración inicial más $600 por pregunta para 1.000 adultos
Ómnibus de AmeriSpeak de NORC	Probabilística	$1.000 por pregunta para las cinco primeras, mínimo de tres preguntas, 1.000 adultos
KnowledgePanel de Ipsos	Probabilística	Únicamente mediante cotización
M-Panel de la U-M	Probabilística, con sobremuestra del estado de Michigan	Ómnibus de costos compartidos, mínimo de tres preguntas; tarifa previa solicitud

La calculadora constituye la vía más ágil para presupuestar un estudio opt-in. Conviene recordar que la comisión se calcula sobre el importe que perciben los participantes, de modo que un estudio académico cuesta 1,33 veces la retribución de los participantes antes de impuestos. Ciertas páginas universitarias antiguas aún consignan una comisión del 30% y un mínimo de $6,50, datos que han quedado desactualizados.

He recurrido a paneles de Qualtrics en reiteradas ocasiones en mis propias investigaciones, y la empresa comercializa actualmente «encuestados sintéticos de grado de investigación» junto con paneles humanos. Si adquiere muestras a través de Qualtrics, solicite confirmación por escrito sobre si alguna de las respuestas es de naturaleza sintética. La licencia de Qualtrics de la U-M cubre exclusivamente el diseño de encuestas, por lo que la muestra de panel constituye una adquisición independiente.

Para una muestra probabilística en Michigan, la opción más reciente es el M-Panel del ISR, un «panel probabilístico en línea nacionalmente representativo de adultos de EE. UU., con sobremuestra del estado de Michigan». El reclutamiento comenzó en el verano de 2026 con una meta de 6.750 participantes; los investigadores contratan un mínimo de tres preguntas en un ómnibus compartido de cerca de 3.000 encuestados, dirigiéndose las consultas a mpanel-inquiry@umich.edu. Para interrogantes a escala estatal en Michigan, este constituye el canal primordial de consulta.

Herman and colleagues (2024) administraron la misma encuesta de salud en MTurk y en KnowledgePanel: el estudio en KnowledgePanel demandó $236.178 frente a $27.146 en MTurk (aproximadamente nueve veces más), si bien requirió una dedicación sustancialmente menor del equipo de investigación.

MTurk y TESS en 2026

Amazon Mechanical Turk cerró de manera definitiva el 30 de septiembre de 2026. Los solicitantes pueden continuar aprobando trabajos y abonando bonificaciones hasta el 30 de octubre, y la sección de preguntas frecuentes sobre el cierre consigna que la clausura concluye asimismo con la opción de trabajadores de MTurk en SageMaker Ground Truth y Amazon Augmented AI. CloudResearch retiró su MTurk Toolkit en esa misma fecha. Si una sección metodológica, un manual de laboratorio o una plantilla del comité de ética (IRB) aún alude a MTurk, requiere ser reescrita.

Una segunda modificación concierne a quienes proyectaban solicitar financiamiento gratuito para la recolección de datos. Time-sharing Experiments for the Social Sciences (TESS), que administraba experimentos aprobados sin costo en el panel probabilístico de NORC, consigna ahora en su sitio web principal que «ha suspendido sus operaciones y no se encuentra recibiendo nuevas propuestas». La página no especifica fecha ni motivo, y ciertas secciones de NORC aún describen a TESS como operativo, por lo que sugiero verificar el propio portal de TESS antes de incluirlo en una propuesta.

Calidad de los datos y fraude

Entre las plataformas de acceso voluntario (opt-in), las comparaciones independientes favorecen a Prolific y Connect. Douglas, Ewell, and Brauer (2023) administraron el mismo estudio en cinco plataformas y clasificaron una respuesta como de alta calidad únicamente si aprobaba los controles de atención, provenía de un identificador y ubicación geográfica únicos, y aportaba una respuesta abierta pertinente. Peer and colleagues (2022) observaron la misma jerarquización, si bien tres de sus autores se desempeñan en Prolific.

La amenaza emergente radica en el software diseñado para responder encuestas de forma automatizada. El estudio de Sean Westwood publicado en PNAS en 2025 desarrolló un agente de IA que completó encuestas con respuestas coherentes eludiendo casi la totalidad de los métodos de detección analizados. La frecuencia con que esto acontece en investigaciones reales aún no se conoce con precisión. El reclutamiento abierto a través de redes sociales resulta todavía más vulnerable: en Pozzar and colleagues (2020), 256 de 271 respuestas reunidas en siete horas resultaron fraudulentas.

Los controles que incorporaría antes del lanzamiento:

• Herramientas antifraude de Qualtrics. Active la detección de bots, la detección de duplicados y la prevención de envíos múltiples antes de la administración; la página de detección de fraude de Qualtrics explica cada campo. RelevantID fue retirado en 2025, por lo que las guías anteriores que lo mencionan han quedado desactualizadas.
• Más de un control de atención. Prolific autoriza el rechazo únicamente cuando un participante falla al menos dos controles en un estudio de cinco minutos o más, y Kennedy y sus colegas constataron que los controles de atención por sí solos no detectaron gran parte del fraude en MTurk.
• Preguntas abiertas vinculadas a la experiencia vivida. Las propias orientaciones de Prolific sobre detección del uso de LLM recomiendan formular preguntas ancladas en la experiencia del participante y en el contexto específico del estudio.
• Criterios de exclusión definidos por anticipado. Defina y prerregistre qué constituirá una respuesta fallida o fraudulenta antes de acceder a los datos.

El comité de ética IRB-HSBS de la U-M dispone de una hoja de recomendaciones sobre respuestas en línea fraudulentas, elaborada primordialmente para encuestas de enlace abierto con incentivos económicos. Su sugerencia de solicitar direcciones postales entra en conflicto con la normativa de Prolific que prohíbe recabar datos de identificación personal, por lo que en Prolific me atendría a la regla de la plataforma describiendo esa decisión en la solicitud al comité de ética (IRB).

Plataformas de anotación

MTurk constituía asimismo el espacio habitual para contratar personas destinadas al etiquetado de textos, y su cierre plantea a los proyectos de NLP en trabajo social la misma disyuntiva. Los grupos de participantes que permanecen accesibles para presupuestos académicos son las dos mismas plataformas: Prolific gestiona estudios de anotación mediante su AI Task Builder bajo el mismo esquema de comisiones, y Connect acepta proyectos de etiquetado no basados en encuestas. Los proveedores comerciales de etiquetado como Scale, Surge, Toloka y Appen no publican tarifas y están concebidos para contrataciones corporativas.

La interfaz de anotación constituye una decisión independiente de la reserva de anotadores. Entre las herramientas de código abierto y gratuitas destacan Label Studio, Doccano, INCEpTION (que calcula el acuerdo interanotador dentro de la propia herramienta) y Potato, desarrollada en el laboratorio de David Jurgens en Michigan, la cual se vincula directamente con Prolific y Connect. Prodigy representa una alternativa de pago con una licencia individual de $390.

Para múltiples proyectos, la estrategia viable actual combina un modelo de lenguaje de gran tamaño con un conjunto acotado codificado por evaluadores humanos. Gilardi and colleagues (2023) observaron que ChatGPT superó a los trabajadores de plataformas en cuatro de cinco tareas de anotación, y Veselovsky and colleagues (2023) estimaron que entre el 33% y el 46% de los trabajadores de MTurk ya empleaban modelos de lenguaje en tareas de texto. Las advertencias son igualmente contundentes: Baumann and colleagues (2025) hallaron que las anotaciones de LLM generaron conclusiones erróneas en cerca del 31% de las hipótesis reexaminadas, y Egami and colleagues demuestran que incorporar directamente etiquetas generadas por modelos en una regresión produce intervalos de confianza inválidos, incluso con precisiones del 80% al 90%. Recomiendo codificar manualmente un subconjunto de referencia con evaluadores capacitados, reportar el nivel de acuerdo y utilizar dicho conjunto para calibrar las etiquetas del modelo. Los estudiantes anotadores en Michigan perciben al menos el salario mínimo de $15 por hora establecido para el personal temporal.

Si el corpus textual aborda suicidio, maltrato u otros contenidos perturbadores, informe a los anotadores en términos específicos sobre lo que leerán; las directrices de Prolific sobre contenido sensible advierten que una advertencia genérica resulta insuficiente. Determinar si los anotadores califican como sujetos humanos de investigación depende de si se recopila información personal sobre ellos; dado que la sección de preguntas frecuentes sobre sujetos humanos de la U-M no contempla la anotación de forma explícita, sugiero realizar la consulta al comité de ética (IRB).

Elaboración de informes

Las directrices de AAPOR sobre el margen de error muestral estipulan que este “no aplica a encuestas en línea de acceso voluntario ni a otros sondeos no probabilísticos”, por lo que desaconsejo reportarlo en muestras de Prolific o Qualtrics. Para la sección metodológica, los estándares de divulgación de AAPOR enumeran los elementos a consignar, incluyendo el método de reclutamiento, la ponderación y los procedimientos de control de calidad, exigiendo frecuentemente las revistas de salud la lista de verificación CHERRIES para encuestas web. Especificar la plataforma, las fechas, la retribución económica, los criterios de filtrado y cada regla de exclusión junto con el número de casos depurados por cada una de ellas responde a la mayoría de las inquietudes que formulará un evaluador.