Les foules peuvent être aussi sages que les fausses nouvelles
L’expérience avec le contenu signalé par Facebook montre que les catégories de profanes évaluent de manière fiable les histoires avec autant de succès que les vérificateurs de faits.
Lorsqu’ils sont confrontés à de graves préoccupations concernant la désinformation, les systèmes de médias sociaux et les agences de presse utilisent souvent des vérificateurs de faits pour trier le vrai du faux. Pourtant, les vérificateurs de faits ne peuvent évaluer qu’une petite partie des histoires qui circulent en ligne.
Une nouvelle étude simplement par PAR les scientifiques suggèrent une technique alternative : le crowdsourcing précision les jugements de catégories de lecteurs normaux pourraient être pratiquement aussi efficaces que le travail associé à des vérificateurs de faits professionnels.
“L’un des problèmes de la vérification des faits est qu’il y a tout simplement beaucoup trop de contenu pour les vérificateurs de faits professionnels à couvrir, en particulier dans un délai raisonnable”, explique Jennifer Allen, doctorante à la MIT Sloan School of Administration et co-auteur du document récemment publié détaillant l’étude.
Mais la recherche actuelle, examinant plus de deux cents reportages sur lesquels les algorithmes de Facebook seront signalés pour un aperçu plus approfondi, a peut-être trouvé une méthode pour résoudre ce problème, en utilisant relativement peu de catégories politiquement équilibrées de lecteurs profanes pour juger les gros titres et les phrases principales associées. avec des nouvelles.
« Nous avons trouvé cela encourageant », déclare Allen. « La note moyenne de la foule de 10 à 15 personnes était également corrélée à la décision des vérificateurs de faits en tant que vérificateurs de faits liés les uns aux autres. Cela aide à utiliser le problème de l’évolutivité, car les évaluateurs étaient n’importe qui d’autre sans enseignement de la vérification des faits, et ils parcourent simplement les titres et les phrases de prospect sans vous perdre la chance de faire des recherches. ”
Cela signifie que la méthode de crowdsourcing particulière pourrait être déployée à grande échelle – et à moindre coût. La recherche estime que le prix à payer pour que les lecteurs évaluent les nouvelles de cette manière est d’environ 0 $. 90 pour chaque histoire.
« Il n’y a rien qui résout le problème associé aux fausses nouvelles sur le Web », déclare Jesse Rand, enseignant au MIT Sloan et co-auteur principal de l’étude. «Mais nous travaillons pour inclure des approches prometteuses à l’ensemble d’outils anti-désinformation particulier. ”
L’article en particulier, “Scaling up Fact-Checking Using the Knowledge of Crowds”, est publié aujourd’hui dans Avancées technologiques . Les co-auteurs particuliers sont Allen; Antonio A. Arechar, chercheur au laboratoire d’assistance humaine du MIT ; Gordon Pennycook, professeur adjoint de technologie comportementale à l’université associé aux collèges de commerce Hill/Levene de Regina; plus Rand, qui est le professeur Erwin H. Schell et professeur de technologie de gestion et de sciences cognitives et cérébrales au MIT, et réalisateur de l’Used Cooperation Lab du MIT.
Une masse critique associée aux lecteurs
Afin de mener l’étude, les chercheurs ont utilisé 207 articles de presse que la formule interne de Facebook a identifiés comme nécessitant une vérification des faits, peut-être parce qu’il y avait des raisons de croire qu’ils étaient difficiles ou simplement parce qu’ils avaient été largement discutés ou étaient sur des sujets importants comme la santé. Le test a déployé 1 128 occupants américains à l’aide de la plate-forme Mechanized Turk d’Amazon.
Ces participants ont reçu le titre plus la phrase principale associée à 20 reportages et ont été invités à répondre à sept questions : dans quelle mesure l’histoire avait-elle été « exacte », « véridique », « fiable », « digne de confiance », « « objectif », » « » « impartiale » et “décrire[ing] un événement qui s’est vraiment produit » – pour créer une évaluation globale de l’exactitude de chaque élément d’information.
Simultanément, trois vérificateurs de faits professionnels ont reçu les 207 histoires – invités à juger les histoires juste après les avoir recherchées. Conformément à d’autres études sur la vérification des faits, bien que les classements des vérificateurs des faits aient été fortement corrélés les uns aux autres, leur accord était loin d’être parfait. Dans environ 49 % des cas, les trois vérificateurs des faits ont tous décidé du verdict approprié en ce qui concerne la facticité d’une histoire ; près de 42 % des fois, deux des trois vérificateurs des faits étaient d’accord ; environ 9 % des fois, les trois vérificateurs des faits avaient chacun un classement différent.
Curieusement, une fois que les lecteurs réguliers embauchés pour l’étude avaient été classés en groupes avec le même nombre de démocrates et de républicains, leurs notes typiques étaient extrêmement corrélées avec les notes des experts fact-checkers – et avec au moins le nombre à deux chiffres de visiteurs. impliqués, les évaluations de la foule étaient fortement corrélées avec les fact-checkers comme les fact-checkers le font entre eux.
“Ces lecteurs n’avaient pas été formés à la vérification des faits, et ils n’avaient lu que les titres particuliers et les phrases clés de l’entreprise, et même de manière à pouvoir égaler les performances particulières des vérificateurs des faits”, déclare Allen.
Bien qu’il puisse sembler surprenant au départ que la foule de douze à vingt visiteurs puisse égaler les performances particulières d’experts en vérification des faits, il s’agit d’un exemple supplémentaire d’une sensation classique : la sagesse associée aux foules. Dans un éventail d’applications, il a été constaté que des groupes de profanes correspondaient ou dépassaient la performance particulière des jugements professionnels. La recherche actuelle montre que cela peut se produire même dans le contexte extrêmement polarisant associé à l’identification de la désinformation.
Les individus de l’expérience ont également pris les connaissances politiques pour vous assurer un test de leur inclination à penser de manière analytique. En général, les évaluations des personnes qui connaissaient mieux les problèmes civiques et qui s’engageaient dans une réflexion beaucoup plus analytique étaient plus conformes à celles des vérificateurs des faits.
« Les personnes qui participaient à plus de raisonnement et qui étaient plus expérimentées étaient plus d’accord avec tous les vérificateurs des faits », explique Seite. «Et ce qui était vrai, qu’il s’agisse de démocrates ou de conservateurs. ”
Mécanismes de participation
Les chercheurs en particulier disent que la conclusion particulière pourrait être utilisée de plusieurs manières – et notez que certains mastodontes du marketing des médias sociaux essaient positivement de faire fonctionner le crowdsourcing. Facebook comprend un programme, appelé Neighbourhood Review, où des profanes sont embauchés afin d’évaluer le contenu de l’actualité ; Twitter a son propre projet, Birdwatch, qui recueille les commentaires des lecteurs concernant la véracité des publications sur Twitter. La sagesse associée aux foules peut éventuellement être utilisée pour aider à appliquer des étiquettes destinées au public au contenu, ou pour informer les algorithmes de classement et le contenu avec lequel les gens sont présentés pour commencer.
Certes, notent les auteurs, tout type d’organisation utilisant le crowdsourcing doit trouver un bon système de participation des lecteurs. Si la participation est ouverte à tout le monde, il est possible que le processus de crowdsourcing soit indûment influencé par des partisans.
« Nous n’avons pas encore testé cela dans un environnement où chacun peut choisir », note Allen. « Les plateformes ne devraient jamais nécessairement s’attendre à ce que d’autres techniques de crowdsourcing produisent des résultats tout aussi positifs. ”
D’un autre côté, Rand déclare que les organisations d’information et de réseautage social devraient découvrir des moyens d’obtenir un nombre suffisant de groupes de personnes évaluant positivement les produits d’information, afin de faire fonctionner le crowdsourcing.
« La plupart des gens n’accordent pas assez d’importance à la politique et au traitement pour essayer d’avoir un impact sur les choses », dit Seite. «Mais le problème particulier est que si vous laissez les gens fixer le prix du contenu qu’ils souhaitent, les seuls à le faire seront ceux qui veulent jouer avec l’appareil. Pourtant, pour moi, une préoccupation plus grande que d’être submergé par des fanatiques est le problème que personne ne le ferait. Il s’agit d’un problème classique de biens communautaires : la communauté dans son ensemble bénéficie des individus identifiant la désinformation, mais pourquoi les utilisateurs devraient-ils s’embêter à investir du temps et des efforts pour donner des classements ? ”
Recherche : 1er septembre 2021, Avancées technologiques .
DOI : 10. 1126/sciadv. abf4393
La recherche a été soutenue, simplement, par la William plus Flora Hewlett Basis, la John Templeton Foundation et le projet Totally reset de Luminate Task Limited du groupe Omidyar. Allen est vraiment un ancien employé de Facebook qui a toujours un intérêt financier dans Facebook ; d’autres études simplement par Rand sont soutenues, en partie, par les moteurs de recherche.
