Un projet qui a révélé que les résumés d’IA sont susceptibles d’influencer considérablement les décisions d’achat soulève des questions intéressantes et potentiellement troublantes sur la confiance que nous accordons au contenu généré par l’IA.
Les résumés d’IA pourraient influencer la manière dont les individus déterminent quels produits acheter. (Crédit image : wildpixel/Getty Images) Abonnez-vous à notre newsletter
Même si la plupart des Américains déclarent ne pas faire confiance à l’intelligence artificielle (IA), les chercheurs ont découvert une nouvelle métrique surprenante qui semble montrer le contraire : les gens sont plus susceptibles d’acheter quelque chose après avoir lu un résumé d’IA des critiques en ligne qu’un résumé rédigé par un humain. Pourtant, l’IA a eu des hallucinations dans 60 % des cas lorsqu’elle a été interrogée sur les produits.
L’équipe, de l’Université de Californie à San Diego (UDSD), affirme qu’il s’agit de la première étude à démontrer comment les biais cognitifs introduits par les grands modèles linguistiques (LLM) ont des conséquences réelles sur le comportement des utilisateurs. Ils affirment également qu’il s’agit du premier projet à mesurer l’impact quantitatif de l’influence de l’IA sur les individus.
Premièrement, les scientifiques ont demandé à l’IA de résumer les critiques de produits et les interviews dans les médias, avant de demander à l’IA de vérifier l’exactitude de nouvelles descriptions pour déterminer si elles étaient vraies. Dans une seconde tâche, l’IA s’est vu présenter des descriptions sous forme d’articles de presse et des versions falsifiées des mêmes descriptions, qu’elle devait également vérifier.
“La faible précision stricte constante, par rapport à la précision des actualités réelles et des actualités falsifiées, souligne une limitation critique : l’incapacité persistante à différencier de manière fiable le fait de la fabrication”, ont écrit les scientifiques dans l’étude.
La découverte la plus frappante concernait les critiques de produits en ligne. Les participants étaient beaucoup plus susceptibles d’exprimer un intérêt à acheter un produit après avoir lu un résumé de produit généré par l’IA qu’après en avoir lu un rédigé par un critique humain.
Jugement consommateur déformé
Les chercheurs ont proposé deux raisons pour lesquelles les gens étaient plus susceptibles d’acheter sur la base de résumés d’IA. Premièrement, les LLM ont tendance à se concentrer davantage sur le début du texte d’entrée, un phénomène appelé “perdu au milieu”. L’auteur principal, Abeer Alessa, assistant de recherche et maître de conférences en apprentissage automatique et interaction homme-machine, y fait référence dans des recherches antérieures.
Deuxièmement, les LLM deviennent moins fiables lorsqu’ils traitent des informations qui ne sont pas incluses dans leurs données d’entraînement.
“Les modèles ont tendance à se tromper quant à savoir si la description de l’actualité s’est produite ou non”, a déclaré Alessa à Live Science dans une interview. “Il peut indiquer à tort qu’un événement ne s’est jamais produit, même s’il s’est produit après la fin de l’entraînement du modèle.”
Au cours des tests, l’équipe a constaté que les chatbots modifiaient les sentiments des critiques d’utilisateurs réels dans 26,5 % des cas et qu’ils hallucinaient dans 60 % des cas lorsque les utilisateurs posaient des questions sur les critiques.
Le projet a sélectionné des exemples de critiques de produits avec des conclusions très positives ou très négatives, et 70 sujets ont été invités à lire soit les critiques originales de produits de consommation courants, soit les résumés des critiques générés par les chatbots. Ceux qui ont lu les critiques originales ont déclaré qu’ils achèteraient le produit donné dans 52 % des cas, tandis que ceux qui ont lu les résumés générés par l’IA ont déclaré qu’ils effectueraient un achat dans 84 % des cas.
Le projet a utilisé six LLM ; 1 000 critiques d’appareils électroniques ; 1 000 interviews médiatiques ; et une base de données d’actualités de 8 500 articles. Ils ont mesuré les biais en quantifiant les changements de cadrage dans le sentiment du contenu, la surdépendance au texte antérieur dans les échantillons et les hallucinations.
Lorsque les participants ont lu des résumés de critiques de produits positifs, ils ont déclaré qu’ils achèteraient le produit dans 83,7 % des cas, contre 52,3 % lorsqu’ils lisaient les critiques originales.
Les scientifiques ont conclu que même des changements subtils dans le cadrage peuvent déformer considérablement le jugement et le comportement d’achat des consommateurs.
Les auteurs ont reconnu que leurs tests se déroulaient dans un scénario à faible enjeu, mais ont averti que l’impact pourrait être plus extrême dans des situations à risque plus élevé.
“Certains scénarios à fort enjeu incluent la synthèse de documents de santé ou de profils d’étudiants dans les admissions scolaires”, a déclaré Alessa. “Dans ces contextes, les changements de cadrage peuvent affecter la perception d’une personne ou d’un dossier.”
L’équipe a déclaré dans une déclaration supplémentaire que cet article représente une étape vers une analyse et une atténuation prudentes de la modification de contenu induite par les LLM chez les humains, et fournit un aperçu de ses effets. Ils ont déclaré que cela pourrait réduire le risque de biais systémique dans des domaines tels que les médias, l’éducation et les politiques publiques.
Sourse: www.livescience.com