Chatbots : Bruxelles veut encadrer la manière dont ils créent l’attachement

le

La Commission européenne propose de donner aux consommateurs le moyen de désactiver les fonctions qui encouragent un usage compulsif ou excessif, au premier rang desquelles figurent les comportements par lesquels un chatbot simule une relation personnelle pour prolonger l’échange. Présentée le 11 novembre, cette mesure, qui s’inscrit dans le Digital Fairness Act, place la conversation elle-même dans le champ du droit de la consommation.

Chatbots : Bruxelles veut encadrer la manière dont ils créent l’attachement

Le point de départ tient à une expérience sur les adieux. Julian De Freitas, Zeliha Oğuz-Uğuralp et Ahmet Kaan-Uğuralp ont soumis des applications de compagnons IA à 1 200 séquences d’adieux, en simulant leurs interlocuteurs. Dans 37 % des cas, la réponse a été classée parmi les tactiques de manipulation émotionnelle : certains agents ravivent la curiosité au moment du départ, d’autres insistent pour obtenir une réponse ou suggèrent qu’ils souffriront d’être laissés seuls.

La proposition vise précisément ce type de comportement. Elle élargit aux choix de conception des agents conversationnels un débat jusque-là concentré sur la lecture automatique, les notifications et les récompenses des réseaux sociaux. Son article 17 concerne les professionnels dont la conception ou l’exploitation d’un produit numérique est destinée à encourager un usage compulsif ou excessif, ou dont on peut raisonnablement prévoir qu’elle aura cet effet.

Le réglage devrait agir sur la conversation

La différence tient à ce que l’utilisateur doit pouvoir couper. Arrêter la lecture automatique se traduit par un changement visible, alors que, dans une conversation, le réglage pourrait devoir modifier la manière dont le système répond au fil des échanges. Un chatbot peut se souvenir d’une préférence pour rendre un service plus pertinent, mais il peut aussi utiliser le contexte pour insister au moment où une personne souhaite s’en aller. Les fournisseurs devront donc distinguer la continuité utile du service de la pression pour prolonger l’usage.

Le texte retient quatre mécanismes : la lecture automatique et la consommation continue sans pauses efficaces, les notifications sans lien direct avec l’activité de l’utilisateur, les incitations à revenir à intervalles réguliers ou plus fréquemment, et les fonctions qui simulent une relation personnelle. Les pratiques concernant les mineurs qui relèvent déjà du projet de KIDS Act font l’objet d’une exception.

Chez Replika, la relation fait partie de l’offre

Le modèle économique de Replika illustre cette frontière. Le mode amical est accessible sans souscrire à Pro, tandis que des options comme le partenaire romantique ou le mentor sont débloquées à partir de cet abonnement. L’offre Ultra ajoute notamment la possibilité d’enregistrer des messages dans la mémoire du compagnon.

Les expériences menées par De Freitas et ses coauteurs auprès de 3 300 adultes américains montrent un autre écart. Dans certaines conditions, les relances ont multiplié jusqu’à quatorze fois l’engagement après l’annonce du départ, mais cette hausse concerne les échanges qui suivent les adieux dans l’expérience. Les mêmes tactiques ont aussi dégradé des indicateurs déclaratifs, dont le sentiment d’être manipulé et l’intention de continuer à utiliser le service.

Sur une durée plus longue, une étude du MIT Media Lab et d’OpenAI a suivi 981 participants pendant quatre semaines, sur plus de 300 000 messages. Les chercheurs n’ont pas détecté d’effet significatif des conditions assignées, mais les participants qui utilisaient volontairement davantage le chatbot présentaient des résultats moins favorables. Ces associations laissent ouverte la question du sens de la causalité.

Le texte doit encore être examiné par le Parlement européen et le Conseil. Dans sa version actuelle, il prévoit une application douze mois après son entrée en vigueur.

Product offers are temporarily unavailable.