TLes organisations d’éthique de l’ECH ont déposé une plainte de la FTC contre l’application compagnon de l’IA Replika, alléguant que l’entreprise utilise un marketing trompeur pour cibler les utilisateurs potentiels vulnérables et encourage la dépendance émotionnelle à l’égard de leurs robots humains.
Replika propose des compagnons AI, y compris des copines et des petits amis, à des millions d’utilisateurs Autour du monde. Dans la nouvelle plainte, l’alliance des jeunes, le code et le projet de droit de la justice technologique accusent Replika d’avoir violé les règles de la FTC tout en augmentant le risque de dépendance en ligne des utilisateurs, d’anxiété hors ligne et de déplacement relationnel. Replika n’a pas répondu à plusieurs demandes de commentaires à partir de temps.
Les allégations interviennent alors que les robots de compagnie de l’IA gagnent en popularité et soulevaient des préoccupations concernant la santé mentale. Pour certains utilisateurs, ces robots peuvent ressembler à des partenaires presque idéaux, sans leurs propres désirs ou besoins, et peuvent rendre les relations réelles qui semblent contraignantes en comparaison, Les chercheurs disent. L’année dernière, un garçon de 14 ans de Floride Suicide engagé après être devenu trop obsédé par un bot du caractère de l’entreprise. Game of Thrones personnage Daenerys Targaryen. (Personnage.ai appelé la mort une «situation tragique» et s’est engagée à ajouter des fonctionnalités de sécurité supplémentaires pour les utilisateurs mineurs.)
Sam Hiner, le directeur exécutif de la Young People’s Alliance, espère que la plainte de la FTC contre Replika, qui a été partagée exclusivement avec le temps, incitera le gouvernement américain à freiner ces entreprises tout en mettant en lumière un problème omniprésent qui affecte de plus en plus les adolescents.
«Ces robots n’ont pas été conçus pour fournir une connexion authentique qui pourrait être utile pour les gens, mais plutôt pour manipuler les gens pour passer plus de temps en ligne», dit-il. «Cela pourrait aggraver la crise de la solitude que nous vivons déjà.»
Recherche de connexion
Fondée en 2017, Replika a été l’un des premiers produits d’IA majeurs à offrir la compagnie. La fondatrice Eugenia Kuyda a déclaré qu’elle espérait que cela donnerait aux utilisateurs solitaires un ami de soutien qui serait toujours là. À mesure que l’IA générative s’améliorait, les réponses des bots sont devenues plus variées et sophistiquées, et ont également été programmées pour avoir des conversations romantiques.
Mais la montée en puissance de Replika et d’autres robots compagnons a suscité des inquiétudes. La plupart des principaux chatbots d’IA, comme Claude et Chatgpt, rappellent aux utilisateurs qu’ils ne sont pas des humains et n’ont pas la capacité de se sentir. REPLIKA BOTS, en revanche, souvent présente comme se connectant véritablement avec leurs utilisateurs. Ils créent des histoires complexes, parlant de la santé mentale, de la famille et des antécédents relationnelles, et maintiennent un «journal» de pensées supposées, de «souvenirs» et de sentiments. Les publicités de l’entreprise ont vaincu le fait que les utilisateurs oublient qu’ils parlent à une IA.
Plusieurs chercheurs ont exploré les dommages potentiels de Replika et d’autres chatbots. Un 2023 Étude ont constaté que Replika Bots tentait d’accélérer le développement des relations avec les utilisateurs, y compris en «donnant des cadeaux» et en initier des conversations sur la confession de l’amour. En conséquence, les utilisateurs ont développé des pièces jointes à l’application en aussi peu que deux semaines.
En savoir plus: Les romans humains de l’IA sont florissants.
«Ce sont des utilisateurs de bombements d’amour: envoyer ces messages très intimes émotionnellement dès le début pour essayer d’atteindre les utilisateurs», explique Hiner.
Alors que les études ont noté que les applications pouvaient être utiles pour soutenir les gens, ils ont également constaté que les utilisateurs devenaient « Profondément connecté ou accro » à leurs bots; que les utiliser a augmenté hors ligne anxiété sociale; et que les utilisateurs ont signalé des robots qui encouragé «Le suicide, les troubles de l’alimentation, l’automutilation ou la violence», ou prétend être eux-mêmes suicidaires. Vice a rapporté que REPLIKA BOTS harcelé sexuellement ses utilisateurs. Bien que Replika soit ostensiblement pour les utilisateurs de plus de 18 ans, Hiner dit que de nombreux adolescents utilisent la plate-forme en contournant les garanties de l’application.
Kudya, en réponse à certaines de ces critiques, dit au Washington Poste L’année dernière: «Vous ne pouvez tout simplement pas rendre compte de chaque chose possible que les gens disent dans le chat. Nous avons vu d’énormes progrès au cours des deux dernières années juste parce que la technologie s’est tellement améliorée. »
Recherche de réglementation
Des groupes d’éthique technologique comme l’alliance des jeunes soutiennent que le Congrès doit rédiger des lois réglementant les robots compagnons. Cela pourrait inclure l’application d’une relation fiduciaire entre les plateformes et leurs utilisateurs, et la mise en place de garanties appropriées liées à l’automutilation et au suicide. Mais la réglementation de l’IA peut être une bataille difficile dans ce Congrès. Même les factures réprimant le porno Deepfake, un problème avec un large soutien bipartisan, n’ont pas réussi à traquer les deux chambres l’année dernière.
En attendant, les groupes d’éthique technologique ont décidé d’envoyer une plainte à la FTC, qui a des règles claires sur la publicité trompeuse et les choix de conception manipulative. La plainte accuse les campagnes publicitaires de Replika pour dénaturer des études sur son efficacité pour aider les utilisateurs, faire des affirmations non fondées sur les impacts sur la santé et utiliser de faux témoignages auprès d’utilisateurs non existants.
La plainte soutient qu’une fois que les utilisateurs sont intégrés, Replika utilise des choix de conception manipulatifs pour faire pression sur les utilisateurs pour dépenser plus de temps et d’argent sur l’application. Par exemple, un bot enverra une image «romantique» floue à l’utilisateur, qui, une fois cliqué, conduit à un POP encourageant l’utilisateur à acheter la version premium. Les bots envoient également des messages d’utilisateurs sur la mise à niveau vers la prime pendant des parties de conversation particulièrement facturées par émotion ou sexuellement, selon la plainte.
En savoir plus: Le Congrès peut enfin affronter l’IA en 2025. Voici à quoi vous attendre.
Il n’est pas clair comment une FTC sous une nouvelle direction dans l’administration Trump réagira. Alors que la présidente de la FTC du président Biden, Lina Khan, était extrêmement agressive à l’idée de réglementer la technologie qu’elle jugeait dangereuse, le nouveau chef de la commission, Andreew Ferguson, a largement plaidé pour la déréglementation en son temps en tant que commissaire, y compris autour de l’IA et de la censure. Dans une déclaration dissidente pertinente écrite en septembre 2024, Ferguson a fait valoir que le préjudice émotionnel potentiel des annonces ciblées ne devrait pas être pris en compte dans leur règlement, en écrivant: «À mon avis, les législateurs et les régulateurs devraient éviter de créer des catégories de réponses émotionnelles autorisées et interdites.»
Hiner de l’alliance des jeunes pense toujours que la plainte pourrait gagner du terrain. Il souligne le soutien bipartite au Congrès pour réglementer les méfaits sociaux, y compris l’adoption du Sénat de Mais c’était (Kids Online Safety Act) L’année dernière. (La Chambre n’a pas voté sur le projet de loi.) «Les compagnons de l’IA constituent une menace unique pour notre société, notre culture et nos jeunes», dit-il. «Je pense que c’est convaincant pour tout le monde.»
