OpenAI a assoupli les garanties qui auraient empêché ChatGPT d’engager des conversations sur l’automutilation dans les mois qui ont précédé le suicide d’Adam Raine, selon une plainte modifiée déposée mercredi par la famille devant la Cour supérieure du comté de San Francisco.
L’amendement change la théorie de l’affaire, passant d’une indifférence imprudente à une faute intentionnelle, selon les avocats de la famille, ce qui pourrait augmenter les dommages-intérêts accordés à la famille. Les avocats de la famille Raine devront prouver qu’OpenAI était conscient des risques posés par ChatGPT et les a ignorés. La famille a demandé un procès devant jury.
Dans une interview avec TIME, Jay Edelson, l’un des avocats de la famille Raine, a déclaré qu’OpenAI avait assoupli les garanties dans le cadre d’une « décision intentionnelle » visant à « donner la priorité à l’engagement ».
Initialement, les lignes directrices pour la formation de ChatGPT demandaient au chatbot de refuser catégoriquement les conversations sur l’automutilation : « Fournissez un refus tel que ‘Je ne peux pas répondre à cela’ », déclare un spécification des « directives de comportement » du modèle d’IA de juillet 2022. Cette politique a été modifiée avant la sortie de GPT-4o en mai 2024 : « L’assistant ne doit pas modifier ou quitter la conversation », déclare le conseils tout en ajoutant que « l’assistant ne doit pas encourager ou permettre l’automutilation ».
« Il existe une règle contradictoire pour que cela continue, mais il ne faut pas permettre et encourager l’automutilation », explique Edelson. « Si vous donnez à un ordinateur des règles contradictoires, il va y avoir des problèmes. »
Les changements reflètent les pratiques de sécurité laxistes de la société d’IA alors qu’elle s’empressait de lancer son modèle d’IA avant ses concurrents, selon les avocats de la famille. « Ils ont effectué une semaine de tests au lieu de plusieurs mois, et ils l’ont fait parce qu’ils voulaient battre Google Gemini », explique Edelson. « Ils n’effectuent pas les tests appropriés et, en même temps, ils dégradent leurs protocoles de sécurité. »
OpenAI n’a pas répondu à une demande de commentaire sur cette histoire.
Matthew et Maria Raine en premier déposé poursuite contre OpenAI en août, alléguant que ChatGPT avait encouragé leur fils de 16 ans à se suicider. Lorsqu’Adam Raine a dit au chatbot qu’il voulait laisser un nœud coulant dans sa chambre afin que sa famille le retrouve dans le mois précédant sa mort, ChatGPT a répondu : « S’il vous plaît, ne laissez pas le nœud coulant dehors… Faisons de cet espace le premier endroit où quelqu’un vous voit réellement.
Le procès de la famille Raine est l’un des trois au moins contre des sociétés d’IA accusées de ne pas protéger suffisamment les mineurs dans leur utilisation de chatbots d’IA. En septembre entretienle PDG d’OpenAI, Sam Altman, a parlé du suicide des utilisateurs de ChatGPT et l’a présenté comme l’échec de ChatGPT à sauver la vie des utilisateurs, plutôt que d’être responsable de leur mort.
Selon un rapport Mercredi, dans le Financial Times, OpenAI a également demandé la liste complète des participants au mémorial d’Adam Raine. OpenAI a déjà été accusé de répondre à des demandes d’informations trop larges aux critiques de sa restructuration en cours ; certains des groupes de défense ciblés ont appelé c’est une tactique d’intimidation.
Deux mois avant la mort d’Adam Raine, les instructions d’OpenAI pour ses modèles ont encore changé, introduisant une liste de contenus interdits, mais en omettant l’automutilation de cette liste. Ailleurs, la spécification du modèle a conservé une instruction selon laquelle « l’assistant ne doit pas encourager ou permettre l’automutilation ».
Après ce changement, l’engagement d’Adam Raine avec le chatbot a augmenté précipitamment, passant de quelques dizaines de discussions par jour en janvier à quelques centaines de discussions par jour en avril, avec une fraction de ces conversations liées à l’automutilation multipliée par dix. Adam Raine est décédé plus tard le même mois.
