ÔpenAI a publié jeudi son modèle d’IA le plus avancé à ce jour, appelé o1, destiné aux utilisateurs payants. Le lancement a donné le coup d’envoi de l’activité «12 jours d’OpenAI» : une douzaine de sorties consécutives pour célébrer les fêtes de fin d’année.
OpenAI a vanté les capacités de « raisonnement complexe » de o1 et a annoncé jeudi qu’un accès illimité au modèle coûterait 200 dollars par mois. Dans le vidéo publié par la société pour montrer les points forts du modèle, un utilisateur télécharge une photo d’un nichoir en bois et demande au modèle des conseils sur la façon d’en construire un similaire. Le modèle « réfléchit » pendant une courte période, puis crache ce qui, à première vue, semble être un ensemble complet d’instructions.
Un examen attentif révèle que les instructions sont presque inutiles. L’IA mesure la quantité de peinture, de colle et de scellant requise pour la tâche en pouces. Il donne uniquement les dimensions du panneau avant du nichoir, et aucune autre. Il recommande de couper un morceau de papier de verre à une autre série de dimensions, sans raison apparente. Et dans une partie distincte de la liste d’instructions, il est indiqué « les dimensions exactes sont les suivantes… », puis ne donne aucune dimension exacte.
« Vous en sauriez autant sur la construction du nichoir à partir de l’image qu’à partir du texte, ce qui va à l’encontre de l’objectif même de l’outil d’IA », déclare James Filus, directeur de l’Institute of Carpenters, une entreprise commerciale basée au Royaume-Uni. corps, dans un e-mail. Il note que la liste des matériaux comprend des clous, mais que la liste des outils requis n’inclut pas de marteau, et que le coût de construction du simple nichoir serait « loin d’être proche » des 20 à 50 $ estimés par o1. « Dire simplement » installer une petite charnière « ne couvre pas vraiment ce qui est peut-être la partie la plus complexe de la conception », ajoute-t-il, faisant référence à une autre partie de la vidéo qui prétend expliquer comment ajouter un toit ouvrant au nichoir.
OpenAI n’a pas immédiatement répondu à une demande de commentaire.
Ce n’est que le dernier exemple d’une démonstration de produit d’IA faisant le contraire de son objectif prévu. L’année dernière, une annonce Google car un outil de recherche assisté par IA a déclaré à tort que le télescope James Webb avait fait une découverte qu’il n’avait pas fait, une gaffe qui a fait chuter le cours des actions de la société. Plus récemment, une version mise à jour d’un outil Google similaire a indiqué aux premiers utilisateurs qu’il était sécuritaire de manger des pierres et qu’ils pouvaient utiliser de la colle pour coller du fromage sur leur pizza.
L’o1 d’OpenAI, qui selon les benchmarks publics est son modèle le plus performant à ce jour, adopte une approche différente de ChatGPT pour répondre aux questions. Il s’agit toujours essentiellement d’un prédicteur de mot suivant très avancé, formé grâce à l’apprentissage automatique sur des milliards de mots de texte provenant d’Internet et au-delà. Mais au lieu de cracher immédiatement des mots en réponse à une invite, il utilise une technique appelée raisonnement en « chaîne de pensée » pour essentiellement « réfléchir » à une réponse pendant un certain temps en coulisses, puis ne donne sa réponse qu’après cela. Cette technique donne souvent des réponses plus précises que le fait qu’un modèle crache une réponse par réflexe, et OpenAI a vanté les capacités de raisonnement de o1, en particulier lorsqu’il s’agit de mathématiques et de codage. Il peut répondre avec précision à 78 % des questions scientifiques de niveau doctorat, selon les données d’OpenAI. publié aux côtés d’une version préliminaire du modèle sortie en septembre.
Mais il est clair que certaines erreurs logiques fondamentales peuvent encore passer.
