ÔLe co-fondateur de penAI, Ilya Sutskever, a fait des vagues en novembre lorsqu’il suggéré que les progrès de l’IA ralentissent, expliquant que la simple mise à l’échelle des modèles d’IA ne permettait plus d’obtenir des gains de performances proportionnels.
Les commentaires de Sutskever font suite à des rapports publiés dans Les informations et Bloomberg que Google et Anthropic connaissaient également des ralentissements similaires. Cela a conduit à un vague de articles déclarant que IA les progrès se sont heurtés à un mur, donnant encore plus de crédit au sentiment de plus en plus répandu selon lequel les capacités des chatbots ne se sont pas améliorées de manière significative depuis qu’OpenAI a publié GPT-4 en mars 2023.
Le 20 décembre, OpenAI a annoncé o3, son dernier modèle, et signalé de nouvelles performances de pointe sur un certain nombre de références techniques les plus difficiles, améliorant dans de nombreux cas le score élevé précédent de points de pourcentage à deux chiffres. Je crois que o3 signale que nous sommes dans une nouveau paradigme du progrès de l’IA. Et François Chollet, co-créateur de l’éminent benchmark ARC-AGI, que certains considèrent comme un sceptique en matière de mise à l’échelle de l’IA, écrit que le modèle représente une « véritable avancée ».
Cependant, dans les semaines qui ont suivi l’annonce d’O3 par OpenAI, de nombreux courants dominants les sites d’information n’ont fait aucune mention du nouveau modèle. Au moment de l’annonce, les lecteurs trouveraient des titres au Le journal Wall Street, CÂBLÉet le New York Times suggérant que l’IA ralentissait en fait. La réponse silencieuse des médias suggère qu’il existe un fossé grandissant entre ce que voient les initiés de l’IA et ce que dit le public.
En effet, les progrès de l’IA ne sont pas au point mort : ils sont simplement devenus invisibles pour la plupart des gens.
Automatiser la recherche en coulisse
Premièrement, les modèles d’IA parviennent de mieux en mieux à répondre à des questions complexes. Par exemple, en juin 2023, le meilleur modèle d’IA à peine marqué mieux que le hasard sur le set le plus difficile de « À l’épreuve de Google » Questions scientifiques de niveau doctorat. En septembre, le modèle o1 d’OpenAI est devenu le premier système d’IA à dépasser les scores des experts du domaine humain. Et en décembre, le modèle o3 d’OpenAI amélioré sur ces scores de 10% supplémentaires.
Cependant, la grande majorité des gens ne remarqueront pas ce type d’amélioration parce qu’ils n’effectuent pas de travaux scientifiques de niveau universitaire. Mais ce serait un énorme problème si l’IA commençait à accélérer de manière significative la recherche et le développement dans les domaines scientifiques, et il existe des preuves qu’une telle accélération est déjà en train de se produire. Une révolution papier par Aidan Toner-Rodgers du MIT a récemment découvert que les scientifiques des matériaux assistés par les systèmes d’IA « découvrent 44 % de matériaux en plus, ce qui entraîne une augmentation de 39 % des dépôts de brevets et une augmentation de 17 % de l’innovation de produits en aval ». Pourtant, 82 % des scientifiques déclarent que les outils d’IA ont réduit leur satisfaction au travail, citant principalement « une sous-utilisation des compétences et une créativité réduite ».
Mais le Saint Graal pour les entreprises d’IA est un système capable d’automatiser la recherche en IA elle-même, permettant ainsi en théorie explosion dans capacités qui stimule le progrès dans tous les autres domaines. Les progrès récents réalisés dans ce domaine pourraient être encore plus spectaculaires que ceux réalisés dans le domaine des sciences dures.
Dans le but de fournir des tests plus réalistes des capacités de programmation de l’IA, les chercheurs développé Banc SWEune référence qui évalue dans quelle mesure les agents d’IA peuvent résoudre les problèmes ouverts réels dans les logiciels open source populaires. Le meilleur score sur l’indice de référence vérifié il y a un an était de 4,4%. Le meilleur score aujourd’hui est plus proche de 72%réalisé par le modèle o3 d’OpenAI.
Cette amélioration remarquable – depuis la difficulté avec les correctifs les plus simples jusqu’à la gestion réussie de près des trois quarts de l’ensemble des tâches de codage du monde réel – suggère que les systèmes d’IA acquièrent rapidement la capacité de comprendre et de modifier des projets logiciels complexes. Cela marque une étape cruciale vers l’automatisation d’une partie importante de la recherche et du développement de logiciels. Et ce processus semble bien engagé. Le PDG de Google récemment dit investisseurs que « plus d’un quart de tout nouveau code chez Google est généré par l’IA ».
Une grande partie de ces progrès a été motivée par des améliorations apportées au « échafaudage » construit autour de modèles d’IA comme GPT-4o, qui augmentent leur autonomie et leur capacité à interagir avec le monde. Même sans améliorations supplémentaires des modèles de base, un meilleur échafaudage peut rendre l’IA beaucoup plus performante et agentique : un mot que les chercheurs utilisent pour décrire un modèle d’IA. qui peuvent agir de manière autonome, prendre des décisions et s’adapter à des circonstances changeantes. la capacité pour utiliser des outils et entreprendre des actions en plusieurs étapes au nom d’un utilisateur. Transformer les chatbots passifs en agents n’a fait que devenir un noyau se concentrer de l’industrie au cours de la dernière année, et les progrès ont été rapides.
Le meilleur face-à-face entre ingénieurs d’élite et agents d’IA a peut-être été publié en novembre par METR, un groupe leader en évaluation de l’IA. Les chercheurs ont créé des tâches d’apprentissage automatique nouvelles, réalistes, stimulantes et non conventionnelles pour comparer les experts humains et les agents d’IA. Alors que les agents IA ont battu les experts humains avec deux heures de travail équivalent, l’ingénieur médian a gagné sur des échelles de temps plus longues.
Mais même après huit heures, les meilleurs agents d’IA ont réussi à battre bien plus d’un tiers des experts humains. Les chercheurs du METR souligné qu’il y a eu « un effort relativement limité pour configurer les agents d’IA afin qu’ils réussissent les tâches, et nous nous attendons fortement à ce qu’une meilleure élicitation se traduise par de bien meilleures performances sur ces tâches ». Ils ont également souligné à quel point les agents IA étaient moins chers que leurs homologues humains.
Le problème de l’innovation invisible
Les améliorations cachées de l’IA au cours de l’année dernière ne représentent peut-être pas un bond aussi important en termes de performances globales que le saut entre GPT-3.5 et GPT-4. Et il est possible que nous ne constations plus jamais un saut aussi important. Mais le discours selon lequel il n’y a pas eu beaucoup de progrès depuis lors est miné par d’importantes avancées passées sous le radar. Et ces progrès invisibles pourraient nous laisser dangereusement mal préparés à ce qui est à venir.
Le grand risque est que les décideurs politiques et le public ignorent ces progrès parce qu’ils ne peuvent pas constater directement les améliorations. Les utilisateurs quotidiens seront toujours confrontés à des hallucinations fréquentes et à des échecs de raisonnement de base, qui sont également triomphalement amplifiés par les sceptiques de l’IA. Ces erreurs évidentes permettent facilement d’ignorer les progrès rapides de l’IA dans des domaines plus spécialisés.
Il existe un point de vue commun dans le monde de l’IA, partagé à la fois par les partisans et les opposants de la réglementation, selon lequel le gouvernement fédéral américain n’imposera pas de garde-fous sur la technologie à moins qu’il n’y ait un incident galvanisant majeur. Un tel incident, souvent appelé « coup de semonce », pourrait être inoffensif, comme une démonstration crédible des capacités dangereuses de l’IA qui ne font de mal à personne. Mais cela pourrait aussi prendre la forme d’une catastrophe majeure provoquée ou rendue possible par un système d’IA, ou d’une société bouleversée par une automatisation dévastatrice du travail.
Le pire des cas est que les systèmes d’IA deviennent puissants et effrayants, mais aucun coup de semonce n’est tiré (ou pris en compte) avant qu’un système n’échappe définitivement au contrôle humain et agit de manière décisive contre nous.
Le mois dernier, Apollo Research, un groupe d’évaluation qui travaille avec les plus grandes sociétés d’IA, publié la preuve que, dans de bonnes conditions, les modèles d’IA les plus performants étaient capables de comploter contre leurs développeurs et leurs utilisateurs. Lorsqu’on leur donnait l’instruction de suivre strictement un objectif, les systèmes tentaient parfois de renverser la surveillance, de simuler l’alignement et de cacher leurs véritables capacités. Dans de rares cas, les systèmes ont adopté un comportement trompeur sans que les évaluateurs ne leur donnent un coup de pouce. Lorsque les chercheurs ont examiné le raisonnement des modèles, ils ont trouvé que les chatbots savaient ce qu’ils faisaient, utilisant un langage comme « sabotage, mensonge, manipulation ».
Cela ne veut pas dire que ces modèles sont sur le point de conspirer contre l’humanité. Mais il y a une tendance inquiétante : à mesure que les modèles d’IA deviennent plus intelligents, ils s’améliorent dans leurs capacités. instructions suivantes et comprendre l’intention derrière leurs lignes directrices, mais ils s’améliorent également en matière de tromperie. Les modèles plus intelligents peuvent également être plus susceptibles d’adopter des comportements dangereux. Par exemple, l’un des le plus capable les modèles, o1 d’OpenAI, étaient loin plus probable doubler son mensonge après avoir été attrapé par les évaluateurs d’Apollo.
Je crains que l’écart entre l’image publique de l’IA et ses véritables capacités ne se creuse. Alors que les consommateurs voient des chatbots qui je ne peux pas compter Avec les lettres en « fraise », les chercheurs documentent des systèmes qui peuvent rivaliser avec l’expertise d’un doctorat et se livrer à une tromperie sophistiquée. Ce décalage croissant rend plus difficile pour le public et les décideurs politiques d’évaluer les progrès réels de l’IA – progrès qu’ils devront comprendre pour la gouverner de manière appropriée. Le risque n’est pas que le développement de l’IA soit au point mort ; c’est que nous perdons notre capacité à savoir où il va.
