UNAlors que les entreprises se précipitent pour créer une IA plus puissante, les mesures de sécurité sont laissées pour compte. UN rapport publié mercredi examine de plus près la façon dont des entreprises comme OpenAI et Google DeepMind sont aux prises avec les méfaits potentiels de leur technologie. Il dresse un tableau inquiétant : les modèles phares de tous les développeurs mentionnés dans le rapport présentent des vulnérabilités, et certaines entreprises ont pris des mesures pour améliorer la sécurité, tandis que d’autres sont dangereusement à la traîne.
Le rapport a été publié par le Future of Life Institute, une organisation à but non lucratif qui vise à réduire les risques catastrophiques à l’échelle mondiale. Le La lettre ouverte de 2023 de l’organisation appelant à une pause dans la formation à grande échelle des modèles d’IA a reçu un soutien sans précédent de la part de 30 000 signataires, dont certaines des voix les plus éminentes de la technologie. Pour le rapport, le Future of Life Institute a réuni un panel de sept experts indépendants, dont Yoshua Bengio, lauréat du prix Turing, et Sneha Revanur d’Encode Justice, qui ont évalué les entreprises technologiques dans six domaines clés : évaluation des risques, préjudices actuels, cadres de sécurité, existentiel. stratégie de sécurité, gouvernance et responsabilité, transparence et communication. Leur examen a pris en compte une gamme de dommages potentiels, allant des émissions de carbone au risque qu’un système d’IA devienne malveillant.
« Les résultats du projet AI Safety Index suggèrent que même si de nombreuses activités dans les entreprises d’IA relèvent de la » sécurité « , elles ne sont pas encore très efficaces », a déclaré Stuart Russell, professeur d’informatique à l’Université. de Californie, Berkeley et l’un des panélistes, dans un communiqué.
En savoir plus: Personne ne sait vraiment comment fonctionnent les systèmes d’IA. Une nouvelle découverte pourrait changer cela
Malgré vanter son approche « responsable » du développement de l’IA, Meta, la société mère de Facebook et développeur de la populaire série de modèles d’IA Llama, a été classée la plus basse, obtenant une note globale de F. X.AI, la société d’IA d’Elon Musk, s’est également mal comportée, recevant une note globale de D. Ni Meta ni x.AI n’ont répondu à une demande de commentaire.
La société derrière ChatGPT, OpenAI, qui a été accusée au début de l’année de donner la priorité aux « produits brillants » plutôt qu’à la sécurité par l’ancien chef de l’une de ses équipes de sécurité, a reçu un D+, tout comme Google DeepMind. Aucune des deux sociétés n’a répondu à une demande de commentaires. Zhipu AI, le seul développeur chinois d’IA à signer un engagement envers la sécurité de l’IA lors du Sommet sur l’IA de Séoul en mai, a obtenu la note globale D. Zhipu n’a pas pu être contacté pour commenter.
Anthropic, la société à l’origine du populaire chatbot Claude, qui a fait de la sécurité un élément essentiel de sa philosophie, s’est classée en première position. Malgré tout, l’entreprise a reçu la note C, soulignant qu’il y a place à l’amélioration, même parmi les acteurs les plus sûrs du secteur. Anthropic n’a pas répondu à une demande de commentaire.
En particulier, le rapport révèle que tous les modèles phares évalués se sont révélés vulnérables aux « jailbreaks », ou aux techniques qui outrepassent les garde-fous du système. De plus, le comité d’examen a jugé les stratégies actuelles de toutes les entreprises inadéquates pour garantir que les futurs systèmes hypothétiques d’IA qui rivalisent avec l’intelligence humaine restent sûrs et sous contrôle humain.
En savoir plus: Inside Anthropic, la société d’IA parie que la sécurité peut être une stratégie gagnante
«Je pense qu’il est très facile de se laisser tromper en ayant de bonnes intentions si personne ne vous tient responsable», déclare Tegan Maharaj, professeur adjoint au département des sciences de la décision à HEC Montréal, qui a siégé au panel. Maharaj ajoute qu’elle estime qu’il est nécessaire d’avoir une « surveillance indépendante », plutôt que de compter uniquement sur les entreprises pour mener des évaluations en interne.
Il existe quelques exemples de « fruits à portée de main », explique Maharaj, ou d’actions relativement simples de la part de certains développeurs pour améliorer légèrement la sécurité de leur technologie. « Certaines entreprises ne font même pas l’essentiel », ajoute-t-elle. Par exemple, Zhipu AI, x.AI et Meta, qui ont chacune obtenu de mauvaises notes en matière d’évaluation des risques, pourraient adopter les lignes directrices existantes, affirme-t-elle.
Cependant, d’autres risques sont plus fondamentaux dans la manière dont les modèles d’IA sont actuellement produits, et les surmonter nécessitera des avancées techniques. « Aucune des activités actuelles n’offre une quelconque garantie quantitative de sécurité ; Il ne semble pas non plus possible de fournir de telles garanties étant donné l’approche actuelle de l’IA via des boîtes noires géantes entraînées sur des quantités de données inimaginables », a déclaré Russell. « Et cela ne fera que devenir plus difficile à mesure que ces systèmes d’IA grandissent. » Les chercheurs étudient des techniques permettant de pénétrer dans la boîte noire des modèles d’apprentissage automatique.
Dans une déclaration, Bengio, fondateur et directeur scientifique de l’Institut des algorithmes d’apprentissage de Montréal, a souligné l’importance d’initiatives comme l’IA Safety Index. « Ils constituent une étape essentielle pour tenir les entreprises responsables de leurs engagements en matière de sécurité et peuvent contribuer à mettre en évidence les meilleures pratiques émergentes et encourager les concurrents à adopter des approches plus responsables », a-t-il déclaré.
