Ce nouveau département au sein d’OpenAI se penchera sur les dangers associés à l’intelligence artificielle, y compris les menaces nucléaires.
OpenAI forme actuellement une nouvelle équipe pour évaluer les « risques catastrophiques » associés à l’IA, selon ses propres mots. Dans une publication sur son blog (en anglais) la semaine dernière, la société de développement d’intelligence artificielle indique que son équipe de préparation (Preparedness team) va « suivre, évaluer, prévoir et protéger » contre les scénarios catastrophes que pourraient causer l’IA, y compris les menaces nucléaires.
OpenAI veut montrer qu’elle prend au sérieux l’ensemble des risques de sécurité liés à l’IA…
Les inquiétudes autour de l’IA ne sont pas nouvelles, mais se sont amplifiées depuis un an avec l’ouverture des chatbots et des grands modèles de langage à un plus large public. Les problématiques soulevées vont des questions de droit d’auteur à des scénarios beaucoup plus sombres.
L’équipe mise en place par OpenAI se penchera sur les risques en matière de cybersécurité, les menaces chimiques, biologiques, radiologiques et nucléaires, ou encore la « réplication et l’adaptation autonome », c’est-à-dire le fait pour une IA de se répliquer elle-même.
Dans sa publication, OpenAI note : « Nous pensons que les modèles IA d’avant-garde, qui dépasseront les capacités actuelles des modèles existants, les plus avancés, ont le potentiel de profiter à l’ensemble de l’humanité. Mais, ils posent également des risques de plus en plus graves ».
Le professeur Aleksander Madry, actuellement en congé de son poste de directeur du Center for Deployable Machine Learning du MIT, dirigera cette nouvelle équipe. OpenAI précise également que l’équipe de préparation développera et maintiendra une « une politique de développement tenant compte des risques », qui guidera les mesures prises par la société pour évaluer et contrôler ses modèles IA.
Le patron d’OpenAI, Sam Altman, avait déjà mis en garde contre les scénarios catastrophes liés à l’IA. Au mois de mai dernier, le PDG de la société et d’autres acteurs du secteur de l’intelligence artificielle, dont d’éminents chercheurs, ont publié une déclaration de 22 mots selon laquelle : « L’atténuation du risque d’extinction dû à l’IA devrait être une priorité mondiale ». Lors d’une interview en mai dernier, Sam Altman avait également suggéré que les gouvernements devraient traiter l’IA « aussi sérieusement » que les armes nucléaires.
