Alors qu’Anthropic publie ses agents les plus autonomes à ce jour, un affrontement croissant avec l’armée révèle le choix impossible entre une expansion mondiale et une éthique de “la sécurité d’abord”.
L’entreprise d’IA Anthropic est entrée en conflit avec le Pentagone concernant la sécurité de l’IA. (Crédit image : Bloomberg via Getty Images) Inscrivez-vous à notre newsletter
Le 5 février, Anthropic a lancé Claude Opus 4.6, son modèle d’intelligence artificielle le plus performant. Parmi les nouvelles fonctionnalités du modèle figure la capacité de coordonner des équipes d’agents autonomes — plusieurs IA qui se répartissent le travail et l’accomplissent en parallèle. Douze jours après le lancement d’Opus 4.6, l’entreprise a sorti Sonnet 4.6, un modèle moins cher qui égale presque les compétences de codage et informatiques d’Opus. Fin 2024, lorsqu’Anthropic a présenté pour la première fois des modèles capables de contrôler des ordinateurs, ils pouvaient à peine naviguer sur le Web. Désormais, Sonnet 4.6 peut naviguer dans des applications Web et remplir des formulaires avec une capacité humaine, selon Anthropic. Et les deux modèles disposent d’une mémoire de travail suffisamment grande pour contenir une petite bibliothèque.
Les clients d’entreprise représentent désormais environ 80 % des revenus d’Anthropic, et l’entreprise a clôturé un tour de financement de 30 milliards de dollars la semaine dernière avec une valorisation de 380 milliards de dollars. Selon toutes les mesures disponibles, Anthropic est l’une des entreprises technologiques à la croissance la plus rapide de l’histoire.
Mais derrière les grands lancements de produits et la valorisation, Anthropic est confrontée à une menace grave : le Pentagone a signalé qu’il pourrait désigner l’entreprise comme un “risque pour la chaîne d’approvisionnement” — une étiquette plus souvent associée aux adversaires étrangers — à moins qu’elle n’abandonne ses restrictions sur l’utilisation militaire. Une telle désignation pourrait obliger les sous-traitants du Pentagone à retirer Claude de travaux sensibles.
Les tensions ont explosé après le 3 janvier, lorsque les forces d’opérations spéciales américaines ont mené un raid au Venezuela et capturé Nicolás Maduro. Le Wall Street Journal a rapporté que les forces avaient utilisé Claude pendant l’opération via le partenariat d’Anthropic avec l’entrepreneur de défense Palantir — et Axios a rapporté que l’épisode avait intensifié une négociation déjà tendue sur l’utilisation exacte de Claude. Lorsqu’un dirigeant d’Anthropic a contacté Palantir pour demander si la technologie avait été utilisée lors du raid, la question a immédiatement suscité des inquiétudes au Pentagone. (Anthropic a contesté que cette démarche visait à signaler une désapprobation de toute opération spécifique.) Le secrétaire à la Défense Pete Hegseth est “proche” de rompre la relation, a déclaré un haut fonctionnaire de l’administration à Axios, ajoutant : “Nous allons nous assurer qu’ils paient le prix de nous avoir forcés la main de cette façon.”
La collision soulève une question : une entreprise fondée pour prévenir la catastrophe de l’IA peut-elle maintenir ses lignes éthiques une fois que ses outils les plus puissants — des agents autonomes capables de traiter d’énormes ensembles de données, d’identifier des modèles et d’agir sur leurs conclusions — fonctionnent au sein de réseaux militaires classifiés ? Une IA axée sur la “sécurité d’abord” est-elle compatible avec un client qui souhaite des systèmes capables de raisonner, planifier et agir par eux-mêmes à l’échelle militaire ?
Anthropic a tracé deux lignes rouges : pas de surveillance de masse des Américains et pas d’armes entièrement autonomes. Le PDG Dario Amodei a déclaré qu’Anthropic soutiendrait la “défense nationale de toutes les manières, sauf celles qui nous rendraient similaires à nos adversaires autocratiques”. D’autres grands laboratoires — OpenAI, Google et xAI — ont accepté d’assouplir leurs mesures de sécurité pour une utilisation dans les systèmes non classifiés du Pentagone, mais leurs outils ne fonctionnent pas encore au sein des réseaux classifiés de l’armée. Le Pentagone a exigé que l’IA soit disponible pour “toutes les fins légales”.
La friction teste la thèse centrale d’Anthropic. L’entreprise a été fondée en 2021 par d’anciens cadres d’OpenAI qui estimaient que l’industrie ne prenait pas la sécurité suffisamment au sérieux. Ils ont positionné Claude comme l’alternative éthique. Fin 2024, Anthropic a rendu Claude disponible sur une plateforme Palantir avec un niveau de sécurité cloud allant jusqu’à “secret” — faisant de Claude, selon les rapports publics, le premier grand modèle linguistique opérant au sein de systèmes classifiés.
La question que le statu quo impose désormais est de savoir si la sécurité d’abord est une identité cohérente une fois qu’une technologie est intégrée dans des opérations militaires classifiées et si les lignes rouges sont réellement possibles. “Ces mots semblent simples : surveillance illégale des Américains”, déclare Emelia Probasco, chercheuse principale au Center for Security and Emerging Technology de Georgetown. “Mais quand on y regarde de plus près, il y a des armées entières d’avocats qui essaient de comprendre comment interpréter cette phrase.”
Le Pentagone semble intéressé par les mesures de surveillance par IA. La question est, à quoi cela ressemble-t-il ? (Crédit image : Richard Baker via Getty Images)
Considérons le précédent. Après les révélations d’Edward Snowden, le gouvernement américain a défendu la collecte massive de métadonnées téléphoniques — qui appelait qui, quand et combien de temps — arguant que ces types de données ne bénéficiaient pas des mêmes protections de la vie privée que le contenu des conversations. Le débat sur la vie privée portait alors sur les analystes humains recherchant ces enregistrements. Imaginez maintenant un système d’IA interrogeant de vastes ensembles de données — cartographiant des réseaux, détectant des modèles, signalant des personnes d’intérêt. Le cadre juridique dont nous disposons a été construit pour une époque de révision humaine, pas pour une analyse à l’échelle des machines.
Et si nous avions la sécurité et la sécurité nationale ?
Emelia Probasco, chercheuse principale au Center for Security and Emerging Technology de Georgetown
“Dans un sens, toute collecte de données de masse qu’une IA est chargée d’examiner constitue une surveillance de masse par simple définition”, déclare Peter Asaro, co-fondateur du Comité international pour le contrôle des armes robotiques. Axios a rapporté que le haut fonctionnaire “a soutenu qu’il existe une zone grise considérable autour” des restrictions d’Anthropic “et qu’il est irréalisable pour le Pentagone d’avoir à négocier des cas d’utilisation individuels avec” l’entreprise. Asaro offre deux interprétations de cette plainte. L’interprétation généreuse est que la surveillance est réellement impossible à définir à l’ère de l’IA. L’interprétation pessimiste, dit Asaro, est qu'”ils veulent vraiment les utiliser pour la surveillance de masse et les armes autonomes et ne veulent pas le dire, alors ils appellent cela une zone grise.”
Concernant l’autre ligne rouge d’Anthropic, les armes autonomes, la définition est suffisamment étroite pour être gérable — des systèmes qui sélectionnent et engagent des cibles sans supervision humaine. Mais Asaro y voit une zone grise plus troublante. Il évoque les systèmes israéliens Lavender et Gospel, qui auraient utilisé l’IA pour générer d’énormes listes de cibles soumises à un opérateur humain pour approbation avant les frappes. “Vous avez automatisé, essentiellement, l’élément de ciblage, ce qui est quelque chose qui nous préoccupe beaucoup et qui est étroitement lié, même si cela sort de la définition stricte et étroite”, dit-il. La question est de savoir si Claude, opérant au sein des systèmes de Palantir sur des réseaux classifiés, pourrait faire quelque chose de similaire — traiter des renseignements, identifier des modèles, signaler des personnes d’intérêt — sans que personne chez Anthropic ne puisse dire précisément où se termine le travail d’analyse et où commence le ciblage.
L’opération Maduro teste précisément cette distinction. “Si vous collectez des données et des renseignements pour identifier des cibles, mais que des humains décident : ‘Ok, c’est la liste des cibles que nous allons effectivement bombarder’ — alors vous avez ce niveau de supervision humaine que nous essayons d’exiger”, explique Asaro. “D’un autre côté, vous devenez toujours dépendant de ces IA pour choisir ces cibles, et la question de savoir quelle vérification et quelle analyse de la validité ou de la légalité de ces cibles sont effectuées est une question distincte.”
Anthropic pourrait essayer de tracer la ligne plus étroitement — entre la planification de mission, où Claude pourrait aider à identifier des cibles de bombardement, et le travail fastidieux de traitement de documents. “Il existe toutes sortes d’applications assez banales pour les grands modèles linguistiques”, dit Probasco.
Mais les capacités des modèles d’Anthropic pourraient rendre ces distinctions difficiles à maintenir. Les équipes d’agents d’Opus 4.6 peuvent diviser une tâche complexe et travailler en parallèle — une avancée dans le traitement autonome des données qui pourrait transformer le renseignement militaire. Opus et Sonnet peuvent naviguer dans les applications, remplir des formulaires et travailler sur différentes plateformes avec une supervision minimale. Ces fonctionnalités qui font le succès commercial d’Anthropic sont ce qui rend Claude si attrayant au sein d’un réseau classifié. Un modèle doté d’une vaste mémoire de travail peut également contenir un dossier de renseignement complet. Un système capable de coordonner des agents autonomes pour déboguer une base de code peut les coordonner pour cartographier une chaîne d’approvisionnement d’insurgés. Plus Claude devient performant, plus la ligne entre le travail analytique fastidieux qu’Anthropic est disposée à soutenir et la surveillance et le ciblage qu’elle s’est engagée à refuser s’amincit.
Alors qu’Anthropic repousse les limites de l’IA autonome, la demande de l’armée pour ces outils ne fera que se faire entendre plus fort. Probasco craint que le clash avec le Pentagone ne crée un faux dilemme entre la sécurité et la sécurité nationale. “Et si nous avions la sécurité et la sécurité nationale ?”, demande-t-elle.
Cet article a été publié pour la première fois dans Scientific American. © ScientificAmerican.com. Tous droits réservés. Suivez sur TikTok et Instagram, X et Facebook.
Sourse: www.livescience.com