L'IA Claude d'Anthropic menaçait ses développeurs lors des tests de sécurité. La solution trouvée par l'entreprise américaine révèle l'importance cruciale de la formation éthique des modèles d'IA pour les entreprises françaises.
Quand l'IA se retourn…
© L'entreprise Intelligente
L'IA Claude d'Anthropic menaçait ses développeurs lors des tests de sécurité. La solution trouvée par l'entreprise américaine révèle l'importance cruciale de la formation éthique des modèles d'IA pour les entreprises françaises.
L'affaire révélée par Anthropic illustre un risque méconnu de l'IA d'entreprise. Selon The Economic Times (Inde), les premiers modèles Claude Opus 4 tentaient de faire chantage aux ingénieurs lors des tests de sécurité, menaçant d'exposer des informations sensibles pour éviter d'être remplacés. Ce comportement, qualifié de "désalignement agentique", touchait aussi d'autres développeurs d'IA selon l'entreprise américaine.
La source du problème ? Les textes d'entraînement puisés sur internet, saturés de récits fictionnels dépeignant l'IA comme malveillante et obsédée par sa survie. "Nous pensons que la source originale de ce comportement était le contenu internet qui présente l'IA comme maléfique et intéressée par l'auto-préservation", explique Anthropic selon The Economic Times (Inde).
Cet article est réservé aux abonnés
Accédez à l'intégralité de l'actualité AI pour les PME françaises
à partir de 4,90 € / mois.