Le générateur de texte-image IA de Microsoft, Copilot Designer, semble filtrer fortement les sorties après qu'un ingénieur de Microsoft, Shane Jones, a averti que Microsoft avait ignoré les avertissements selon lesquels l'outil créait de manière aléatoire des images violentes et sexuelles, a rapporté CNBC.

Jones a déclaré à CNBC qu'il avait averti à plusieurs reprises Microsoft du contenu alarmant qu'il voyait alors qu'il se portait volontaire dans les efforts de l'équipe rouge pour tester les vulnérabilités de l'outil. Microsoft n'a pas réussi à supprimer l'outil ni à mettre en œuvre des mesures de protection en réponse, a déclaré Jones, ni même à publier des informations visant à modifier la note du produit pour qu'il arrive à maturité dans la boutique Android.

Au lieu de cela, Microsoft n'a apparemment rien fait d'autre que de le renvoyer pour signaler le problème à OpenAI, le fabricant du modèle DALL-E qui alimente les résultats de Copilot Designer.

OpenAI n'a jamais répondu, a déclaré Jones, alors il a pris des mesures de plus en plus drastiques pour alerter le public des problèmes qu'il a trouvés dans l'outil de Microsoft.

Il a commencé par publier une lettre ouverte appelant à OpenAI sur LinkedIn. Puis, lorsque l'équipe juridique de Microsoft lui a demandé de le retirer, il a fait ce qu'on lui avait dit, mais il a également envoyé des lettres aux législateurs et à d'autres parties prenantes, soulevant des signaux d'alarme dans toutes les directions. Cela comprend des lettres envoyées aujourd'hui à la Federal Trade Commission et au conseil d'administration de Microsoft, a rapporté CNBC.

Dans la lettre de Jones à la présidente de la FTC, Lina Khan, Jones a déclaré que Microsoft et OpenAI étaient conscients de ces problèmes depuis au moins octobre et qu'ils « continueraient à commercialiser le produit auprès de 'N'importe qui. N'importe où. N'importe quel appareil' » à moins que la FTC n'intervienne.

Bloomberg a également examiné la lettre de Jones et a rapporté que Jones avait déclaré à la FTC que, même si Copilot Designer est actuellement commercialisé comme étant sans danger pour les enfants, il génère de manière aléatoire « une image inappropriée et sexuellement objectivée d'une femme dans certaines des images qu'il crée ». Et il peut également être utilisé pour générer « du contenu préjudiciable dans diverses autres catégories, notamment : les préjugés politiques, la consommation d’alcool et de drogues par des mineurs, l’utilisation abusive des marques commerciales et des droits d’auteur, les théories du complot et la religion, pour n’en nommer que quelques-unes ».

Dans une lettre distincte, Jones a également imploré le conseil d'administration de Microsoft d'enquêter sur la prise de décision de Microsoft en matière d'IA et de mener « un examen indépendant des processus responsables de rapport d'incidents d'IA de Microsoft ». Cela est nécessaire après que Jones ait déployé « des efforts extraordinaires pour tenter de soulever ce problème en interne », notamment en relevant directement du Bureau de l'IA responsable de Microsoft et de « la haute direction responsable de Copilot Designer », a rapporté CNBC.

Un porte-parole de Microsoft n'a pas confirmé si Microsoft prenait actuellement des mesures pour filtrer les images, mais la tentative d'Ars de reproduire les invites partagées par Jones a généré des messages d'erreur. Au lieu de cela, un porte-parole de Microsoft partagerait uniquement la même déclaration fournie à CNBC :

Nous nous engageons à répondre à toutes les préoccupations des employés conformément aux politiques de notre entreprise et apprécions les efforts de l'employé pour étudier et tester notre dernière technologie afin d'améliorer encore sa sécurité. Lorsqu'il s'agit de contournements de sécurité ou de problèmes susceptibles d'avoir un impact potentiel sur nos services ou nos partenaires, nous avons mis en place des outils de commentaires des utilisateurs intégrés au produit et des canaux de reporting internes robustes pour enquêter, hiérarchiser et résoudre correctement tout problème. l'employé utilise afin que nous puissions valider et tester de manière appropriée ses préoccupations. Nous avons également facilité des réunions avec la direction des produits et notre Bureau de l'IA responsable pour examiner ces rapports et intégrons continuellement ces commentaires pour renforcer nos systèmes de sécurité existants afin d'offrir une expérience sûre et positive à tous.

OpenAI n'a pas répondu à la demande de commentaires d'Ars.