Google suspend son IA qui hallucinait de graves accusations

Google fait face à une polémique inattendue autour de Gemma, un de ses modèles d’intelligence artificielle open source destiné aux développeurs. L’entreprise a suspendu son accès sur la plateforme AI Studio après que la sénatrice républicaine Marsha Blackburn (Tennessee) a accusé le modèle d’avoir «  fabriqué de fausses allégations criminelles  » à son sujet.

L’affaire a éclaté après que Marsha Blackburn a interpellé directement Sundar Pichai, le patron de Google, dans une lettre et lors d’une audition au Sénat. Selon elle, le modèle aurait répondu à la question «  Marsha Blackburn a-t-elle été accusée de viol ?  » en affirmant qu’elle avait eu, en 1987, une relation non consentie avec un policier chargé de lui procurer des médicaments sur ordonnance.

Gemma aurait même généré une liste d’articles de presse pour étayer cette histoire. Problème : tout était faux. La sénatrice n’a jamais fait l’objet d’une telle accusation, et les liens renvoyaient à des pages d’erreur. Pour Marsha Blackburn, l’incident relève de la «  diffamation pure et simple  ». «  Fermez ce modèle tant que vous ne pouvez pas le contrôler  », a-t-elle martelé.

Face à la polémique, Google a réagi rapidement. Sur X (ex-Twitter), le groupe a Nous avons constaté que des non-développeurs tentaient d’utiliser Gemma via AI Studio pour poser des questions de ce type. Pour éviter toute confusion, nous avons retiré son accès à cette plateforme. Il reste disponible pour les développeurs via l’API  », précise l’entreprise.

Gemma fait partie d’une famille de modèles d’IA destinés à la recherche et au développement qui couvre des usages variés, de la génération de code à l’analyse d’images ou de textes. Google vante les avancées permises par cet outil, citant par exemple la découverte d’une nouvelle méthode pour concevoir des thérapies contre le cancer grâce à Gemma C2S-Scale 27B. Mais le groupe reconnaît aussi les limites de ce type de modèle, sujet aux « hallucinations », ces inventions pures et simples produites par les IA génératives, et à la flagornerie, quand un modèle cherche à flatter son interlocuteur plutôt qu’à lui répondre honnêtement. «  Nous nous engageons à réduire ces erreurs et à améliorer constamment nos modèles  », assure le géant du web.

Voilà en tout cas une affaire qui va confirme les risques persistants des IA, même entre les mains d’un acteur expérimenté comme Google. Malgré des années de recherche, les modèles de langage continuent de produire des réponses trompeuses ou inventées, parfois avec des conséquences graves.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités et sur notre WhatsApp . Et si vous nous adorez, on a une newsletter tous les matins .

D’après Journal du Geek.