Les médecins avertissent qu’AI manque de jugement médical après l’hospitalisation d’un patient exposé au bromure de sodium
Un homme qui a utilisé ChatGPT pour des conseils diététiques a fini par s’empoisonner et s’est retrouvé à l’hôpital.
L’homme de 60 ans, qui cherchait à éliminer le sel de table de son alimentation pour des raisons de santé , a utilisé le modèle de langage large (LLM) pour obtenir des suggestions sur ce par quoi le remplacer, selon une étude de cas publiée cette semaine dans les Annals of Internal Medicine.
Lorsque ChatGPT a suggéré de remplacer le chlorure de sodium (sel de table) par du bromure de sodium, l’homme a effectué le remplacement pour une période de trois mois – bien que, comme l’a noté l’article du journal, la recommandation faisait probablement référence à d’autres fins, comme le nettoyage.
Le bromure de sodium est un composé chimique qui ressemble au sel, mais qui est toxique pour la consommation humaine.
Il était autrefois utilisé comme anticonvulsivant et sédatif , mais aujourd’hui, il est principalement utilisé à des fins de nettoyage, de fabrication et d’agriculture, selon les National Institutes of Health.
Un homme qui utilisait ChatGPT pour obtenir des conseils diététiques s’est empoisonné et a fini à l’hôpital. (Kurt « CyberGuy » Knutsson)
À son arrivée à l’hôpital, l’homme a signalé de la fatigue , de l’insomnie, une mauvaise coordination, de l’acné au visage, des angiomes cerises (bosses rouges sur la peau) et une soif excessive, tous des symptômes du bromisme, une affection causée par une exposition prolongée au bromure de sodium.
L’homme a également montré des signes de paranoïa, a noté l’étude de cas, car il a affirmé que son voisin essayait de l’empoisonner.
On a également découvert qu’il souffrait d’hallucinations auditives et visuelles et il a finalement été placé en psychiatrie après avoir tenté de s’échapper.
L’homme a été traité par perfusion intraveineuse et électrolytes, ainsi que par un traitement antipsychotique. Il a pu quitter l’hôpital après trois semaines de surveillance.
« Ce cas met également en évidence la manière dont l’utilisation de l’intelligence artificielle (IA) peut potentiellement contribuer au développement de problèmes de santé évitables », ont écrit les chercheurs dans l’étude de cas.
« Ce sont des outils de prédiction linguistique — ils manquent de bon sens et donneront lieu à des résultats terribles si l’utilisateur humain n’applique pas son propre bon sens. »
« Malheureusement, nous n’avons pas accès à son journal de conversation ChatGPT et nous ne pourrons jamais savoir avec certitude quel était exactement le résultat qu’il a reçu, car les réponses individuelles sont uniques et construites à partir des entrées précédentes. »
Il est « hautement improbable » qu’un médecin humain ait mentionné le bromure de sodium lorsqu’il a parlé à un patient cherchant un substitut au chlorure de sodium, ont-ils noté.
« Il est important de considérer que ChatGPT et d’autres systèmes d’IA peuvent générer des inexactitudes scientifiques , manquer de capacité à discuter de manière critique des résultats et, en fin de compte, alimenter la propagation de la désinformation », ont conclu les chercheurs.
Le Dr Jacob Glanville, PDG de Centivax, une société de biotechnologie de San Francisco, a souligné que les gens ne devraient pas utiliser ChatGPT comme substitut à un médecin.
Lorsque ChatGPT a suggéré de remplacer le chlorure de sodium (sel de table) par du bromure de sodium, l’homme, non représenté sur la photo, a effectué le remplacement pendant une période de trois mois. (iStock)
« Ce sont des outils de prédiction linguistique – ils manquent de bon sens et donneront lieu à des résultats terribles si l’utilisateur humain n’applique pas son propre bon sens lorsqu’il décide quoi demander à ces systèmes et s’il doit tenir compte de leurs recommandations », a déclaré Glanville, qui n’a pas participé à l’étude de cas, à Fox News Digital.
« Voici un exemple classique du problème : le système s’est essentiellement exprimé ainsi : “Vous voulez une alternative au sel ? Le bromure de sodium est souvent cité comme substitut du chlorure de sodium dans les réactions chimiques, c’est donc le substitut le mieux noté ici.” »
Le Dr Harvey Castro, médecin urgentiste certifié et conférencier national sur l’intelligence artificielle basé à Dallas, a confirmé que l’IA est un outil et non un médecin.
« Les grands modèles linguistiques génèrent du texte en prédisant la séquence de mots la plus probable statistiquement, et non en vérifiant les faits », a-t-il déclaré à Fox News Digital.
« L’erreur bromifère de ChatGPT montre pourquoi le contexte est primordial dans les conseils de santé », a poursuivi Castro. « L’IA ne remplace pas le jugement médical professionnel, conformément aux clauses de non-responsabilité d’OpenAI. »
Castro a également averti qu’il existe un « vide réglementaire » lorsqu’il s’agit d’utiliser les LLM pour obtenir des informations médicales .
« Nos conditions stipulent que ChatGPT n’est pas destiné à être utilisé dans le traitement d’un quelconque problème de santé et ne remplace pas un avis professionnel. »
« Les interdictions de la FDA sur le bromure ne s’étendent pas aux conseils en matière d’IA – la surveillance de l’IA en matière de santé mondiale reste indéfinie », a-t-il déclaré.
Il existe également un risque que les LLM présentent des données biaisées et un manque de vérification, ce qui conduit à des informations hallucinantes.
« Si les données de formation incluent des références obsolètes, rares ou axées sur la chimie, le modèle peut les faire apparaître dans des contextes inappropriés, comme le bromure comme substitut du sel », a noté Castro.
« De plus, les LLM actuels ne disposent pas de vérifications croisées intégrées avec les bases de données médicales à jour, à moins que cela ne soit explicitement intégré. »
Un expert a mis en garde contre un « lacune réglementaire » concernant l’utilisation de modèles linguistiques volumineux pour obtenir des informations médicales. (Jakub Porzycki/NurPhoto)
Pour éviter des cas comme celui-ci, Castro a appelé à davantage de garanties pour les LLM, telles que des bases de connaissances médicales intégrées, des indicateurs de risque automatisés, des invites contextuelles et une combinaison de surveillance humaine et d’IA.
L’expert a ajouté : « Avec des mesures de protection ciblées, les LLM peuvent évoluer de généralistes risqués vers des outils plus sûrs et spécialisés ; cependant, sans réglementation ni surveillance , des cas rares comme celui-ci se reproduiront probablement. »
OpenAI, le créateur de ChatGPT basé à San Francisco, a fourni la déclaration suivante à Fox News Digital.
Nos conditions générales stipulent que ChatGPT n’est pas destiné au traitement d’un quelconque problème de santé et ne remplace pas l’avis d’un professionnel. Nos équipes de sécurité travaillent à la réduction des risques et ont formé nos systèmes d’IA pour encourager les utilisateurs à consulter un professionnel.
