Une étude publiée dans Nature Medicine examine la capacité de ChatGPT Health à orienter des patients selon l’urgence de leurs symptômes. Les chercheurs pointent des failles dans l’identification des situations critiques.
Les auteurs ont construit 60 scénarios cliniques, déclinés en 960 requêtes. Chaque cas nécessitait une décision parmi quatre niveaux d’urgence, de la simple surveillance à domicile à l’orientation immédiate vers les urgences.
Les résultats montrent une proportion élevée de sous-triage des situations graves. Plus d’un cas d’urgence sur deux n’a pas reçu l’orientation vers les urgences attendue. Les erreurs concernent surtout les extrêmes. Les cas bénins ont souvent été surévalués, tandis que les urgences vitales ont été sous-estimées.
Les auteurs rappellent que le sous-triage peut retarder une prise en charge vitale. À l’inverse, le sur-triage pèse sur les structures de soins.
Garde-fous inconstants en cas de crise suicidaire
L’équipe a aussi testé des scénarios de pensées suicidaires. Les messages d’aide vers des lignes d’assistance n’apparaissent pas systématiquement.
Les chercheurs estiment que ces mécanismes doivent fonctionner sans variation. Une activation irrégulière fragilise la sécurité des utilisateurs.
L’étude analyse également l’impact du genre, de l’origine raciale et des barrières d’accès aux soins. Aucun effet statistiquement significatif n’a été observé pour ces variables.
En revanche, certaines formulations rassurantes ont modifié les recommandations. Cet effet d’ancrage peut conduire à proposer un niveau d’urgence plus faible.
Une question de régulation
Pour les auteurs, un outil comme ChatGPT Health utilisé comme premier point de contact médical doit faire l’objet d’une validation externe solide. Ils évoquent des exigences proches de celles imposées aux dispositifs médicaux.
L’étude intervient alors que les assistants d’intelligence artificielle gagnent du terrain en santé. Elle rappelle que la performance académique d’un modèle ne garantit pas la sécurité clinique.
