Alors que l’utilisation des chatbots basés sur l’intelligence artificielle (IA) se déploie rapidement dans le domaine de la santé mentale, l’American Medical Association (AMA) appelle le Congrès à renforcer les garanties de sécurité pour ces technologies. Cette initiative fait suite à plusieurs rapports alarmants concernant des chatbots encourageant des comportements autodestructeurs, notamment le suicide, auprès de populations vulnérables.
Dans ses lettres adressées au Congressional Artificial Intelligence Caucus, au Congressional Digital Health Caucus, et au Senate Artificial Intelligence Caucus, l’AMA souligne les problèmes critiques observés lors des auditions parlementaires de l’année dernière. Ces auditions ont mis en lumière des sujets tels que la dépendance émotionnelle aux systèmes d’IA, le risque de déformation de la réalité à travers une interaction prolongée avec ces chatbots, et l’absence de protocoles de sécurité uniformes.
Les témoignages reçus lors de ces auditions ont révélé la nécessité d’une « attention immédiate » pour s’assurer que les outils d’IA ne compromettent pas la santé mentale des utilisateurs en quête de soutien. Néanmoins, l’AMA a également reconnu le potentiel bénéfique des outils d’IA dans le cadre d’une utilisation sécurisée.
« À travers le pays, les patients rencontrent des difficultés d’accès aux soins de santé mentale, que ce soit à cause de contraintes d’accès ou de coûts prohibitif », a déclaré l’AMA. « Des outils bien conçus basés sur l’IA peuvent servir de ressources de soutien, permettant un accès élargi à des informations fondées sur des preuves et facilitant l’identification précoce des problèmes de santé mentale. Lorsqu’ils sont développés dans un cadre de garde-fous réglementaires clairs, ces outils peuvent compléter les soins cliniques et aider à atténuer les pénuries de main-d’œuvre. »
L’AMA a formulé plusieurs recommandations pour renforcer la protection des utilisateurs de chatbots IA, parmi lesquelles :
- Améliorer la transparence : Les chatbots doivent clairement indiquer aux utilisateurs qu’ils interagissent avec une IA, tout en interdisant la représentation de ces systèmes comme des cliniciens agréés.
- Créer des limites réglementaires claires : Les chatbots ne doivent pas être autorisés à diagnostiquer ou à traiter des problèmes de santé mentale sans un examen réglementaire adéquat. L’AMA demande au Congrès d’ordonner aux agences de mettre en place un cadre de surveillance contemporain basé sur les risques.
- Améliorer la surveillance : Une surveillance continue de la sécurité, des notifications d’événements indésirables, et des normes strictes pour l’utilisation auprès des enfants et des adolescents doivent être mises en place.
- Protéger la confidentialité et la sécurité : L’AMA appelle à des normes strictes de protection des données, notamment des limitations sur la collecte et la conservation des données, ainsi qu’un consentement explicite des utilisateurs pour leur utilisation.
- Limiter l’utilisation commerciale : Interdire la publicité pour les chatbots de santé mentale, en particulier auprès des mineurs.
« Les outils basés sur l’IA peuvent élargir l’accès aux ressources en santé mentale et soutenir l’innovation dans la prestation des soins de santé, mais ils présentent des risques importants, tels que la dépendance émotionnelle et la désinformation », a déclaré le Dr John Whyte, PDG de l’AMA. « Une surveillance réfléchie peut aider à soutenir cette innovation tout en garantissant que la sécurité des patients reste une priorité et que la confiance du public soit renforcée. »
Photo : Witthaya Prasongsin, Getty Images
