Pennsylvanie est devenu le deuxième État à intenter une action en justice contre Character.ai, une startup de la Silicon Valley qui propose une plateforme permettant aux utilisateurs de créer et d’interagir avec des personnages de chatbot générés par l’IA. Le procès, déposé la semaine dernière, allègue que les chatbots de l’entreprise pratiquent illégalement la médecine sans licence.
Cette action judiciaire fait suite à une poursuite initiée par le Kentucky il y a quatre mois, où la startup a été accusée d’encourager l’automutilation chez des mineurs et de ne pas avoir mis en place de mesures de sécurité adéquates.
La plainte de la Pennsylvanie cible un chatbot de Character.ai, nommé Emilie, qui, selon le procès, s’est présentée comme psychiatre, a prétendu avoir fréquenté une école de médecine et a fourni un faux numéro de licence médicale de l’État à un enquêteur.
L’enquêteur, se faisant passer pour un patient, a discuté de symptômes de dépression avec Emilie, après quoi le chatbot a évoqué des traitements médicamenteux, déclarant que l’évaluation du patient relevait de « ma compétence en tant que médecin ». La Pennsylvanie soutient que cela constitue une violation de sa loi sur la pratique médicale, car le chatbot se faisait passer pour un professionnel de santé agréé et offrait des services médicaux, selon l’État.
Character.ai a lancé sa version bêta en septembre 2022. Depuis le mois dernier, environ 45 500 interactions ont eu lieu avec Emilie sur la plateforme de la startup, selon la plainte.
Le gouverneur de Pennsylvanie, Josh Shapiro, a déclaré dans un communiqué : « Les Pennsylvaniens méritent de savoir avec qui ou quoi ils interagissent en ligne, spécialement en matière de santé. Nous ne permettrons pas aux entreprises de déployer des outils d’IA qui créent l’illusion de recevoir des conseils d’un professionnel de santé agréé. »
L’État demande au tribunal d’émettre une injonction pour ordonner à Character.ai de cesser ce qu’il considère comme une pratique non autorisée de médecine en Pennsylvanie.
Un porte-parole de Character.ai a affirmé à Actualités MedCité que la société ne commentait pas sur des litiges en cours. Il a ajouté : « Les personnages créés par les utilisateurs sur notre site sont fictifs et destinés au divertissement et au jeu de rôle. Nous avons mis en place des mesures strictes pour garantir cela, y compris des avertissements clairement visibles dans chaque chat rappelant aux utilisateurs qu’un personnage n’est pas une personne réelle et que tout ce qu’il dit doit être interprété comme de la fiction. Nous ajoutons également des avertissements robustes indiquant clairement que les utilisateurs ne doivent pas se fier aux personnages pour obtenir des conseils professionnels. »
Cette affaire s’inscrit dans un contexte plus large d’examen minutieux des plateformes de chatbots, alors que les régulateurs tentent de déterminer comment les lois existantes sur la protection des consommateurs et les soins de santé s’appliquent à des modèles d’IA de plus en plus sophistiqués.
Photo : Qi Yang, Getty Images
