L’avènement de la e-Santé représente de nouveaux espoirs mais aussi de nouveaux risques pour tous les acteurs de la santé.
D’un côté, ces acteurs peuvent s’attendre à profiter de divers progrès avec par exemple, pour conséquence, une diminution des accidents médicaux, et donc une diminution a priori des sources de responsabilité.
Mais d’un autre côté, il existe une contrepartie aux progrès attendus en e-Santé. Précisément, si le résultat attendu n’est pas atteint par la technologie, il se peut qu’il y ait une augmentation du nombre de recours en responsabilité. En effet, le patient sera naturellement plus sévère vis-à-vis du résultat obtenu à l’aide d’une machine que de celui obtenu par l’homme à qui l’on confère le droit à l’erreur…
L’introduction croissante des robots à qui seraient confiés des patients nécessite d’appréhender les risques de défaillance et donc une problématique de responsabilité : en cas d’incident, qui est responsable ?
Cette question prend toute son importance au regard de l’émergence actuelle des chatbots.
- Qu’est-ce qu’un chatbot ? Quelles illustrations en santé en France et à l’international ?
Un « chatbot » (« chat » pour « discussion en ligne » et « bot » pour « robot ») est un agent conversationnel automatisé, c’est à dire « un programme informatique qui simule une conversion humaine en s’appuyant sur une base de données pour répondre aux phrases d’un interlocuteur humain » (https://www.usine-digitale.fr/chatbot/).
En général,il apparaît sous la forme d’un personnage animé ou d’une zone de dialogue intitulée « Posez-nous vos questions ».
L’utilisateur échange avec l’agent conversationnel (par langage naturel, parlé ou écrit) via les systèmes de messagerie instantanée (Messenger, WhatsApp, Skype, Slack, Twitter…)
Les chatbots sont basés sur l’intelligence artificielle dite de l’« apprentissage en profondeur » (« deep learning »), fondé sur l’optimisation de réseaux de neurones artificiels. Cet apprentissage permet notamment à un programme informatique de reconnaître une image ou de comprendre le langage parlé.
Les chatbots se développent en santé à l’international mais aussi en France.
Aux Etats-Unis, « Healthtap » est un assistant médical en ligne ou sur appareil mobile, permettant à l’utilisateur de formuler des questions précises (relatives, par exemple, aux médicaments autorisés pendant la grossesse) ou de taper dans la barre de recherche le symptôme pertinent (« maux d’estomac »). Le robot lui suggère ensuite des articles appropriés, rédigés par des médecins. Il est également possible de contacter un médecin par le site ou l’application, afin de lui poser gratuitement des questions de santé, soit en connexion immédiate, soit sur rendez-vous, que ce soit par vidéoconférence, appel téléphonique ou chat textuel. Les clients sont principalement des compagnies d’assurance et des employeurs (auto-assurés).
En Inde, « Lybrate » offre sur abonnement un service de questions/réponses sur la santé (par exemple « Des membres de votre famille souffrent-ils d’arthrose ? ») et renvoie vers la doctrine médicale appropriée ou propose des rendez-vous médicaux par le biais d’un appel vidéo.
En Chine, « Melody » transmet les questions des patients à des médecins qui peuvent alors valider des réponses (notamment des prescriptions de traitements) proposées par l’agent conversationnel. Une offre de rendez-vous médicaux est également proposée. Le chatbot a développé un apprentissage de réponses aux patients à partir de la transcription de vraies conversations en ligne entre médecins et patients.
Au Royaume-Uni, « Babylonhealth » est un chatbot qui permet à ses abonnés d’avoir des consultations virtuelles avec des médecins et des professionnels de la santé via la messagerie texte et vidéo dans le cadre d’une application mobile. Il permet également aux utilisateurs de recevoir des ordonnances, d’être dirigés vers des spécialistes, et de programmer des examens dans des établissements voisins. Un autre chatbot, « Your M.D » est disponible en ligne et sur les différents réseaux sociaux. Une fois les symptômes décrits (« Check symptoms »), le robot établit des conseils. Il est également possible de poser une question, demander des informations, voir un tutoriel. Enfin, une prise de rendez-vous en ligne est envisageable.
En France, « Vik » est un agent conversationnel qui répond aux questions des patients atteints de maladies chroniques ou de leurs proches. Les thématiques sont variées : traitements et effets secondaires, questions administratives, alimentation, sexualité… « Vik-Sein » propose notamment un carnet de suivi de l’observance des traitements, enregistre les effets secondaires, exporte et partage les informations avec le médecin traitant. Par ailleurs, « Smart Alfred » est un chatbot qui est une sorte de coach, rappelant par exemple à l’utilisateur les diligences qu’il doit accomplir (prendre rendez-vous chez le dentiste, faire tel exercice…). En outre, les patientes du service d’anesthésie obstétrique de l’hôpital américain de Paris se voient désormais proposer une messagerie cryptée et robotisée pour assurer le suivi à domicile de leurs dernières semaines de grossesse et préparer en toute sécurité leur future hospitalisation. Cette messagerie offre un service complet, de la gestion des rendez-vous à l’aiguillage des patientes, en passant par la transmission des éléments médicaux entre experts de santé. Enfin, d’autres projets sont en cours d’essai, pour le suivi des patients en onco-gériatrie ou en psychiatrie.
- Quelle nature juridique ?
Le chatbot est un logiciel.
Si la règlementation ne définit pas le logiciel, la Commission de terminologie française a pu donner, dans des travaux publiés au journal officiel du 17 janvier 1982, une définition aujourd’hui reprise par le Larousse : « Ensemble des programmes, procédés et règles, et éventuellement de la documentation, relatifs au fonctionnement d’un ensemble de traitement de données ».
Or, sous certaines conditions, un logiciel, tel qu’un logiciel d’aide à la prescription ou au diagnostic, revêt la qualification juridique de « dispositif médical ». Les conditions d’une telle qualification sont exposées dans l’arrêt de la Cour de Justice de l’Union européenne du 7 décembre 2017 « Syndicat national de l’industrie des technologies médicales (SNITEM) et Philips France C/ France » (C-329/16).
La question posée à la Cour était celle de savoir si un logiciel proposant au prescripteur une aide à la détermination de la prescription médicamenteuse, en détectant les contre-indications, les interactions médicamenteuses et les posologies excessives grâce à l’exploitation des données propres au patient, devait être considéré comme un dispositif médical au sens de la Directive 93/42/CEE alors même qu’il n’agit pas directement dans ou sur le corps humain ?
En effet, pour rappel, la directive précitée définit le « dispositif médical » comme « tout instrument, appareil, équipement, matière ou autre article, utilisé seul ou en association, y compris le logiciel nécessaire pour le bon fonctionnement de celui-ci, destiné par le fabricant à être utilisé chez l’homme à des fins :
– de diagnostic, de prévention, de contrôle, de traitement ou d’atténuation d’une maladie,
– de diagnostic, de contrôle, de traitement, d’atténuation ou de compensation d’une blessure ou d’un handicap,
– d’étude ou de remplacement ou modification de l’anatomie ou d’un processus physiologique,
– de maîtrise de la conception,
et dont l’action principale voulue dans ou sur le corps humain n’est pas obtenue par des moyens pharmacologiques ou immunologiques ni par métabolisme, mais dont la fonction peut être assistée par de tels moyens ».
Or, pour faire entrer le logiciel d’espèce dans le champ des dispositifs médicaux, la CJUE va estimer qu’un logiciel « qui procède au recoupement des données propres du patient avec les médicaments que le médecin envisage de prescrire et est, ainsi, capable de lui fournir, de manière automatisée, une analyse visant à détecter, notamment, les éventuelles contre-indications, interactions médicamenteuses et posologies excessives, est utilisé à des fins de prévention, de contrôle, de traitement ou d’atténuation d’une maladie et poursuit en conséquence une finalité spécifiquement médicale, ce qui en fait un dispositif médical».
La Cour adopte donc une approche fonctionnelle de la définition du dispositif médical, privilégiant la finalité de l’utilisation du logiciel plutôt que la manière dont l’effet attendu est susceptible de se concrétiser, ceci permettant à la juridiction de préciser qu’il importe peu que le logiciel agisse directement sur ou dans le corps humain du moment qu’il est destiné par le fabricant à être utilisé dans une finalité spécifiquement médicale.
On peut d’ores et déjà présager de difficultés à venir quant à la question de classer certains logiciels dans la catégorie des dispositifs médicaux ou non lorsque la frontière sera floue entre ce qui relève par exemple de simples conseils « bien-être » ou de véritables prescriptions médicales. En revanche, ce qui est certain, c’est que sont exclus de la catégorie « dispositifs médicaux » un simple logiciel d’archivage ou de stockage des données du patients, un logiciel qui se limiterait à indiquer au médecin traitant le nom d’un générique pour le médicament envisagé, ou un logiciel simplement destiné à lister les contre-indications mentionnées par le fabricant de ce médicament dans sa notice d’utilisation.
- Quel régime juridique pour un chatbot qualifié de dispositif médical ?
►Quid des procédures de marquage ou de certification ?
Un logiciel qualifiable de « dispositif médical » doit porter le marquage CE de conformité lors de sa mise sur le marché afin de pouvoir circuler librement dans l’Union européenne.
Pour autant, une législation nationale qui imposerait une procédure supplémentaire, telle une nouvelle certification, serait alors contraire à la libre circulation sur le marché intérieur. C’est ce qui ressort de l’arrêt européen précité. En effet, la CJUE a estimé que la procédure française de certification des logiciels d’aide à la prescription garantissant leur conformité à des exigences minimales en termes de sécurité, de conformité et d’efficience de la prescription, était contraire, pour des logiciels disposant déjà d’un marquage CE, à la libre circulation européenne.
Ainsi, toute procédure de certification exigée par le législateur national pour un dispositif médical, y compris un chatbot qualifiable comme tel, serait contraire au droit européen.
Pourtant, dans le cadre de la loi de financement de la sécurité sociale pour 2018, le législateur français a étendu la procédure de certification aux fonctions relatives à la délivrance des dispositifs médicaux et des prestations qui leur sont associées. Une telle certification est notamment obligatoire, au plus tard au 1er janvier 2021, pour tout logiciel dont au moins une des fonctionnalités est de proposer une aide à l’édition des prescriptions médicales relatives à des dispositifs médicaux et à leurs prestations associées éventuelles ou une aide à la délivrance de ces produits et prestations associées. La France va donc encore plus loin que pour le décret n° 2014-1359 du 14 novembre 2014 fixant les modalités de l’obligation de certification des logiciels d’aide à la dispensation et à la prescription, alors même qu’il y a fort à parier, et ce pour le plus grand bonheur des industriels du secteur, que le Conseil d’Etat soit amené à sanctionner cette procédure française comme contraire au droit de l’Union.
Pendant ce temps, le Règlement (UE) 2017/745 sur les dispositifs médicaux, qui rentrera en vigueur en 2020, introduit quant à lui dans la définition du dispositif médical de nouvelles finalités permettant notamment de qualifier de dispositifs médicaux les logiciels ayant une fonction de prédiction et de pronostic. Ces dispositifs médicaux ne sauraient dès lors, en principe, faire l’objet de procédures internes de certification.
En tout état de cause, en dehors de la question de l’incompatibilité des procédures de certification au regard du droit européen, on peut se demander, de toute manière, quel intérêt y a-t-il à vouloir certifier quelque chose de mouvant…
► Quid de la responsabilité en cas de dommage occasionné à l’utilisateur du chatbot?
- Si le chatbot est qualifiable de dispositif médical et donc de produit de santé, il sera soumis à un régime de responsabilité traditionnellement sans faute dans le secteur public (établissements publics de santé) et pour faute dans le secteur privé (libéraux, cliniques).
- Que le chatbot soit un dispositif médical ou pas, la responsabilité civile classique demeure applicable, même si le juge sera enclin à davantage de sévérité en présence d’un dispositif médical. La responsabilité applicable peut être la responsabilité contractuelle (en cas de conseils délivrés erronés, non validés médicalement ou dans le cadre d’une requalification du chatbot en dispositif médical qui aboutit à une interdiction de commercialisation et une annulation éventuelle de contrats de vente…). La responsabilité peut également trouver à s’appliquer sur le fondement de l’article 9 du Code Civil (atteinte à la vie privée issue d’un manquement à l’obligation de confidentialité des données personnelles, constitutive d’une obligation de moyens renforcée, Crim., 30 octobre 2001, n° 99-82136). Ce dernier régime est alors très favorable à la victime car la seule publication des informations suffit à caractériser le préjudice (Civ. 1ère, 28 avril 2011, n° 10-17909). En somme, mieux vaut donc, pour les start up commercialisant un chatbot, une bonne assurance responsabilité civile…
- Que le chatbot soit un dispositif médical ou pas, une responsabilité pénale est toujours envisageable sur certains fondements, au-delà de la traditionnelle hypothèse d’une mise en danger de la vie d’autrui : publicité trompeuse si l’étiquette « dispositif médical » est avancée alors que le chatbot n’en est pas un; infraction à l’obligation d’assurance obligatoire si l’application est en fait un dispositif médical ; exercice illégal de la médecine.
► Des causes d’exonération sont-elles envisageables ?
Le « responsable » sur le plan juridique pourra toujours avancer des moyens d’exonération.
Au civil, l’éditeur du chatbot pourrait, en cas de condamnation, se retourner contre les professionnels de santé ayant élaboré les contenus du chatbot. Il pourrait sinon, dès le cadre du procès qui lui est intenté, invoquer la responsabilité du fait du tiers ; le juge pourrait alors condamner l’éditeur et le professionnel de santé de manière solidaire.
Au pénal, notons qu’il existe des fautes d’imprudence, de négligence ou de manquement à une obligation de prudence ou de sécurité prévue par la loi ou le règlement (article 121-3 alinéa 3 du Code pénal) : cette hypothèse renvoie à celles des personnes physiques qui n’ont pas causé directement le dommage, mais qui ont créé ou contribué à créer la situation qui a permis la réalisation du dommage ou qui n’ont pas pris les mesures pour l’éviter. Elles sont alors responsables pénalement, s’il est établi qu’elles ont, soit violé de façon manifestement délibérée une obligation particulière de prudence ou de sécurité prévue par la loi ou le règlement, soit commis une faute caractérisée et qui exposait autrui à un risque d’une particulière gravité qu’elles ne pouvaient ignorer. Cette dernière hypothèse permettrait de faire porter la responsabilité pénale pour les faits commis par le chatbot sur l’auteur de l’algorithme d’intelligence artificielle sur lequel il s’appuie.
► Est-il envisageable d’invoquer le fait que le chatbot soit devenu « auto-apprenant »?
Si le chatbot est en cours d’apprentissage, voire si son apprentissage est abouti, l’entrepreneur pourrait-il invoquer que le dommage est dû, non pas à un défaut initial, mais à l’apprentissage ultérieur de l’intelligence artificielle?
Si cette exonération venait à être acceptée par un juge, ce serait alors, a priori, parce qu’il existerait des alternatives possibles pour le patient victime, afin que son préjudice puisse être indemnisé. Par exemple, on pourrait envisager que l’utilisateur du chatbot puisse bénéficier d’un recours à la solidarité nationale (devant la Commission de conciliation et d’indemnisation- CCI) si l’accident médical a eu des conséquences anormales au regard de l’état de santé du patient comme de son évolution prévisible. Néanmoins, pour que le recours soit étudié par la CCI, il faut un certain degré de gravité, à savoir, notamment, un taux d’atteinte permanente à l’intégrité physique ou psychique supérieur à 25 %.
► Quid des obligations de l’exploitant du chatbot en tant que responsable du traitement de données de santé ?
Le responsable de traitement doit être en mesure de démontrer, à tout moment, sa conformité aux exigences du RGPD (Règlement (UE) 2016/679 du Parlement Européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, et abrogeant la directive 95/46/CE) en traçant toutes les démarches entreprises (principe d’accountability).
D’une manière générale, les exigences sont relatives aux principes de protection des données prévus à l’article 5 du RGPD (traitement loyal, licite et transparent des données, collecte des données pour des finalités déterminées, explicites et légitimes, minimisation des données, etc.) et les droits des personnes concernées.
Le responsable de traitement doit notamment :
- mettre en place un registre des traitements (outil recensant l’ensemble des traitements mis en œuvre dans la structure) ;
- mener des analyses d’impact pour les traitements considérés comme présentant « un risque élevé » pour les personnes (cas notamment lorsqu’il y a une évaluation de l’état de santé de la personne ou qu’il existe un système de données croisées, ou encore qu’il s’agit d’un usage innovant) ;
- veiller à encadrer l’information des personnes concernées et s’assurer de l’effectivité de leurs droits (droit d’accès, de rectification, d’opposition, etc.) ;
- formaliser les rôles et responsabilités du responsable de traitement ;
- lorsque cela est obligatoire, désigner un délégué à la protection des données (DPO);
- renseigner les actions menées pour garantir la sécurité des données.
CONCLUSION :
Se pose aujourd’hui la question de savoir si les chatbots sont susceptibles de devenir indépendants, question liée à celle de l’autonomisation possible des robots.
En effet, il émerge l’idée que le robot pourrait devenir autonome à l’avenir dans ses décisions (cf Résolution du Parlement européen du 16/02/2017 envisageant la création d’une personnalité juridique à part).
Mais cette hypothèse manque à notre avis de pertinence pour une raison : la personnalité juridique autonome n’a d’intérêt que si derrière, il y a un patrimoine destiné à réparer un préjudice (sans réparation, la responsabilité n’a pas de sens).
Enfin, il est indispensable de rappeler que le chatbot ne peut être vu que comme un complément de la prise en charge médicale humaine, et certainement pas comme un remplaçant de cette prise en charge. En effet, un raisonnement par algorithmes ne saurait être comparable à un raisonnement humain, et ce malgré la meilleure intelligence artificielle possible. Cette intelligence artificielle produit des probabilités, de type statistique, par analyse de séquences lexicales, et opère des corrélations entre ces séquences lexicales dans un contexte donné. Elle ne saurait donc s’analyser comme une « science prédictive », mais plutôt comme un outil d’aide à la décision, reposant sur une logique de déduction à partir de statistiques (qui ne sont pas forcément fiables en ce sens qu’elles peuvent « déformer » la réalité). Le raisonnement humain, lui, repose sur une logique d’interprétation in concreto, en tenant compte de ce que chaque individu est un cas particulier face à une pathologie identique.
Pour autant, il convient de rappeler que beaucoup de progrès de la médecine ont été concrétisés grâce à l’assistance des nouvelles technologies. Notamment, la chirurgie par robot présente des avantages irremplaçables puisqu’elle permet notamment d’accéder à des zones particulièrement « sensibles », difficilement accessibles pour la main de l’homme. Le robot sécurise donc la pratique. Mais ici encore, la pratique démontre que les robots sont des assistants et non des substituts…
Pour finir, le 20 novembre 2018, la clinique du droit de Science Po a rendu public un livre blanc sur les enjeux éthiques de la justice prédictive, ainsi qu’une charte éthique… Cette illustration atteste de ce que, quel que soit le domaine d’utilisation de l’intelligence artificielle, l’éthique restera un garde-fou humain indispensable.
