IA thérapeutique : le nouveau champ de mines réglementaire

L'IA Act abandonne enfin son caractère abstrait pour se pencher concrètement sur l'IA « thérapeutique » et de « soutien émotionnel ». Les récentes directives clarifient que les systèmes conçus pour la thérapie, y compris les IA à usage général (GPAI) adaptées au soutien psychologique, sont désormais sous haute surveillance. Les fournisseurs font face à une double exigence de conformité : vous êtes responsable de l'intégrité fondamentale du modèle et du déploiement spécifique de votre application thérapeutique.

Pour nous, au sein de l'écosystème des PME belges, c'est un signal d'alarme. Si votre application utilise un LLM pour proposer des « discussions de soutien » ou des conseils en santé mentale, vous ne vendez pas seulement un logiciel ; vous exploitez potentiellement un outil à haut risque assimilé au domaine médical. L'UE s'éloigne de l'argument du « ce n'est qu'un chatbot ». Si votre système influence l'état émotionnel ou la santé mentale d'un utilisateur, vous êtes tenu de mettre en place des systèmes de gestion des risques, une supervision humaine et une gouvernance des données rigoureuses qui feraient transpirer une entreprise de med-tech traditionnelle.

Ignorer cela n'est pas seulement un risque réglementaire, c'est un cauchemar en matière de responsabilité civile. Les régulateurs belges sont notoirement diligents lorsqu'il s'agit de données de patients et de services liés à la santé. Si vous développez dans ce secteur, vous devez cesser de traiter votre IA comme une fonctionnalité « boîte noire » et commencer à la considérer comme un composant clinique.

Ce trimestre, effectuez un « audit réglementaire » de votre feuille de route produit. Identifiez chaque fonctionnalité impliquant un soutien émotionnel ou une interaction thérapeutique. Si vous en trouvez, confrontez-les immédiatement aux exigences de haut risque de l'IA Act. Si vous ne pouvez pas documenter la manière dont votre modèle gère un utilisateur en situation de crise de santé mentale, vous ne devriez pas déployer cette fonctionnalité. Il vaut mieux supprimer une fonctionnalité maintenant que de devoir retirer un produit de l'App Store lorsque l'Autorité de protection des données frappera à votre porte.

Source : https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/