Therapeutische AI: Het nieuwe regelgevende mijnenveld
Als jouw product raakt aan geestelijke gezondheidszorg of emotionele ondersteuning, heeft de AI Act de spelregels zojuist veranderd. Dit moet je weten over de nieuwste classificatiewijzigingen.
De AI Act verliest eindelijk zijn abstracte karakter en wordt concreet over 'therapeutische' AI en AI voor 'emotionele ondersteuning'. Recente richtlijnen verduidelijken dat systemen die zijn ontworpen voor therapie, inclusief general-purpose AI (GPAI) die is aangepast voor psychologische ondersteuning, onder een vergrootglas liggen. Aanbieders krijgen te maken met een dubbele nalevingslast: je bent verantwoordelijk voor zowel de fundamentele integriteit van het model als voor de specifieke inzet van je therapeutische toepassing.
Voor ons in het Belgische mkb is dit een wake-upcall. Als jouw app een LLM gebruikt om 'ondersteunende chats' of mentale steuntjes in de rug te bieden, verkoop je niet zomaar software; je exploiteert mogelijk een medisch-gerelateerd hulpmiddel met een hoog risico. De EU stapt af van het 'het is maar een chatbot'-verweer. Als jouw systeem de emotionele toestand of de geestelijke gezondheid van een gebruiker beïnvloedt, wordt van je verwacht dat je rigoureuze risicobeheersystemen, menselijk toezicht en databeheer implementeert waar een traditioneel medtech-bedrijf van zou gaan zweten.
Dit negeren is niet alleen een risico op het gebied van regelgeving; het is een aansprakelijkheidsnachtmerrie. Belgische toezichthouders staan erom bekend dat ze uiterst nauwgezet zijn als het gaat om patiëntgegevens en gezondheidsgerelateerde diensten. Als je in deze sector bouwt, moet je stoppen met het behandelen van je AI als een black-box-functie en deze gaan zien als een klinisch onderdeel.
Voer dit kwartaal een 'Regulatory Audit' uit op je productroadmap. Identificeer elke functie die duidt op emotionele ondersteuning of therapeutische interactie. Als je die vindt, toets ze dan onmiddellijk aan de vereisten voor hoogrisico-AI uit de AI Act. Als je niet kunt documenteren hoe je model omgaat met een gebruiker in een mentale crisis, zou je die functie niet moeten uitrollen. Het is beter om nu een functie te schrappen dan om een product uit de App Store te moeten halen wanneer de Gegevensbeschermingsautoriteit op de stoep staat.
Bron: https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/