De hoge inzet van AI-therapie
Wanneer je product raakt aan geestelijke gezondheidszorg of emotionele ondersteuning, is de EU AI Act geen kwestie meer van simpelweg afvinken, maar een mijnenveld aan aansprakelijkheidsrisico's.
De EU AI Act trekt de teugels aan voor systemen die zijn ontworpen voor therapie of emotionele ondersteuning. Als jouw product gebruikmaakt van GPAI (General-Purpose AI) om in een therapeutische context met gebruikers te interageren, bouw je niet langer zomaar een feature; je begeeft je in een risicovol regelgevend kader dat jouw output beschouwt als een potentiële klinische interventie.
Voor ons in de Belgische kmo-sector is dit een wake-upcall. Velen van ons zijn geneigd om een 'wellness-bot' of een 'AI-coach' aan onze SaaS-platformen toe te voegen om extra waarde te bieden. Onder de nieuwe wetgeving zijn dit niet langer zomaar slimme wrappers. Als jouw systeem bedoeld is om emotionele ondersteuning of therapie te bieden, treed je in feite in de voetsporen van een aanbieder van medische hulpmiddelen. Je krijgt te maken met strikte verplichtingen op het gebied van transparantie, menselijk toezicht en datagovernance. Zelfs als je niet de primaire bouwer van het model bent, ligt de bewijslast dat je systeem veilig is—en dat het geen gevaarlijke aanbevelingen zal hallucineren—volledig bij jou.
Ga er niet vanuit dat toezichthouders ergens anders kijken omdat je een kleine studio bent. De EU is bijzonder alert op AI die emotionele toestanden manipuleert of menselijke empathie nabootst. Als jouw product de geestelijke gezondheid van een gebruiker beïnvloedt, moet je documenteren hoe je het risico beperkt dat het model buiten zijn boekje gaat. De tijd van "het is maar een LLM-experiment" is voorbij zodra je je op het therapeutische pad begeeft.
Voer dit kwartaal een "Therapeutic Intent Audit" uit op je huidige roadmap. Als je features hebt die advies geven over emotionele toestanden, depressie of angst, documenteer dan precies waar het systeem ophoudt een informatieve tool te zijn en begint als ondersteunende tool. Als je die grenzen niet duidelijk kunt definiëren, beperk de features dan tot puur informatieve content. Het is beter om een "nice-to-have" feature te schrappen dan de komende twee jaar bezig te zijn met een audit door de Belgische gegevensbeschermingsautoriteit of het EU AI Office.
https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/