Die hohen Einsätze bei KI-Therapie
Wenn Ihr Produkt den Bereich psychische Gesundheit oder emotionale Unterstützung berührt, ist der EU AI Act kein bloßes Compliance-Häkchen mehr, sondern ein regulatorisches Minenfeld.
Der EU AI Act zieht die Zügel für Systeme an, die für Therapie oder emotionale Unterstützung konzipiert sind. Wenn Ihr Produkt GPAI (General-Purpose AI) nutzt, um mit Nutzern in einem therapeutischen Kontext zu interagieren, entwickeln Sie nicht mehr nur ein Feature; Sie bewegen sich in einem hochriskanten regulatorischen Rahmen, der Ihre Ergebnisse als potenzielle klinische Intervention einstuft.
Für uns im belgischen KMU-Sektor ist das ein Weckruf. Viele von uns sind versucht, ihre SaaS-Plattformen mit einem „Wellness-Bot“ oder einem „KI-Coach“ aufzuwerten. Unter dem neuen Gesetz sind das keine bloßen cleveren Wrapper mehr. Wenn Ihr System darauf ausgelegt ist, emotionale Unterstützung oder Therapie zu bieten, schlüpfen Sie faktisch in die Rolle eines Anbieters von Medizinprodukten. Sie unterliegen strengen Auflagen in Bezug auf Transparenz, menschliche Aufsicht und Daten-Governance. Selbst wenn Sie nicht der primäre Modellentwickler sind, liegt die Last, die Sicherheit Ihres Systems zu beweisen – und sicherzustellen, dass es keine gefährlichen Empfehlungen halluziniert –, voll und ganz bei Ihnen.
Gehen Sie nicht davon aus, dass die Regulierungsbehörden woanders hinsehen, nur weil Sie ein kleines Studio sind. Die EU reagiert besonders empfindlich auf KI, die emotionale Zustände manipuliert oder menschliche Empathie imitiert. Wenn Ihr Produkt die psychische Gesundheit eines Nutzers beeinflusst, müssen Sie dokumentieren, wie Sie das Risiko minimieren, dass das Modell vom Skript abweicht. Die Zeiten von „es ist nur ein LLM-Experiment“ sind vorbei, sobald Sie sich in den therapeutischen Bereich begeben.
Führen Sie in diesem Quartal ein „Audit zur therapeutischen Zweckbestimmung“ für Ihre aktuelle Roadmap durch. Wenn Sie Funktionen haben, die Ratschläge zu emotionalen Zuständen, Depressionen oder Angstzuständen geben, dokumentieren Sie genau, wo das System aufhört, ein reines Informationswerkzeug zu sein, und beginnt, ein Unterstützungswerkzeug zu werden. Wenn Sie diese Grenzen nicht klar definieren können, reduzieren Sie die Funktionen auf rein informative Inhalte. Es ist besser, auf ein „Nice-to-have“-Feature zu verzichten, als die nächsten zwei Jahre mit einem Audit der belgischen Datenschutzbehörde oder des EU AI Office zu verbringen.
https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/