Therapeutische KI: Das neue regulatorische Minenfeld
Wenn Ihr Produkt den Bereich psychische Gesundheit oder emotionale Unterstützung berührt, hat der AI Act die Spielregeln gerade geändert. Hier erfahren Sie alles über die neuesten Verschiebungen bei der Klassifizierung.
Der EU AI Act verliert endlich seine abstrakte Fassade und wird konkret, wenn es um ‚therapeutische‘ KI und KI zur ‚emotionalen Unterstützung‘ geht. Aktuelle Leitlinien stellen klar, dass Systeme, die für therapeutische Zwecke konzipiert sind – einschließlich für psychologische Unterstützung angepasster Allzweck-KI (GPAI) –, nun unter genauer Beobachtung stehen. Anbieter sehen sich mit einer zweistufigen Compliance-Last konfrontiert: Sie sind sowohl für die grundlegende Integrität des Modells als auch für den spezifischen Einsatz Ihrer therapeutischen Anwendung verantwortlich.
Für uns in der belgischen KMU-Szene ist das ein Weckruf. Wenn Ihre App ein LLM nutzt, um ‚unterstützende Chats‘ oder Impulse für die psychische Gesundheit anzubieten, verkaufen Sie nicht nur Software; Sie betreiben potenziell ein hochriskantes, medizinnahes Werkzeug. Die EU rückt von der Verteidigungslinie ‚es ist ja nur ein Chatbot‘ ab. Wenn Ihr System den emotionalen Zustand oder die psychische Gesundheit eines Nutzers beeinflusst, wird von Ihnen die Implementierung strenger Risikomanagementsysteme, menschlicher Aufsicht und einer Daten-Governance erwartet, bei der selbst ein traditionelles Medizintechnik-Unternehmen ins Schwitzen käme.
Dies zu ignorieren ist nicht nur ein regulatorisches Risiko, sondern ein Haftungsalbtraum. Die belgischen Aufsichtsbehörden sind bekanntlich äußerst gewissenhaft, wenn es um Patientendaten und gesundheitsbezogene Dienste geht. Wenn Sie in diesem Bereich entwickeln, müssen Sie aufhören, Ihre KI als Black-Box-Feature zu betrachten, und anfangen, sie als klinische Komponente zu behandeln.
Führen Sie in diesem Quartal ein ‚regulatorisches Audit‘ Ihrer Produkt-Roadmap durch. Identifizieren Sie jedes Feature, das emotionale Unterstützung oder therapeutische Interaktion impliziert. Falls Sie fündig werden, gleichen Sie diese umgehend mit den Anforderungen für Hochrisiko-Systeme des AI Act ab. Wenn Sie nicht dokumentieren können, wie Ihr Modell reagiert, wenn ein Nutzer eine psychische Krise erlebt, sollten Sie dieses Feature nicht ausrollen. Es ist besser, eine Funktion jetzt zu streichen, als ein Produkt aus dem App Store nehmen zu müssen, wenn die Datenschutzbehörde an die Tür klopft.
Quelle: https://artificialintelligenceact.eu/ai-therapy-under-the-eu-ai-act/