»Künstliche Intelligenz darf keine Black Box sein«

Oktober 2020 | Die Zeit | Zukunft Medizin

»Künstliche Intelligenz darf keine Black Box sein«

Mit Hilfe von künstlicher Intelligenz, Robotik und Big Data entstehen völlig neuartige Medizinprodukte. Ihre Zulassung fordert die Hersteller und Prüfer gleichermaßen heraus. Grund dafür sind auch komplexe oder fehlende regulatorische Vorgaben.

Dr. Abtin Rad Global Director Functional Safety, Software & Digitization, Biomedizin- und Elektroingenieur mit den Schwerpunkten Cybersecurity, KI und medizinische Bildgebung.
TÜV Süd / Beitrag

Herr Dr. Rad, hinken die Regelwerke den dynamischen Technikfortschritten hinterher?

Besorgt sind wir bei TÜV SÜD vor allem über die Situation in der Medizintechnik. Trotz der wichtigen Regulierung der Branche fehlen bei der Anwendung von künstlicher Intelligenz teils noch gesetzliche Vorgaben oder sie sind nicht immer eindeutig.

 

Wie zeigt sich das in der Praxis?

Einerseits verunsichert das viele Hersteller, ob und wie sich KI hier sicher implementieren lässt. Andererseits registrieren wir bereits erste meldepflichtige Vorkommnisse, bei denen Medizinprodukte nachgebessert oder vom Markt genommen werden mussten.

 

Was muss sich denn aus Ihrer Sicht ändern?

Die beste Option ist sicher, die Zusammenarbeit auf europäischer Ebene weiter auszubauen. Ein intensiverer Austausch zwischen dem Gesetzesgeber, Experten aus der Industrie und den Benannten Stellen würde die Ausgangslage für den Einsatz von KI in der Medizin verbessern.

 

Birgt KI für die Medizin also mehr Risiken als Chancen?

Das Potenzial künstlicher Intelligenz für die Beurteilung von Befunden oder die Mustererkennung im Allgemeinen ist immens. Es kommt allein auf die sichere Implementierung an. KI darf keine Black Box sein. Die Erklärbarkeit des verwendeten Algorithmus ist klinisch relevant. Vielfach sind die Entscheidungen einer KI nicht nachvollziehbar. Dann kann beispielsweise nicht spezifiziert werden, welcher Teil eines diagnostischen Bilds zu einem bestimmten Befund geführt hat. Eine KI-gestützte Entscheidung erklären zu können ist jedoch grundlegend für das Vertrauensverhältnis zwischen Arzt und Patient.

 

Welche anderen technischen Innovationen haben Sie bei TÜV SÜD im Blick?

Das ist ein weites Feld –von der Sportuhr über Fitness-Tracker bis hin zu Gesundheits-Apps auf dem Smartphone. Die Hersteller wissen mitunter nicht, dass sie ein Medizinprodukt entwickeln, das regulatorische Anforderungen erfüllen muss. Deshalb informieren wir über relevante EU-Verordnungen und geben Orientierungshilfen.

 

Selbst Software wie Apps können als Medizinprodukt eingestuft werden?

Ja, wenn sie einem medizinischen Zweck dient. Nicht nur Instrumente, Implantate oder Reagenzien fallen unter die Medizinprodukte-Verordnung. Auch Software muss geprüft werden, bevor sie für eine Untersuchung, Diagnose oder Vorhersage von Krankheitsverläufen zum Einsatz kommen darf.

 

Das heißt, es kommen auch mehr Prüfanfragen zur IT-Sicherheit und dem Datenschutz?

Grundsätzlich schon, allerdings hat auch hier die Pandemie noch einmal alles verändert. Aktuell kommen vor allem Prüfanfragen zu dringend benötigten Medizinprodukten wie Gesichtsschilde aus dem 3D-Drucker oder UV-Desinfektionslampen. Aufgrund der weit gefächerten und teils übergreifenden Prüfinhalte benötigen die Experten umfassendes Wissen und langjährige Erfahrung – worauf wir in unserem interdisziplinären Team achten.
Bei der Cybersecurity ist entscheidend, dass die zunehmende Anzahl an vernetzten medizinischen Geräten bzw. das Internet of Things ein hohes Maß Sorgfalt bei der Entwicklung, Anwendung und Dokumentation verlangt. Schließlich handelt es sich um besonders sensible Daten.

 

www.tuvsud.com/ps