Zwischen den Patienten können Sie zwischen Krankenakten und einem KI-Assistenten hin- und herschalten und ihn auffordern, eine komplexe Krankengeschichte zusammenzufassen, einen Antrag auf Vorabgenehmigung zu verfassen und auf mögliche Wechselwirkungen von Medikamenten hinzuweisen. Minuten später schlägt er Differentialdiagnosen auf der Grundlage von Symptomen vor, für die Sie früher in Nachschlagewerken blättern oder sich allein auf Ihr Gedächtnis verlassen mussten. Die Effizienz ist unbestreitbar, aber was sollte unabhängig überprüft werden, was gehört in die Krankenakte und wer ist letztlich verantwortlich, wenn etwas schief geht?
Mit der zunehmenden Integration künstlicher Intelligenz in klinische Arbeitsabläufe bewegen sich Ärzte in einer sich wandelnden Rechtslandschaft, in der die Grenze zwischen Unterstützung und Haftung noch nicht definiert ist. „Es bleibt abzuwarten, wie sich der Einsatz künstlicher Intelligenz auf die Arzthaftung auswirkt“, erklärt Lauren DeMoss, Anwältin für das Gesundheitswesen und Co-Vorsitzende des Bereichs Gesundheitswesen und Biowissenschaften bei Maynard Nexsen, gegenüber Sermo. „Es gibt noch nicht viel Rechtsprechung, aber wir können sicher erwarten, dass wir in den nächsten Jahren mehr sehen werden.
Ärzte auf Sermo diskutieren darüber, was sie für einen verantwortungsvollen Einsatz von KI-Tools halten. Einige halten sie im Allgemeinen für zuverlässig. „Ich habe OpenEvidence (eine Zusammenarbeit zwischen JAMA und NEJM) genutzt und sogar gelegentlich darauf verwiesen, vor allem, wenn Patienten den Empfehlungen skeptisch gegenüberstanden“, schreibt ein Arzt. „Es gibt Links zu den Daten, die die Antworten untermauern, und ich habe festgestellt, dass es (bisher) frei von Halluzinationen ist.“
Andere Sermo-Mitglieder weisen auf Grenzen hin. „Es ist unverständlich, dass man sich zu etwas hinreißen lässt, das nicht bewiesen ist, vor allem in unserem Fachgebiet“, schreibt ein Arzt. „Ich gebe jedoch zu, dass ich KI verwende, um in meinen Büchern Fachinformationen zu sammeln. Ohne ein solches Verfahren könnte ich mir die mühsame Suche nach Zitaten, Nachdrucken und Zusammenfassungen zu einem bestimmten Thema nicht vorstellen.“ Ein anderes Sermo-Mitglied ist der Meinung, dass KI „für die Beratung nützlich ist, aber nicht zum Hauptinstrument der Entscheidungsfindung werden kann.“
Die zunehmende Verbreitung von KI in der Medizin wirft die Frage auf, ob Ärzte verklagt werden können, wenn sie eine von einem Algorithmus vorgeschlagene Diagnose befolgen oder ignorieren. Erkunden Sie die sich entwickelnde Landschaft der medizinischen KI-Haftung und wie KI den Standard der Pflege beeinflussen kann.
Haftungsausschluss: Dieser Artikel spiegelt reale Gespräche innerhalb der Sermo Ärzte-Community wider und wird nur zu Bildungszwecken veröffentlicht. Er stellt keine rechtliche oder medizinische Beratung dar. Die zur Verfügung gestellten Informationen sind allgemeiner Natur; die Gesetze zu ärztlichen Kunstfehlern, Sorgfaltspflicht und Haftung unterscheiden sich je nach Gerichtsbarkeit erheblich. Ärzte sollten sich an einen qualifizierten Rechtsvertreter wenden, um eine auf ihre Situation zugeschnittene Beratung zu erhalten. Die Zitate von Community-Mitgliedern wurden anonymisiert.
Sind Ärzte für KI-Fehler haftbar?
Wenn Software versagt, können Entwickler mit Produkthaftungs- oder Fahrlässigkeitsansprüchen konfrontiert werden, je nachdem, wie die Technologie klassifiziert wird und je nach Gerichtsbarkeit. Bei Produkthaftungsansprüchen wird die Software wie ein fehlerhaftes Produkt behandelt. Betrachten Sie den Fall Raine v. OpenAI Rechtsstreit. In diesem Fall geht es um den Vorwurf, dass ChatGPT schädliche Inhalte generiert hat, die zum Tod des Nutzers Adam Raine beigetragen haben. Es stellt sich die Frage, ob der Entwickler für die Ergebnisse seiner Technologie haftbar gemacht werden kann. Da kein Arzt involviert war, liegt der juristische Fokus auf dem Produkt selbst – ob es fehlerhaft konzipiert oder unzureichend abgesichert war.
Kläger in Fällen wie diesem versuchen, KI-Tools ähnlich wie andere Verbraucherprodukte zu behandeln und argumentieren, dass Unternehmen die Verantwortung für vorhersehbare Schäden tragen sollten, die durch ihre Systeme verursacht werden. „Ein menschlicher Therapeut hätte erkannt, dass es sich bei Adams eskalierenden Darbietungen um den Wunsch handeln könnte, Gründe zu erhalten, um nicht zu sterben. Aber die KI konnte aufgrund ihres Designs nicht zwischen seiner Hartnäckigkeit und einer tatsächlichen Forderung nach Ermutigung unterscheiden“, erklärt ein Arzt auf Sermo den Fall.
Szenarien von Ärzten werden jedoch durch eine andere Linse beurteilt. Wenn ein Arzt einen Algorithmus bei der Patientenversorgung einsetzt, wird der juristische Fokus wahrscheinlich weiterhin auf dem klinischen Urteil des Arztes liegen. Im Jahr 2026 ist die Rechtsprechung in Bezug auf den Einsatz von KI im Gesundheitswesen dünn gesät. Aber auf der Grundlage bestehender Fälle von Kunstfehlern im Zusammenhang mit der elektronischen Patientenakte konzentrieren sich die Gerichte in erster Linie darauf, wie der Arzt die Ergebnisse der Software interpretiert und daraufhin gehandelt hat – und es ist wahrscheinlich, dass dieselbe Argumentation und der zugrunde liegende Rechtsgrundsatz (dass die Sorgfaltspflicht zwischen Arzt und Patient nicht delegierbar ist) gelten werden. Die Gerichte können Folgendes in Betracht ziehen:
- Hat der Kliniker die Empfehlung kritisch bewertet?
- War es vernünftig, sich in diesem Zusammenhang auf sie zu verlassen?
- Hätte ein ähnlich ausgebildeter Arzt die gleiche Entscheidung getroffen?
Diese Unterscheidung schafft eine wachsende Grauzone, da KI immer häufiger eingesetzt wird. KI-Systeme können fehlerhafte Ergebnisse generieren, die dennoch als verbindlich erscheinen. Wenn ein Arzt einer von der KI generierten Empfehlung folgt, die zu einem Schaden führt, könnte er wegen übermäßigen Vertrauens haftbar gemacht werden. Wenn er andererseits eine von der KI generierte Warnung ignoriert, die sich später als zutreffend erweist, könnte diese Entscheidung auch als verpasste Gelegenheit, den sich entwickelnden Pflegestandard zu erfüllen, hinterfragt werden.
Fälle wie Raine v. OpenAI, die vor Gericht verhandelt werden, können helfen zu klären, wo die Verantwortung für KI-Entwickler liegt. KI kann Entscheidungen beeinflussen, aber sie übernimmt nicht die Haftung, so ein Sermo-Mitglied mit Erfahrung in der Rechtsprechung. „Die Rolle des Arztes als letzter klinischer Entscheidungsträger kann nicht aufgegeben werden… KI ist weder ethisch noch rechtlich ein Ersatz für Fachwissen und Urteilsvermögen.“
Wie KI „Halluzinationen“ Ihre Entscheidungsfindung als Arzt beeinflussen können
Generative KI verfügt nicht über die Denkfähigkeiten eines Menschen, wie ein Sermo-Mitglied mit medizinischer Erfahrung anmerkt: „KI funktioniert durch das Auslösen von aufeinanderfolgenden Algorithmen… auch das ist nur ein Simulakrum des Denkens.“
Diese Algorithmen sind dafür berüchtigt, dass sie selbstbewusst falsche Ergebnisse liefern, die in der Medizin oft als KI-Halluzinationen bezeichnet werden. Manchmal fabriziert die Software sogar Studienergebnisse oder erfindet Zitate, die gar nicht existieren.
Aus diesem Grund wird in der Praxis von Klinikern im Allgemeinen erwartet, dass sie die Schlussfolgerungen der Algorithmen verifizieren. Medizinische Plattformen wie OpenEvidence, die direkt auf unterstützende klinische Daten verweisen, sind in der Regel eine sicherere Wahl, als sich bei komplexen klinischen Abfragen auf Verbraucher-Tools wie ChatGPT zu verlassen. „ChatGPT ist berüchtigt dafür, Ihr bedürftigster Möchtegern-Freund zu sein, der Ihnen sagt, wie großartig Ihre Ideen sind und sogar Aussagen, dass Sie falsch liegen, in Bestätigungen darüber verpackt, wie brillant Ihre Frage war“, warnt ein Arzt auf Sermo.
Wie man KI verantwortungsvoll in die medizinische Versorgung integriert
„Bestehende Fälle stützen sich immer noch auf den Standard ‚vernünftiger Arzt unter ähnlichen Umständen‘, unabhängig davon, ob KI verwendet wurde“, stellt DeMoss fest. Dieser Standard gibt dem menschlichen Urteilsvermögen immer noch Vorrang vor den Ergebnissen von Algorithmen. „Derzeit gibt es weder eine Doktrin noch einen Präzedenzfall, der dem KI-System und seinem Entwickler eine vollständige oder teilweise Verantwortung zuweist, selbst wenn die KI-Empfehlungen direkte Auswirkungen auf die Patientenversorgung haben“, sagt DeMoss. „Aber in Vorbereitung auf das, was kommen wird, sollten sowohl Kliniker als auch Entwickler von KI-Technologien den Haftpflichtversicherungsschutz prüfen, um festzustellen, was von der Deckung ausgeschlossen ist.“
Ein „vernünftiges“ Handeln kann eine kritische Sichtweise erfordern, da generative Modelle oft so entwickelt werden, dass sie angenehm sind und den Menschen gefallen. In einem klinischen Umfeld kann sich dies darin äußern, dass die Software gefälschte Daten erzeugt, um die vermutete Diagnose eines Arztes zu unterstützen. Der verantwortungsvolle Einsatz von KI „muss auf der Gewährleistung von Genauigkeit beruhen und das bedeutet, dass jede inhärente Voreingenommenheit eines KI-Tools kompensiert werden muss, das wahrscheinlich als ‚People Pleaser‘ agiert und sogar Antworten halluziniert, um dem Benutzer das zu geben, was er zu wollen scheint“, erklärt ein Arzt auf Sermo.
Rechtlich gesehen ist der Arzt die letzte Barriere, um Schaden zu vermeiden. Einem Algorithmus zu folgen, der einen Fehler macht, wird häufig als Versagen der menschlichen Aufsicht angesehen. „Der Arzt ist in der Position der ‚letzten klaren Chance‘, um zu verhindern, dass eine falsche KI-Eingabe in die tatsächliche Pflege umgesetzt wird“, erklärt ein Sermo-Mitglied mit Erfahrung in der Rechtsprechung.
Wenn Sie mit einem Ergebnis nicht einverstanden sind, kann Ihre klinische Begründung Sie schützen. „Wenn der Arzt das Ergebnis der KI kannte, aber nicht der Meinung war, dass es befolgt werden sollte… wäre die Verteidigung, dass der Arzt zeigen muss, dass das Ergebnis der KI wahrscheinlich nicht korrekt war“, so ein Arzt in der Debatte.
Die wichtigsten Erkenntnisse für Mediziner
In den Augen des Gesetzgebers sind Algorithmen ein ergänzendes Instrument und kein Ersatz für das klinische Urteilsvermögen. Wenn Sie diese Systeme verwenden, sollten Sie in Ihrer Dokumentation auch das „Warum“ erwähnen, d.h. den Algorithmus ausdrücklich erwähnen und Ihre klinischen Gründe für die Befolgung oder Ablehnung des Algorithmus klar darlegen. „Dokumentation und kritisches Urteilsvermögen werden wichtiger denn je sein“, meint ein Sermo-Mitglied.
Wie im Fall Raine v. OpenAI zu sehen ist, können Kläger Tech-Unternehmen auf Schadenersatz verklagen, wenn kein Arzt beteiligt ist. „Der Hauptanspruch in diesem Fall beruht auf verschuldensunabhängiger Haftung… ChatGPT wird als ein von Natur aus fehlerhaftes Produkt behandelt“, so ein Arzt auf Sermo. In Fällen, in denen ein Arzt ein KI-Tool verwendet hat, ist der primäre rechtliche Rahmen in der Regel berufliche Fahrlässigkeit.
Ärzte haben eine unabhängige, nicht übertragbare Pflicht gegenüber dem Patienten. „Diese Pflichten verpflichten dann zum verantwortungsvollen Einsatz von KI nach professionellen Standards“, schreibt ein Sermo-Mitglied. Ein anderes Community-Mitglied formuliert es so: „Ärzte, die KI einsetzen, sind verpflichtet, mindestens eine Parkbremse und höchstens ein Stachelstreifen zu sein und zu bewerten, ob der KI-Input in die Versorgung einfließen darf.“ Ein drittes Mitglied warnt: „KI ist nur ein Schwellenwerkzeug, das dann einer menschlichen Überprüfung unterzogen wird.
Ihre Rolle als klinischer Adjudikator
Künstliche Intelligenz soll zwar hilfreich sein, aber sie ist nicht unbedingt genau. Ihre Rolle als Arzt ist die eines „klinischen Richters“, der die Ergebnisse der Algorithmen durch die Linse seiner klinischen Erfahrung filtert, um die Sicherheit der Patienten zu gewährleisten.
Die Ärzte auf Sermo navigieren gemeinsam durch dieses Neuland und diskutieren darüber, wie sie KI-Tools einsetzen und dabei einen kritischen Blick behalten. In der Online-Community lernen Ärzte von den praktischen Erfahrungen der anderen über Fachgebiete, Länder und Rechtssysteme hinweg. Werden Sie kostenlos Mitglied und verbinden Sie sich mit mehr als 1 Million Ärzten weltweit.
Dieser Artikel wurde von einem Mitglied der Sermo Ärztegemeinschaft medizinisch überprüft.
