Zuletzt aktualisiert am 1. Juni 2026

KI bei Krankenkassen: Was der Datenschutzbeauftragte wissen muss

Immer mehr gesetzliche und private Krankenkassen setzen auf künstliche Intelligenz: DeepL für mehrsprachige Kommunikation, Microsoft Copilot für interne Prozesse und KI-gestützte Callcenter für den Versichertenservice. Doch gerade im Gesundheitswesen gelten die strengsten Datenschutzanforderungen Deutschlands. Als externer Datenschutzbeauftragter begleiten wir Krankenkassen und Behörden bei der DSGVO-konformen Einführung von KI-Systemen.

Sozialdaten unter besonderem Schutz

Krankenkassen verarbeiten hochsensible Sozialdaten nach dem Sozialgesetzbuch (SGB). Diagnosen, Behandlungsverläufe, Medikamentenpläne und Arbeitsunfähigkeitsbescheinigungen unterliegen dem Sozialgeheimnis (§ 35 SGB I). Wenn diese Daten in ein KI-System fließen, entstehen besondere datenschutzrechtliche Anforderungen, die weit über die allgemeine DSGVO hinausgehen.

Die zentrale Frage lautet: Dürfen Sozialdaten überhaupt von einer KI verarbeitet werden? Die Antwort ist differenziert. Eine Verarbeitung ist möglich, wenn sie zur Erfüllung gesetzlicher Aufgaben der Krankenkasse erforderlich ist und technisch-organisatorische Maßnahmen den Schutz der Daten sicherstellen.

DSGVO-Anforderungen für KI im Gesundheitswesen

Der Einsatz von KI-Systemen im Gesundheitswesen unterliegt einem verschärften Rechtsrahmen, der über die allgemeine DSGVO hinausgeht. Die wichtigsten rechtlichen Grundlagen sind:

• Art. 9 DSGVO (besondere Kategorien): Gesundheitsdaten dürfen nur unter strengen Voraussetzungen verarbeitet werden — etwa bei ausdrücklicher Einwilligung, zur Erfüllung sozialrechtlicher Pflichten oder bei erheblichem öffentlichen Interesse
• § 67b SGB X: Regelt die Zulässigkeit der Sozialdatenverarbeitung durch öffentliche Stellen. KI-Systeme müssen hier als Instrument der Aufgabenerfüllung eingeordnet werden
• EU KI-Verordnung (AI Act): Klassifiziert KI-Systeme im Gesundheitswesen als Hochrisiko-KI. Ab August 2026 gelten verschärfte Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht
• § 80 SGB X: Auftragsverarbeitung im Sozialrecht mit strengeren Anforderungen als Art. 28 DSGVO — insbesondere bei der Standortwahl und der Zugriffskontrolle

Für den Datenschutzbeauftragten bedeutet dies: Jeder KI-Einsatz muss individuell geprüft werden. Pauschale Freigaben sind nicht möglich.

DeepL, Copilot und Callcenter-KI: Datenschutzrechtliche Bewertung

DeepL Pro für die Versichertenkommunikation

Wenn eine Krankenkasse DeepL Pro einsetzt, um Leistungsbescheide oder medizinische Informationen zu übersetzen, handelt es sich um eine Auftragsverarbeitung nach Art. 28 DSGVO. Der Datenschutzbeauftragte muss prüfen: Wo werden die Daten verarbeitet? Erfolgt eine Speicherung der übersetzten Texte? Werden die Inhalte zum Training der KI verwendet? Bei DeepL Pro mit API-Zugang besteht eine vertragliche Zusicherung, dass keine Inhalte gespeichert oder zum Training genutzt werden.

Datenschutzrisiken bei DeepL:

• Kostenlose Version: Texte werden gespeichert und zum Modelltraining verwendet — für Sozialdaten absolut unzulässig
• DeepL Pro (API): Vertragliche Zusicherung der Nicht-Speicherung, aber der AVV muss die besonderen Anforderungen des § 80 SGB X erfüllen
• Serverstandort: DeepL verarbeitet in der EU (Deutschland/Finnland) — ein Vorteil gegenüber US-basierten Übersetzungsdiensten
• Eingabedaten: Mitarbeiter müssen geschult werden, keine unnötigen personenbezogenen Daten in Übersetzungen einzufügen. Anonymisierung oder Pseudonymisierung vor der Übersetzung ist empfehlenswert

Microsoft Copilot in der Sachbearbeitung

Microsoft Copilot kann medizinische Gutachten zusammenfassen und DRG-Fallpauschalen abgleichen. Dabei verarbeitet die KI potenziell besondere Kategorien personenbezogener Daten (Art. 9 DSGVO). Der Datenschutzbeauftragte muss eine Datenschutz-Folgenabschätzung (DSFA) nach Art. 35 DSGVO durchführen, bevor Copilot mit Gesundheitsdaten arbeiten darf. Besonders kritisch: die Verarbeitung in Microsoft-Rechenzentren und die Frage der Drittstaatenübermittlung.

Kritische Prüfpunkte für Copilot:

• EU Data Boundary: Microsoft bietet eine EU-Datengrenze an, aber Ausnahmen für Support und Sicherheitsdienste bestehen weiterhin
• Prompt-Daten: Eingaben in Copilot werden zur Verbesserung des Dienstes verarbeitet — bei Sozialdaten ist dies ohne explizite Rechtsgrundlage unzulässig
• Semantic Index: Copilot erstellt einen semantischen Index über alle zugänglichen Unternehmensdaten. Die Zugriffsrechte müssen so konfiguriert sein, dass Sachbearbeiter nur auf die für sie bestimmten Versichertendaten zugreifen können
• Logging und Nachvollziehbarkeit: Alle Copilot-Interaktionen mit Sozialdaten müssen protokolliert und regelmäßig ausgewertet werden

KI-gestützte Callcenter und Voicebots

Wenn eine KI Versichertenanrufe automatisch kategorisiert oder einfache Anfragen selbstständig beantwortet, werden Stimmdaten und Gesprächsinhalte verarbeitet. Der Datenschutzbeauftragte muss sicherstellen, dass Anrufer vorab über den KI-Einsatz informiert werden (Transparenzpflicht, Art. 13 DSGVO) und dass eine Aufzeichnung nur mit Einwilligung oder gesetzlicher Grundlage erfolgt.

Besondere Herausforderungen im Callcenter:

• Stimmbiometrie: Die Identifikation von Versicherten anhand der Stimme fällt unter biometrische Daten (Art. 9 DSGVO) und erfordert eine explizite Einwilligung
• Gesprächstranskription: Automatische Mitschriften enthalten regelmäßig Gesundheitsdaten — Speicherfristen und Löschkonzepte sind zwingend erforderlich
• Emotionserkennung: KI-Systeme, die Emotionen aus der Stimme ableiten, sind nach der EU KI-Verordnung am Arbeitsplatz grundsätzlich verboten
• Opt-out-Möglichkeit: Versicherte müssen jederzeit die Möglichkeit haben, mit einem menschlichen Mitarbeiter verbunden zu werden

Pflichten des Datenschutzbeauftragten bei KI-Projekten

Der Datenschutzbeauftragte hat bei der Einführung von KI-Systemen im Gesundheitswesen folgende Kernaufgaben:

• Datenschutz-Folgenabschätzung (DSFA): Vor Inbetriebnahme jedes KI-Systems, das Gesundheits- oder Sozialdaten verarbeitet
• Auftragsverarbeitungsverträge (AVV): Prüfung und Verhandlung mit KI-Anbietern wie Microsoft, DeepL oder Callcenter-Dienstleistern
• Technisch-organisatorische Maßnahmen (TOM): Absicherung der Pseudonymisierung, Verschlüsselung und Zugangskontrolle
• Transparenz und Information: Aktualisierung der Datenschutzerklärung und Verzeichnis der Verarbeitungstätigkeiten
• Schulung der Mitarbeiter: Sensibilisierung für den datenschutzkonformen Umgang mit KI-Tools
• Risikoklassifizierung nach AI Act: Einordnung jedes KI-Systems in die Risikoklassen der EU KI-Verordnung
• Regelmäßige Überprüfung: KI-Systeme entwickeln sich weiter — mindestens jährliche Neubewertung der Datenschutzkonformität

Checkliste: KI-Einführung bei Krankenkassen datenschutzkonform gestalten

Bevor ein KI-System im Krankenkassenumfeld eingesetzt wird, sollten folgende Schritte durchlaufen werden:

1. Zweckbestimmung definieren: Welche konkreten Aufgaben soll die KI übernehmen? Ist der Einsatz zur Aufgabenerfüllung erforderlich?
2. Rechtsgrundlage prüfen: Liegt eine Erlaubnisnorm nach SGB X oder DSGVO vor? Ist eine Einwilligung erforderlich?
3. DSFA durchführen: Systematische Bewertung der Risiken für die Rechte und Freiheiten der Versicherten
4. Datenflüsse dokumentieren: Welche Daten fließen wohin? Gibt es Drittstaatenübermittlungen?
5. AVV abschließen: Auftragsverarbeitungsvertrag mit dem KI-Anbieter unter Berücksichtigung von § 80 SGB X
6. TOM implementieren: Technisch-organisatorische Maßnahmen für Verschlüsselung, Zugangskontrolle, Pseudonymisierung
7. Mitarbeiter schulen: Datenschutz-Schulungen speziell für den Umgang mit KI-Tools
8. Monitoring einrichten: Fortlaufende Überwachung der KI-Nutzung und der Datenverarbeitung
9. Löschkonzept erstellen: Klare Regeln für die Aufbewahrung und Löschung von KI-verarbeiteten Daten
10. Aufsichtsbehörde konsultieren: Bei hohem Restrisiko vorab die zuständige Datenschutzaufsicht einbeziehen

On-Premise KI als datenschutzkonforme Alternative

Für Krankenkassen mit besonders hohen Sicherheitsanforderungen bieten lokale KI-Modelle die datenschutzfreundlichste Lösung. Bei On-Premise-Systemen verlassen keine Sozialdaten die IT-Infrastruktur der Krankenkasse. Die DATUREX GmbH implementiert solche lokalen KI-Lösungen auf eigenen GPU-Servern und verbindet sie über sichere RAG-Systeme mit dem internen Wissensmanagement.

Vorteile von On-Premise-KI:

• Volle Datensouveränität: Keine Datenübermittlung an externe Anbieter
• Kein Drittstaatentransfer: Alle Verarbeitungen finden auf eigener Infrastruktur statt
• Individuelle Anpassung: Das KI-Modell kann auf die spezifischen Anforderungen der Krankenkasse trainiert werden
• Compliance by Design: Datenschutzanforderungen werden direkt in die Systemarchitektur integriert
• Revisionssicherheit: Vollständige Kontrolle über Logs, Zugriffsrechte und Datenflüsse

Open-Source-Modelle wie Llama, Mistral oder Gemma bieten leistungsfähige Alternativen zu proprietären Cloud-Diensten — bei voller Kontrolle über die Datenverarbeitung.

Häufige Datenschutzverstöße bei KI-Nutzung in Krankenkassen

In unserer Beratungspraxis begegnen uns immer wieder typische Fehler, die Krankenkassen und Gesundheitsorganisationen beim KI-Einsatz machen:

Schatten-KI durch Mitarbeiter

Eines der größten Risiken ist die unkontrollierte Nutzung von KI-Tools durch Mitarbeiter — die sogenannte Schatten-KI. Sachbearbeiter nutzen ChatGPT, Google Gemini oder andere kostenlose KI-Dienste, um Bescheide zu formulieren, Anfragen zu beantworten oder medizinische Sachverhalte zusammenzufassen. Dabei werden regelmäßig Sozialdaten in Cloud-Dienste hochgeladen, ohne dass der Datenschutzbeauftragte davon weiß.

Gegenmaßnahmen:

• Klare Dienstanweisung zum Verbot nicht genehmigter KI-Tools
• Technische Blockierung von KI-Websites auf Arbeitsplatzrechnern
• Bereitstellung genehmigter Alternativen (z.B. On-Premise-KI)
• Regelmäßige Sensibilisierung in Datenschutz-Schulungen

Fehlende Datenschutz-Folgenabschätzung

Viele Krankenkassen führen KI-Tools als IT-Projekt ein, ohne den Datenschutzbeauftragten frühzeitig einzubinden. Die DSFA wird nachgeholt oder ganz vergessen — ein klarer Verstoß gegen Art. 35 DSGVO. Bei Gesundheitsdaten ist eine DSFA praktisch immer erforderlich, da die Verarbeitung ein hohes Risiko für die Rechte der Versicherten darstellt.

Unzureichende Auftragsverarbeitungsverträge

Standard-AVVs der KI-Anbieter erfüllen häufig nicht die besonderen Anforderungen des Sozialrechts. Der § 80 SGB X stellt strengere Anforderungen als Art. 28 DSGVO — insbesondere hinsichtlich der Weisungsbefugnis, der Kontrolle und der Standortbeschränkungen. Ein AVV, der für ein normales Unternehmen ausreicht, ist für eine Krankenkasse unter Umständen nicht rechtskonform.

Aktuelle Entwicklungen: EU KI-Verordnung und Gesundheitswesen

Die EU KI-Verordnung (AI Act) bringt ab 2026 zusätzliche Pflichten für KI-Systeme im Gesundheitswesen. KI-Anwendungen, die Gesundheitsdaten verarbeiten oder Entscheidungen im Sozialleistungsbereich unterstützen, werden als Hochrisiko-KI eingestuft. Das bedeutet:

• Konformitätsbewertung: Vor der Inbetriebnahme muss eine formale Konformitätsbewertung durchgeführt werden
• Risikomanagement: Ein dokumentiertes Risikomanagementsystem für das KI-System ist verpflichtend
• Datenqualität: Die Trainings- und Testdaten müssen dokumentierte Qualitätsstandards erfüllen
• Menschliche Aufsicht: Es muss sichergestellt sein, dass ein Mensch die KI-Entscheidungen überwachen und übersteuern kann
• Transparenz: Versicherte müssen darüber informiert werden, wenn eine KI an der Bearbeitung ihres Falls beteiligt ist
• Protokollierung: Alle KI-gestützten Entscheidungen müssen nachvollziehbar dokumentiert werden

Für Krankenkassen bedeutet dies einen erheblichen zusätzlichen Compliance-Aufwand. Der Datenschutzbeauftragte sollte die Schnittstellen zwischen DSGVO und AI Act frühzeitig identifizieren und ein integriertes Compliance-Konzept entwickeln.

Unser Beratungsangebot für Krankenkassen und Gesundheitswesen

Als externer Datenschutzbeauftragter mit über 20 Jahren Erfahrung in der IT-Sicherheit beraten wir Krankenkassen, Behörden und Organisationen im Gesundheitswesen zu allen Datenschutzfragen rund um den KI-Einsatz. Von der DSFA über die AVV-Prüfung bis zur technischen Implementierung datenschutzkonformer Lösungen — wir begleiten Sie sachsenweit und bundesweit.

Unsere Leistungen im Überblick:

• DSGVO-Beratung speziell für den KI-Einsatz im Gesundheitswesen
• Datenschutz-Folgenabschätzungen für DeepL, Copilot, Callcenter-KI und weitere Systeme
• AVV-Prüfung und -Verhandlung mit KI-Anbietern unter Berücksichtigung des Sozialrechts
• On-Premise-KI-Beratung für datenschutzkonforme lokale Lösungen
• Mitarbeiterschulungen zum datenschutzkonformen Umgang mit KI-Tools

Jetzt kostenlose Erstberatung vereinbaren