KI per Update: Was Träger bei der Fachsoftware prüfen müssen

Reicht die bestehende Lieferantenbewertung, wenn eine Fachsoftware mit dem nächsten Update eine KI-Funktion mitbringt? Die naheliegende Antwort lautet ja, schließlich ändert sich nur die Software, nicht der Anbieter. Die Antwort ist falsch.

Mehrere Softwarehäuser für Pflege- und Sozialsoftware bieten ihren Kundinnen und Kunden inzwischen KI-Zusatzfunktionen an, etwa für Spracherkennung, automatisierte Dokumentation oder Datenextraktion aus bestehenden Akten. Technisch läuft das über eine Schnittstelle: Der Hersteller mietet ein fertiges KI-Modul bei einem spezialisierten Anbieter zu und bindet es in die bestehende Software ein. Für den Träger als Anwender ändert sich am äußeren Vertrag zunächst nichts, denn es erscheint nur ein neuer Menüpunkt nach dem nächsten Update.

Das unterscheidet sich von einer klassischen Beschaffung. Wer neue Software einkauft, vergleicht vorher Angebote und trifft eine bewusste Entscheidung. Wer ein KI-Modul per Update erhält, hat diese Entscheidung nie getroffen, weil sie formal gar nicht bei ihm liegt. Der Softwarehersteller wählt den Anbieter des Moduls. Der Träger entscheidet höchstens noch, ob er die Funktion aktiviert oder ausblendet.

Diese Wahlmöglichkeit muss allerdings im Vertrag vorgesehen sein. Verantwortlich für die Prüfung bleibt trotzdem die Einrichtung: Sie führt eine aktivierte Funktion im eigenen Qualitätsmanagement wie jede andere Änderung, auch wenn die Auswahl woanders getroffen wurde.

Wie viele Fachsoftwareprodukte in der Pflege und der Sozialen Arbeit bereits eine KI-Funktion in dieser Form mitbringen, lässt sich nicht beziffern. Eine solche Zählung existiert nicht und wird hier auch nicht geschätzt. Belegen lässt sich nur, wie groß die Grundgesamtheit der Einrichtungen ist, die grundsätzlich betroffen sein könnten. Nach Angaben des Statistischen Bundesamts (2023) gab es bundesweit 16.505 Pflegeheime und 15.549 ambulante Pflegedienste, nicht mitgezählt die Einrichtungen der Kinder- und Jugendhilfe, der Sozialpsychiatrie und der Suchthilfe. Wie viele davon tatsächlich schon eine KI-Funktion per Update erhalten haben, lässt sich daraus nicht ableiten.

Die Lieferantenbewertung nach ISO 9001, Abschnitt 8.4, prüft üblicherweise drei Dinge: ob ein Anbieter zuverlässig liefert, ob der Support erreichbar ist und ob der Preis stimmt. Diese Fragen beantwortet ein KI-Update nicht anders als jedes andere Update, denn Preis und Support ändern sich durch die neue Funktion in aller Regel nicht. Was dabei fehlt, ist der Blick auf die Kette dahinter: Wer betreibt das KI-Modul, und wer sonst hat technischen Zugriff auf die Daten?

Diese Kette entscheidet über mehr als den Datenschutz. Sie entscheidet auch, ob aus einer Komfortfunktion ein Hochrisiko-System nach der KI-Verordnung wird, und ob eine Fachkraft mit Schweigepflicht ihre Klientendaten überhaupt an diese Kette weitergeben darf. Die folgende Übersicht zeigt, was bei einem gewöhnlichen Update reicht und was bei einem Update mit neuer KI-Funktion zusätzlich zu prüfen ist. Wer die Kette einmal kennt, geht die acht Punkte im nächsten Abschnitt zügig durch.

Rechtsgrundlagen, Beträge und Fristen mit Belegen in den Quellen am Ende des Beitrags.

Die folgenden acht Schritte richten sich an die Leitungsebene, nicht an die IT allein. Wer sie beauftragt und einfordert, statt sie allein zu delegieren, verhindert, dass eine Funktion aktiv ist, bevor die Kette dahinter bekannt ist.

Zwei Rechtsregime laufen hier nebeneinander, nicht ineinander: die Datenschutz-Grundverordnung und die Schweigepflicht. Die Datenschutz-Grundverordnung regelt zunächst das Verhältnis zum Auftragsverarbeiter, dem Unternehmen, das in Ihrem Auftrag Daten verarbeitet, hier also dem Softwareanbieter. Er darf keinen weiteren Auftragsverarbeiter hinzuziehen, ohne vorher Ihre schriftliche Genehmigung einzuholen, gesondert oder im Rahmen einer allgemeinen Genehmigung mit Widerspruchsrecht (Artikel 28 Absatz 2 DSGVO). Praktisch heißt das: Der Anbieter muss Ihnen das neue Unternehmen nennen und Ihnen die Möglichkeit geben, dem zu widersprechen. Das muss geschehen, bevor die Funktion live geht.

Der neue Unterauftragsverarbeiter muss dabei vertraglich dieselben Pflichten übernehmen wie der ursprüngliche, der weiterhin für ihn haftet (Absatz 4). Das KI-Modul und der dahinterliegende Rechenzentrumsbetreiber sind in diesem Sinn Unterauftragsverarbeiter.

Damit ist die Schweigepflicht noch nicht erfüllt. Die Schweigepflicht betrifft etwa staatlich anerkannte Sozialarbeiterinnen, staatlich anerkannte Sozialpädagogen und Berater für Suchtfragen in einer anerkannten Beratungsstelle (Paragraf 203 Absatz 1 StGB). Wer ihr unterliegt, darf Geheimnisse zwar an mitwirkende Personen weitergeben. Er muss dann aber nach Absatz 4 dafür sorgen, dass diese zur Geheimhaltung verpflichtet werden.

Ein Auftragsverarbeitungsvertrag ist dafür keine ausreichende Verpflichtungserklärung, denn er regelt den Datenschutz, nicht die strafbewehrte Schweigepflicht. Wer diesen Schritt auslässt, haftet im Zweifel selbst, wenn beim Anbieter etwas offenbart wird, das nicht offenbart werden durfte.

Ob zusätzlich eine Datenschutz-Folgenabschätzung fällig wird, hängt vom Einzelfall ab. Pflicht ist sie, wenn die Verarbeitung voraussichtlich ein hohes Risiko für die Rechte der Betroffenen birgt, etwa bei umfangreicher automatisierter Auswertung von Gesundheitsdaten (Artikel 35 DSGVO). Diese Einschätzung gehört in die Hände der Datenschutzbeauftragten, nicht in eine pauschale Antwort. Was eine KI-gestützte Auswertung von Klientendaten inhaltlich leisten darf, ist in einem eigenen Beitrag ausgeführt: Der Bericht über einen Menschen: Was KI darf und was nicht.

Nicht jede KI-Funktion in einer Fachsoftware ist ein Hochrisiko-System im Sinn der KI-Verordnung. Entscheidend ist die Zweckbestimmung: wofür die Funktion nach Angabe des Anbieters des KI-Moduls gedacht ist. Diese Angabe sollte Ihnen schriftlich vorliegen. Für die Leitung macht die Einstufung einen erheblichen Unterschied: Eine Komfortfunktion ist mit den acht Prüfpunkten aus dem vorigen Abschnitt erledigt, ein Hochrisiko-System bringt zusätzliche Betreiberpflichten mit laufendem Aufwand.

Diese Pflichten sind konkret. Dazu gehören technische und organisatorische Maßnahmen entsprechend der Betriebsanleitung sowie eine benannte Person mit der nötigen Kompetenz für die menschliche Aufsicht. Ergänzend zählt dazu die Überwachung des Betriebs samt Meldung an den Anbieter bei Anzeichen eines Risikos. Hinzu kommen eine Aufbewahrung der automatisch erzeugten Protokolle von mindestens sechs Monaten und, vor dem Einsatz am Arbeitsplatz, die Information der Beschäftigtenvertretung.

Ab wann diese Pflichten für Anhang-III-Software tatsächlich greifen, hat sich durch den Digital Omnibus verschoben, ein Gesetzespaket der EU-Kommission zur Vereinfachung digitaler Regeln. Einzelheiten zu den Fristen und zu Anhang III sind in einem eigenen Beitrag zusammengestellt: AI Act nach dem Digital Omnibus: Die Fristen fürs Rechtskataster. Hier reicht der Grundsatz: Die Einstufung entscheidet sich an der Zweckbestimmung, nicht am Namen der Funktion. Der Entscheidungsbaum im nächsten Abschnitt bildet diese Weichenstellung für eine konkrete Funktion in Ihrem Haus ab.

Die folgenden Fragen ordnen eine konkrete neue oder geänderte KI-Funktion in Ihrer Fachsoftware einem von drei Wegen zu: freigeben, sperren oder erst Klärung einholen. Das Werkzeug rechnet nichts vor, es führt Sie durch dieselbe Prüfreihenfolge wie die acht Punkte oben und arbeitet ausschließlich in Ihrem Browser, ohne dass etwas übertragen oder gespeichert wird. Die Tabelle und die acht Punkte gelten für jede KI-Funktion gleichermaßen. Jede Antwort hier bezieht sich dagegen auf die eine Funktion, die Sie gerade prüfen. Am Ende steht eine von drei Einordnungen mit einem konkreten nächsten Schritt, keine allgemeine Einschätzung.

Beginnen Sie mit der Liste der Unterauftragsverarbeiter, auch wenn aktuell keine neue KI-Funktion angekündigt ist. Ohne diese Liste lässt sich keine Funktion einordnen, weder eine bereits aktive noch die nächste beim Update. Ergänzen Sie danach die Verschwiegenheitsverpflichtung, wo Klientendaten mit Schweigepflicht im Spiel sind, und die Abschaltbarkeit, wo sie im Vertrag noch fehlt. Diese beiden Nachbesserungen gelten auch für bereits aktive Funktionen, nicht nur für die nächste, die per Update kommt.

Für Pflegeeinrichtungen kommt eine praktische Frage dazu: Ein einmaliger Zuschuss deckt unter anderem IT- und Cybersicherheit sowie internes Qualitätsmanagement ab, im Förderzeitraum 2019 bis 2030 (§ 8 Abs. 8 SGB XI). Ob die Vertragsprüfung darunterfällt, klärt die Pflegekasse.

Eine trägerweite Zählung von Fachsoftware mit KI-Funktion existiert nicht, das bleibt Stand 19. September 2026 so. Verlangt ist dafür auch keine neue Prüfmethode, sondern die bestehende Lieferantenbewertung und die gelenkte Änderung, erweitert um die Kette der beteiligten Unternehmen und die Schweigepflicht. Das bedeutet in der Praxis: Die vorhandenen Formulare und Abläufe bleiben, sie bekommen nur zwei zusätzliche Fragen zur Kette der Unterauftragsverarbeiter und zur Schweigepflicht. Wer diese Punkte jetzt klärt, muss bei der nächsten KI-Funktion nicht mehr bei null anfangen.

Quellen

Christian Monat

Externer Qualitätsmanagementbeauftragter aus Chemnitz. Berufserfahrung in Eingliederungshilfe, Sozialpsychiatrie und Suchthilfe, seit 2019 in Leitungsfunktionen.