Stand: 16.08.2023

War künstliche Intelligenz (KI) vor einigen Jahren für die meisten noch eher eine abstrakte Zukunftsvision, haben insbesondere KI-basierte Chatbots in letzter Zeit merklich an Bekanntheit gewonnen. Die Diskussion um KI-Software wurde zuletzt durch die sprachbasierte Anwendung ChatGPT des US-Unternehmens OpenAI OpCo, LLC wieder verstärkt. Zwar stellen KI-Anwendungen an vielen Stellen ein leistungsstarkes Werkzeug dar und bieten viel Zukunftspotenzial – ChatGPT kann Nutzer beispielsweise beim effektiven Marketing, bei der Erstellung von Texten, bei IT-Projekten (Analyse von Codes) oder bei der Bestimmung von Kennzahlen unterstützen. Bei einer kommerziellen Version können Unternehmen ChatGPT mittels einer Programmierschnittstelle (API) in die eigene Infrastruktur einbinden. Allerdings bergen solche Technologien auch Risiken im Hinblick auf das Urheberrecht und den Datenschutz sowie in Bezug auf Geheimhaltungspflichten bei Betriebs- und Geschäftsgeheimnissen. Privatpersonen wie Unternehmen sollten bei der Verwendung von ChatGPT & Co. deshalb Vorsicht walten lassen und genau abwägen, ob die KI-Software genutzt werden sollte und welche Informationen dort eingegeben werden.

Sicherheitswarnung des BSI

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat im Juli 2023 eine Warnung bezüglich einer intrinsischen Schwachstelle in anwendungsintegrierten KI-Sprachmodellen (auf Englisch: Large Language Model (LLM)) veröffentlicht. Die Bedrohungslage wird mit 1 (ohne wesentliche Auffälligkeiten auf anhaltend hohem Niveau) eingestuft. Die LLMs sind laut Warnmeldung anfällig für sogenannte Indirect Prompt Injections: Angreifende können die Daten in bestimmten Quellen, aus denen LLMs Daten auswerten, manipulieren und dort unerwünschte Anweisungen für LLMs platzieren. Greifen die Sprachmodelle auf solche Daten zu, werden die unerwünschten Befehle unter Umständen ausgeführt und Angreifende können dadurch das Verhalten der LLMs gezielt manipulieren. Die potenziell schadhaften Befehle sind für Anwenderinnen sowie Anwender unter Umständen nicht erkennbar, da sie codiert oder versteckt sind. Auch der Betreiber OpenAI weist im Zusammenhang mit der Nutzung von Plugins beim Produkt ChatGPT auf diese Schwachstelle hin. Die vollständige Warnung ist auf der Website des BSI veröffentlicht.

KI-Anwendungen als „Blackbox“

Bei ChatGPT setzt sich der Name aus „Chat“ und der Abkürzung „GPT“ zusammen. Der erste Namensbestandteil bezieht sich auf die Nutzungsweise, Nutzer können per Chats kommunizieren. Die Abkürzung „GPT“ steht für „Generative Pre-trained Transformer“ (auf Deutsch: „generative vortrainierte Transformatoren“). Software, wie der Chatbot, wird als KI (auf Englisch: AI = artificial intelligence) bezeichnet, die Funktionsweise auch als maschinelles Lernen (ML). KI-Anwendungen werden mit Informationen „gefüttert“, die sie hinsichtlich Sprachmuster, Gesetzmäßigkeiten und sonstiger Muster auswerten und dadurch „lernen“. Die KI bei ChatGPT beruht auf der Technik „Reinforcement Learning from Human Feedback“ (RLHF). Sie nutzt Informationen, die frei im Internet verfügbar sind sowie Eingaben von Nutzern. Die Funktionsweise der Algorithmen ist nicht bekannt und nachvollziehbar, weshalb sie auch als „Blackbox“ bezeichnet werden.

Datenschutzrechtliche Problematik bei ChatGPT & Co.

Die fehlende Transparenz stellt zusammen mit der fehlenden Rechtsgrundlage die größte Datenschutzproblematik beim Einsatz von KI-Software wie ChatGPT dar. Aufgrund der Intransparenz im Hinblick auf die Algorithmen und die Verarbeitungsvorgänge hinter der KI und dem ML ist es praktisch unmöglich, betroffene Personen nachvollziehbar und verständlich über die Verarbeitung ihrer Daten zu informieren und den Grundsatz der Transparenz nach Art. 5 Abs. 1 lit a) DS-GVO zu erfüllen.

Die Anwendungen werden über Jahre hinweg mit Informationen gefüttert, um sie zu trainieren. Dabei wird nicht zwischen personenbezogenen und nicht personenbezogenen Daten unterschieden. Zwar gibt ChatGPT an, Trainingsdaten würden vorab anonymisiert und alle personenbezogenen Merkmale und Kennungen werden entfernt, überprüfbar ist dies allerdings nicht. Zudem stellt die Anonymisierung an sich bereits eine Verarbeitung personenbezogener Daten dar, die nach Ansicht deutscher Datenschutz-Aufsichtsbehörden einer Rechtsgrundlage nach Art. 6 DS-GVO bedarf. Ohne Einwilligung und ausreichende Information der betroffenen Personen ist eher nicht davon auszugehen, dass eine solche Rechtsgrundlage besteht.

Gut zu wissen

Laut den Allgemeinen Geschäftsbedingungen (AGB) sieht sich OpenAI als Auftragsverarbeiter i. S. v. Art. 28 DS-GVO. Damit wäre für die Einhaltung der Datenschutzvorgaben inklusive Rechtmäßigkeit der Verarbeitung ausschließlich der Nutzer, welcher Texte (Prompts) eingibt, verantwortlich. Allerdings ist das Training der KI wesentlicher Mit-Zweck der Verarbeitung, sodass KI-Betreiber wie OpenAI zumindest gemeinsam mit den Nutzern über die Zwecke und Mittel der Verarbeitung entscheiden. Es lässt sich kaum argumentieren, dass die Nutzer die Betreiber pauschal immer und ausdrücklich mit der Überarbeitung bzw. Verbesserung der KI beauftragten. Hinzukommt, dass die verantwortlichen Nutzer keine Kenntnis über Funktionsweisen und Datenverarbeitungsprozesse haben. Dementsprechend wäre eine Vereinbarung über die gemeinsame Verantwortung nach Art. 26 DS-GVO nötig.

Einsatz von ChatGPT & Co. in Unternehmen

Das gleiche Problem im Hinblick auf die Erfüllung von Transparenzpflichten und die Rechtmäßigkeit der Verarbeitung stellt sich auch, wenn Unternehmen und andere verantwortliche Stellen i. S. v. Art. 4 Nr. 7 DS-GVO KI-Software wie ChatGPT nutzen. Werden Texte (Prompts) eingegeben, sollte möglichst auf die Eingabe von personenbezogenen Daten verzichtet werden. Da die Anbieter bereits keine transparenten Informationen zur Verfügung stellen, können auch verantwortliche Nutzer betroffene Personen nicht ausreichend informieren.

Die Rechtsgrundlagen nach Art. 6 Abs. 1 lit. a) bis e) DS-GVO – namentlich Einwilligung, Vertragserfüllung, rechtliche Verpflichtung, lebenswichtiges Interesse und Wahrung von Aufgaben im öffentlichen Interesse – kommen bei der Nutzung durch bzw. in Unternehmen in der Regel nicht in Frage, sodass nur Art. 6 Abs. 1 lit. f) DS-GVO – das berechtigte betriebliche Interesse – übrigbleibt. Ein berechtigtes Interesse können Unternehmen gegebenenfalls noch begründen, allerdings wird die notwendige Interessensabwägung wohl nicht zugunsten des Unternehmens ausfallen. Neben der bereits erläuterten Intransparenz zu den Vorgängen im Hintergrund stellt sich bei KI ein weiteres Problem: der faktische Ausschluss des Löschrechts nach Art. 17 DS-GVO. Das (Weiter-)Lernen ist der KI-Software immanent, weshalb die Problematik der fehlenden Löschbarkeit nicht gelöst werden kann. Die Intransparenz und der faktische Ausschluss des Löschrechts führen dazu, dass die Interessen der Betroffenen den Interessen des Unternehmens überwiegen werden. Erschwerend kommt hinzu, dass aufgrund der (noch) fehlenden Altersabfrage auch Daten von Minderjährigen betroffen sind. Damit fällt auch Art. 6 Abs. 1 lit. f) DS-GVO als mögliche Rechtsgrundlage weg.

Gut zu wissen

Die Verantwortlichkeit zur Erfüllung der Datenschutzpflichten besteht nicht nur, wenn Endnutzer direkt mit den Chatbots kommunizieren. Die Vorgaben müssen auch beim Einsatz von Produkten eingehalten werden, welche die Technologien nutzen. Hierzu gehören beispielsweide Produkte von Anbietern wie Microsoft, Google und SAP. Das gleiche gilt auch, wenn die Technologie in die eigene Systemlandschaft oder Tools integriert wird.

Neben der beschriebenen Problematik zum Löschrecht, ist die Geltendmachung der Betroffenenrechte und die Rechtsdurchsetzung durch europäische Aufsichtsbehörden bei ChatGPT praktisch ebenfalls unmöglich. Der Betreiber OpenAI hat derzeit keine Niederlassung innerhalb der EU. Zwar hat OpenAI seit März 2023 einen Vertreter gem. Art. 27 DS-GVO benannt und stellt auf der Datenschutzerklärung ein Formular für die Geltendmachung von Betroffenenrechten bereit. Dieses umfasst allerdings nicht die Rechte auf Löschung (Art. 17 DS-GVO), Einschränkung der Verarbeitung (Art. 18 DS-GVO) und Widerspruch gegen die Verarbeitung (Art. 21 DS-GVO). Zudem ist anzunehmen, dass KI-Anwendungen eine automatisierte Entscheidung im Einzelfall (Art. 22 Abs. 1 DS-GVO) darstellen.

Im Falle von ChatGPT liegen die Server zudem außerhalb der EU/des EWR, sodass für die Zulässigkeit der Datenübermittlung in ein Drittland die Voraussetzungen der Art. 44 ff. DS-GVO eingehalten werden müssen. Da es sich bei OpenAI um ein US-Unternehmen handelt, ist anzunehmen, dass die Server in den USA betrieben werden. Zwar gibt es für die USA seit Anfang Juli 2023 einen Angemessenheitsbeschluss, der Betreiber OpenAI ist aktuell allerdings nicht unter dem Datenrahmen EU-US zertifiziert. Dementsprechend müssen andere Garantien wie die Standardvertragsklauseln (SVK, auf Englisch: Standard Contractual Clauses, SCC) abgeschlossen und gegebenenfalls ein Transfer Impact Assessment (TIA) durchgeführt werden.

Mehr Informationen

Mehr Informationen zur Datenübermittlung in Drittländer und den Angemessenheitsbeschluss für die USA finden Sie in unserem Datenschutz-ABC sowie in unserem Artikel „Wichtige Entscheidungen zur Datenübermittlung in Drittländer“.

Neben einem TIA muss beim Einsatz der KI-Software in der Regel auch eine Datenschutzfolgenabschätzung (DSFA, auf Englisch: Data protection impact assessment (DPIA) oder privacy impact assessment (PIA)) nach Art. 35 DS-GVO durchgeführt werden. Hier sollten Unternehmen die Positivlisten von Verarbeitungsvorgängen nach Art. 35 Abs. 4 DS-GVO der jeweils für sie zuständigen Datenschutzbehörden prüfen.

Stellungnahmen der Aufsichtsbehörden

Einige europäische Datenschutzbehörden haben sich zwischenzeitlich bereits zu ChatGPT und ähnlichen KI-Anwendungen geäußert:

Die italienische Datenschutzbehörde „Garante per la protezione dei dati personali“ (GPDP) hatte ChatGPT Ende März 2023 verboten und vorerst gesperrt, nachdem es durch eine Datenpanne zur Preisgabe personenbezogener Daten in fremden Chats kam. Zuvor hatte die Behörde bereits den KI-gestützten Chatbot „Replika“ des Betreiber Luka Inc. per Verfügung verboten. Die Aufsichtsbehörde stellte unter anderem Verstöße gegen die Grundsätze der Rechtmäßigkeit, Zweckbindung und Datenminimierung sowie Mängel bei der Sicherstellung von Betroffenenrechten fest. Der Anbieter OpenAI musste bis Ende April eine Reihe von Auflagen erfüllen, damit das Verbot aufgehoben wird. Darunter waren die Veröffentlichung einer ausreichenden Datenschutzinformation, die unter anderem die Logik der für den Betrieb von ChatGPT erforderlichen Datenverarbeitung beschreibt, die Einführung einer Alterskontrolle, die Schaffung einer Rechtsgrundlage und die Sicherstellung der Betroffenenrechte auch für Nicht-Nutzer. Zudem musste das Unternehmen bis zum 15. Mai in einer Informationskampagne über Radio, Fernsehen, Zeitungen und Internet die italienischen Bürgerinnen und Bürger über die Datenverarbeitung für KI-Trainingszwecke aufklären. Da das Unternehmen einen Teil der Bedingungen der Aufsichtsbehörde erfüllt bzw. der Behörde einen Umsetzungsplan vorgestellt hatte, wurde das Verbot zwischenzeitlich wieder aufgehoben. Die Behörde forderte allerdings weiter Maßnahmen.

Die deutschen Aufsichtsbehörden scheinen sich aktuell der Meinung der italienischen Aufsichtsbehörde anzuschließen. Im Falle von ChatGPT ist (noch) nicht gewährleistet, dass personenbezogene Daten „auf rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden“ (Art. 5 Abs. 1 lit. a) DS-GVO). Anfang April teilte der Bundesbeauftragte für Datenschutz und die Informationsfreiheit (BfDI) mit, dass er ein ähnliches Vorgehen wie in Italien für möglich halte. Die GPDP hat den BfDI und die übrigen Teilnehmer Ende Juni im Rahmen des 71. Treffens der International Working Group on Data Protection in Technology (Berlin Group) auch über seine Aktivitäten in Zusammenhang mit ChatGPT informiert.

Zwar liegt die Zuständigkeit bei Unternehmen in Deutschland in der Regel bei den Landesaufsichtsbehörden, diese sehen den Einsatz von ChatGPT aktuell allerdings auch eher kritisch. Der Landesbeauftragte für den Datenschutz und die Informationsfreiheit (LfDI) Rheinland-Pfalz leitet die TaskForce KI der deutschen Datenschutzaufsichtsbehörden und hat OpenAI als Betreiber von ChatGPT einen Fragenkatalog zugeschickt. Darin enthalten sind unter anderem Fragen nach der Rechtsgrundlage für die Datenverarbeitung, den Schutz der Daten von Kindern und die Informationen über die Verarbeitung. Für den LfDI Rheinland-Pfalz hat die Transparenz bei dem Einsatz eines KI-Systems grundlegende Bedeutung, um es Betroffenen zu ermöglichen, ihre Rechte wahrzunehmen. Die Aufsichtsbehörden der Länder haben die Fragen, die an OpenAI gerichtet sind, miteinander abgestimmt. Der LfDI Baden-Württemberg hat OpenAI ebenfalls zu einer Stellungnahme aufgefordert. Er hatte bereits in seinem Tätigkeitsbericht für das Jahr 2022 über KI-Anwendungen berichtet und verweist auf die Widersprüche von ChatGPT & Co. in Bezug auf Transparenz, Datenminimierung und Speicherbegrenzung als Grundprinzipien der DS-GVO.

Der Europäische Datenschutzausschuss (EDSA, auf Englisch: European Data Protection Board (EDPB)) hat Mitte April eine Taskforce „ChatGPT“ ins Leben gerufen, die sich mit der KI-Anwendung befasst. Laut Pressemitteilung der EDSA vom 13.04.2023 dient die Taskforce der „Förderung der Zusammenarbeit und dem Austausch von Informationen über mögliche Durchsetzungsmaßnahmen von Datenschutzbehörden“. Auslöser war auch hier das Verbot von ChatGPT durch die italienische Aufsichtsbehörde.

Fazit

Die Verwendung von ChatGPT & Co. ist aktuell nicht datenschutzkonform möglich. Aufgrund der oben beschriebenen Probleme in Bezug auf die Transparenz und die Rechtmäßigkeit der Verarbeitung, ist der Einsatz mit einem Risiko für die Unternehmen verbunden. Hier spielt auch die aktuelle Haltung der Datenschutzbehörden eine Rolle. Sollten Unternehmen den Chatbot dennoch einsetzen wollen, sollten für die Beschäftigten Richtlinien zum Umgang mit der KI-Software entwickelt werden, die Anweisungen und Handlungsempfehlungen, Verhaltensvorgaben bei Compliance-Verstößen und Löschvorgaben enthalten. Zudem sollte auch ein Berechtigungskonzept entwickelt werden, wer auf welche Daten (Chats) Zugriff hat. Durch solche und ähnliche risikominimierende Maßnahmen kann das Haftungsrisiko bei Beschwerden u. Ä. zumindest reduziert werden.