Kinder nutzen KI-Chatbots bereits, und europäische Aufsichtsbehörden erwarten inzwischen, dass diese Produkte sie in der Praxis schützen, nicht nur in der Datenschutzerklärung. Wenn Ihr Unternehmen einen Chatbot, einen KI-Assistenten oder eine andere KI-Funktion betreibt, die Jugendliche erreichen können, betrifft Sie das, auch wenn Kinder nicht Ihre Zielgruppe sind.

Drei Entwicklungen des Jahres 2026 geben den Ton an. Im Juli verhängte die italienische Datenschutzbehörde ein Bußgeld gegen das Unternehmen hinter Character.AI, unter anderem wegen schwacher Altersprüfungen und standardmäßig öffentlicher Profile von Minderjährigen. Im September entschied ein deutsches Gericht gegen die Art, wie Snapchats KI-Chatbot Chatdaten für Werbung nutzte. Und am 17. September schlug die Europäische Kommission den EU KIDS Act vor, der KI-Begleiter und allgemeine Chatbots erstmals unter Kinderschutzvorschriften stellen würde. Der rote Faden: Wenn Minderjährige Ihren Chatbot erreichen können, muss Datenschutz durch Technikgestaltung in der Praxis funktionieren. Dieser Artikel dient nur der allgemeinen Information und ist keine Rechtsberatung.

Was Behörden und Gerichte getan haben

Italien hat inzwischen zwei Begleit-Chatbots mit Bußgeldern belegt, ein deutsches Gericht hat sich geäußert, und Brüssel will eigene Regeln.

Vier Lehren für alle, die einen Chatbot betreiben

1. Ein Geburtsdatumsfeld ist keine Altersprüfung

Character.AI argumentierte, die DSGVO verlange keine bestimmte Technik zur Altersverifikation. Der Garante räumte das ein, sagte aber, dass die Artikel 24 und 25 weiterhin Maßnahmen verlangen, die angesichts der Risiken angemessen und wirksam sind, einschließlich der Schutzbedürftigkeit Minderjähriger.

Das Zugangstor von Character.AI beruhte darauf, dass Nutzer ihr Geburtsdatum selbst eintippten. Ein technischer Test am 8. April 2025 zeigte, dass sich ein Nutzer, der ein Alter von 15 angab, dennoch registrieren konnte, und Konten selbst erklärter Minderjähriger waren standardmäßig öffentlich. Der Garante ordnete an, die Altersprüfungen wirksam zu machen, die Sperrfrist für abgelehnte Minderjährige durchzusetzen und die Profile Minderjähriger standardmäßig auf privat zu stellen. Das Unternehmen hat 120 Tage, um zu berichten.

Der Garante hielt das neue System des Unternehmens später für ausreichend. Es verbindet Altersprüfung mit eingeschränkten Funktionen für Minderjährige und wurde ab November 2025 eingeführt.

2. Die DSFA kommt vor dem Start

Die erste Datenschutz-Folgenabschätzung (DSFA) von Character.AI datiert vom 14. November 2024. Der Dienst startete im September 2022. Der Garante sagte, sie hätte vor dem Start erfolgen müssen, und nannte drei Faktoren, von denen jeder für sich ausgereicht hätte: generative KI, Verarbeitung in großem Umfang und die Beteiligung Minderjähriger. Außerdem erklärte er, dass informelle, undokumentierte interne Risikoprüfungen eine förmliche DSFA nach Artikel 35 nicht ersetzen können.

Praktische Konsequenz: Wenn Ihr Chatbot generative KI nutzt und Kinder ihn plausibel nutzen könnten, gehen Sie von einer Pflicht zur DSFA aus und schließen Sie sie vor der Veröffentlichung ab. Siehe unseren Leitfaden zur DSFA für KI-Chatbots.

3. Sagen Sie klar, was mit Chats und Trainingsdaten geschieht

Diese Feststellungen gelten für jedes KI-Produkt, nicht nur für solche, die sich an junge Nutzer richten.

4. Chatdaten sind kein kostenloser Treibstoff für Werbung

Der Fall Snapchat weist in dieselbe Richtung. Berichten über das Urteil zufolge stellte das Landgericht Köln fest, dass Snaps Bedingungen für seinen KI-Chatbot die Grundanforderungen an eine rechtmäßige Verarbeitung nicht erfüllten. Nutzer sollten über vorangekreuzte Kästchen einwilligen, auch in gezielte Werbung, und Snap sagte, es nutze alle Chatdaten, um passende Werbung zu erzeugen. Das Gericht erklärte, die Verarbeitung bliebe auch mit einem Datenhinweis vor der ersten Nutzung rechtswidrig und ein berechtigtes Interesse könne sie nicht rechtfertigen. Kommentatoren berichten außerdem, dass es sensible Daten als reale Möglichkeit ansah, da Nutzer in einen Chatbot fast alles eintippen können, und Alkohol- und Glücksspielwerbung an Minderjährige beanstandete.

Vorangekreuzte Kästchen sind im EU-Recht seit Jahren keine wirksame Einwilligung. Neu ist, dass das Prinzip auf einen Chatbot angewendet wird, in dem Nutzer weit mehr preisgeben können als in einem Suchfeld.

Was das Recht schon verlangt und was der KIDS Act ergänzen würde

Keine dieser Entscheidungen stützt sich auf neues Recht: Die DSGVO erfasst Kinderdaten von Anfang an.

Altersprüfungen bergen eigene Datenschutzrisiken. Die Erklärung 1/2025 des EDSA zur Altersverifikation (Februar 2025) nennt zehn Grundsätze: Die Methode soll risikobasiert, verhältnismäßig und die am wenigsten eingreifende wirksame sein und unnötige Datenerhebung, Profiling und Tracking vermeiden. Der EDSA weist darauf hin, dass Altersverifikation oft selbst ein hohes Risiko darstellt, weshalb zuerst eine DSFA erfolgen sollte.

Der vorgeschlagene KIDS Act

Der KIDS Act ist ein Vorschlag und kann sich ändern, bevor er Gesetz wird. Nach den FAQ der Kommission müssten KI-Begleiter und Chatbots, die Minderjährigen zugänglich sind:

Die Folgenabschätzung der Kommission besagt, dass die Test- und Überwachungspflichten nicht für Systeme von Kleinst- und Kleinunternehmen gelten würden. Der weitere Vorschlag sieht vor, dass das selbst angegebene Alter nicht genügt: Das Alter würde über zertifizierte Werkzeuge geprüft, etwa eine EU-App zur Altersverifikation, die dem Dienst nur mitteilen, ob der Nutzer über oder unter einer bestimmten Altersgrenze liegt. Die Durchsetzung für KI-Begleiter und Chatbots würde auf den Strukturen der KI-Verordnung aufbauen, mit Bußgeldern von bis zu 6 % des weltweiten Jahresumsatzes.

Was das für kleine Unternehmen bedeutet

Die bisherigen Bußgelder trafen Begleit-Apps, aber die Argumentation gilt für jedes Unternehmen, das einen Chatbot der Öffentlichkeit anbietet. Ein Support-Bot, ein Buchungsassistent oder eine KI-Funktion in Ihrer App können alle von Jugendlichen erreicht werden.

Checkliste für Teams, die Chatbots betreiben

Das Fazit

Viele Chatbots wurden unter der Annahme gebaut, dass Nutzer Erwachsene sind, die eine Datenschutzerklärung lesen und auf sich selbst achten können. Aufsichtsbehörden und Gerichte prüfen diese Annahme und finden sie unzureichend. Die Schritte sind klar: Risiken vor dem Start bewerten, das Alter so prüfen, dass es funktioniert, ohne zu viel zu erheben, Daten Minderjähriger standardmäßig privat halten, Chats aus der Werbung heraushalten und beim Training ehrlich sein. Teams, die das jetzt tun, sind für den KIDS Act gerüstet und gewinnen das Vertrauen der Eltern, die entscheiden, welche Apps auf dem Handy ihrer Kinder bleiben. Unsicher, wo Ihre KI-Tools stehen? Das KI-Audit-Tool von GDPRGard ist ein guter Startpunkt. Zur Kennzeichnungspflicht siehe unseren Leitfaden zu Artikel 50 der KI-Verordnung.

Quellen

Die oben genannten Positionen sind aus den aufgeführten Quellen zusammengefasst; Berichte über Urteile und den KIDS-Act-Vorschlag sind Sekundärquellen und sollten am Urteil und am Vorschlag selbst geprüft werden. Die Analyse, wie alles zusammenpasst, stammt von uns.

Diesen Artikel teilen

Auch lesenswert:

⚠️ Dieser Artikel dient ausschließlich zu Informationszwecken und stellt keine Rechtsberatung dar. Wenden Sie sich bei komplexen Compliance-Fragen an eine qualifizierte Datenschutzfachkraft. Die Anforderungen der DSGVO und des EU-KI-Gesetzes unterliegen laufenden regulatorischen Leitlinien — prüfen Sie Ihre aktuellen Pflichten mit Ihrem Rechtsberater.