Die 825-Millionen-Lehre: Ist die menschliche Prüfung in Ihrem KI-Prozess echt?

Am 21. August 2026 verhängte die niederländische Datenschutzbehörde gegen Uber ein Bußgeld von 824,99 Millionen €, weil Algorithmen Fahrerkonten ohne wirksame menschliche Überprüfung deaktiviert hatten. Es ist eines der größten DSGVO-Bußgelder überhaupt und ein klares Signal, dass Aufsichtsbehörden die DSGVO, nicht nur die KI-Verordnung, nutzen, um KI-Entscheidungen zu kontrollieren. Uber hat angekündigt, Rechtsmittel einzulegen.

Die Fakten des Falls haben wir in unserem früheren Artikel behandelt. Dieser stellt eine andere Frage: Was müssten Sie einer Aufsichtsbehörde zeigen, um zu belegen, dass Ihre menschliche Überprüfung echt ist?

Der Fall in Kürze

Zwischen 2018 und 2022 setzte Uber automatisierte Systeme ein, um Fahrerkonten wegen Betrugsverdachts oder schlechter Bewertungen zu sperren oder dauerhaft zu deaktivieren. Für die Fahrer bedeutete eine Deaktivierung den Verlust ihres Einkommens über Nacht. Die Beschwerde, die den Fall auslöste, kam von Fahrern in Frankreich, und die niederländische Behörde führte die Untersuchung, weil Ubers EU-Hauptsitz in Amsterdam liegt. Sie stellte Verstöße gegen Artikel 22 DSGVO fest, der Menschen vor Entscheidungen schützt, die ausschließlich auf automatisierter Verarbeitung beruhen und sie erheblich beeinträchtigen, sowie gegen die Transparenzregeln der DSGVO.

„Human in the Loop“ muss echt sein

Der für Unternehmen nützlichste Teil der Entscheidung ist der Maßstab, den sie an die menschliche Aufsicht anlegt. Eine Überprüfung zählt nur, wenn die Person tatsächlich die Befugnis hat, das Ergebnis zu ändern, und davon auch Gebrauch macht. Ein formales Abzeichnen des Maschinenergebnisses genügt nicht.

Das entspricht der europäischen Rechtsprechung. Im SCHUFA-Urteil (C-634/21) entschied der Gerichtshof, dass schon die Erstellung eines Scores die „Entscheidung“ sein kann, wenn sich ein Dritter maßgeblich darauf stützt. In Dun & Bradstreet Austria (C-203/22) verlangte er, dass Unternehmen das tatsächlich angewandte Verfahren und die Grundsätze erklären. Der rote Faden: Aufsichtsbehörden schauen darauf, was das System und die Menschen darum herum tatsächlich tun, nicht darauf, was im Richtliniendokument steht.

Fünf Tests, die eine Behörde anwenden kann

Verstehen Sie wirksame Aufsicht als fünf Fragen, die sich jeweils mit Belegen beantworten lassen:

1. Zeit. Hat die prüfende Person pro Fall genug Zeit, sich ein eigenes Urteil zu bilden? Eine Warteschlange von 200 Fällen pro Stunde ist keine Prüfung.
2. Information. Sieht die prüfende Person, warum das System diese Person markiert hat, und nicht nur den Score?
3. Befugnis. Kann sie das Ergebnis ohne Erlaubnis einer Führungskraft oder eine längere Begründung als für die Zustimmung kippen?
4. Unabhängigkeit. Wird die prüfende Person daran gemessen, dem System zuzustimmen, etwa über Tempo- oder Durchsatzvorgaben?
5. Ergebnisse. Ändern Prüfende jemals das Ergebnis? Eine Überstimmungsquote von null ist ein Warnsignal, kein Erfolgsmaß.

Legen Sie die Nachweisakte an

Führen Sie für jeden automatisierten Prozess, der Menschen erheblich betrifft, etwa CV-Screening, Bonitätsbewertung, Betrugsmarkierungen, Preisgestaltung oder Kontoschließung, eine kurze Akte mit:

• einer Beschreibung des Prozesses und der Stelle des menschlichen Schritts;
• Rolle, Schulung und Entscheidungsbefugnis der prüfenden Person;
• Protokollen zu Prüfdauer und Überstimmungsquote, vierteljährlich kontrolliert;
• der Erklärung gegenüber den Betroffenen und dem Weg, die Entscheidung anzufechten;
• der Datenschutz-Folgenabschätzung für den Prozess.

Betreiben Sie eine digitale Arbeitsplattform, beachten Sie, dass die Regeln der EU-Plattformarbeitsrichtlinie zu menschlicher Aufsicht und Überprüfung bis zum 2. Dezember 2026 umgesetzt werden müssen, was diese Übung dringlich macht.

Der EDSA setzt auch Regeln für KI-Training

Während die Durchsetzung die Schlagzeilen füllt, prägt der Europäische Datenschutzausschuss, wie KI-Modelle gebaut werden dürfen. Am 7. Juli 2026 verabschiedete er die Leitlinien 03/2026 zum Web Scraping für generative KI, in Konsultation bis zum 30. Oktober. Der Entwurf sieht das berechtigte Interesse als realistische Rechtsgrundlage für das Scrapen personenbezogener Daten zum KI-Training, aber nur mit starken Garantien:

• klare Erhebungskriterien und Ausschluss sensibler Quellen;
• Filter für besondere Datenkategorien, die ihren Schutz nach Artikel 9 auch bei versehentlicher Erhebung behalten;
• Grenzen für Ausgaben und Prompts, damit Modelle keine personenbezogenen Daten preisgeben;
• Beachtung von Opt-outs wie robots.txt und Vorbehalten zum Text- und Data-Mining.

Die praktische Botschaft: „Wir haben es aus dem öffentlichen Web“ ist keine Verteidigung. Aufsichtsbehörden wollen dokumentierte Sorgfalt sehen. Siehe unseren Leitfaden zu KI-Trainingsdaten.

Fünf Lehren für KMU

1. Erfassen Sie Ihre automatisierten Entscheidungen. Finden Sie jeden Prozess, in dem Software ohne Menschen etwas Wichtiges über eine Person entscheidet.
2. Machen Sie die menschliche Prüfung wirksam. Geben Sie Prüfenden Zeit, Kontext und Befugnis und protokollieren Sie, wann sie das System überstimmen.
3. Erklären Sie Entscheidungen. Sagen Sie den Menschen, wann KI beteiligt ist, wie sie das Ergebnis anfechten können und an wen sie sich wenden.
4. Prüfen Sie Ihre Anbieter. Wenn Sie KI-Tools kaufen, fragen Sie, wie die Modelle trainiert wurden und ob gescrapte Daten gefiltert wurden.
5. Bewahren Sie Belege auf. Richtlinien genügen nicht. Die Uber-Entscheidung beruhte darauf, was das System tatsächlich tat.

Fazit

Der Fall Uber ist eine in Euro geschriebene Warnung. KI kann Entscheidungen beschleunigen, aber nach der DSGVO bleibt die Verantwortung für diese Entscheidungen bei Menschen und bei dem Unternehmen, das das System einsetzt.

Kostenlose Beratung mit GDPRGard buchen → – wir helfen Ihnen zu prüfen, ob die menschliche Überprüfung in Ihren Tools einer Kontrolle standhalten würde.

Quellen

• Autoriteit Persoonsgegevens: Uber mit knapp 825 Millionen Euro wegen automatisierter Fahrersperren bestraft (21. Aug. 2026)
• Dastra: 825-Millionen-Euro-Bußgeld, Uber wegen automatisierter Entscheidungen sanktioniert
• EDSA: Leitlinien 03/2026 zum Web Scraping für generative KI
• Reed Smith: EDSA-Leitlinien zum Web Scraping für KI

Auch lesenswert:

• Vergessen Sie die KI-Verordnung — die DSGVO bestraft Unternehmen schon jetzt für KI-Fehler
• Die Ausrede "es war öffentlich" ist vorbei: Die DSGVO gilt jetzt formell für KI-Trainingsdaten
• Die KI-Verordnung gilt jetzt für Hochrisiko-Systeme. Jetzt haben Sie zwei Aufsichtsbehörden.