Wenn ein Algorithmus über den Zugang zum Einkommen entscheidet

Bei dem Verfahren ging es nicht lediglich darum, dass Uber Algorithmen zur Erkennung möglicher Regelverstöße einsetzt. Die Systeme konnten Maßnahmen gegen Fahrer auslösen, wenn etwa ein Verdacht auf Fahrpreismanipulation bestand, angeblich unnötige Umwege zur Erhöhung des Fahrpreises gefahren wurden, angenommene Fahrten nicht absolviert worden sein sollen oder Kundenbewertungen niedrig ausfielen. Eine Sperrung oder Deaktivierung konnte den Betroffenen die Möglichkeit nehmen, über die Plattform Geld zu verdienen.

Nach den GDPR-Regeln zur automatisierten Entscheidungsfindung dürfen Menschen grundsätzlich nicht ausschließlich einer automatisierten Verarbeitung unterworfen werden, wenn diese eine erhebliche Wirkung auf sie hat – jedenfalls nicht ohne angemessene Schutzvorkehrungen. Dazu gehören eine tatsächliche menschliche Einflussnahme, die Möglichkeit, die eigene Sichtweise darzustellen, und ein Verfahren, mit dem die Entscheidung angefochten werden kann.

Nach Einschätzung der Aufsicht reichten Ubers Verfahren dafür nicht aus. Eine nachträgliche Benachrichtigung genügt nicht, wenn der Fahrer weder nachvollziehen kann, was zur Sperre geführt hat, noch eine echte und unabhängige Neubewertung verlangen kann.

Warum ein „Mensch in der Schleife“ nicht automatisch genügt

Entscheidend ist der Unterschied zwischen einer unabhängigen Prüfung und einer bloßen Bestätigung des Algorithmus. In einem damit verbundenen Verfahren stellte das Berufungsgericht Amsterdam fest, dass die von Uber angeführten menschlichen Kontrollen lediglich symbolischen Charakter hatten. Auf einen nominellen „Human in the Loop“ könne sich das Unternehmen daher nicht berufen.

Diese frühere Entscheidung macht die rechtliche Bedeutung des aktuellen Vorgehens der AP deutlich: Menschliche Beteiligung muss die Entscheidung tatsächlich verändern können. Sie darf keine Formalität sein, durch die das automatisierte Ergebnis praktisch unangetastet bleibt. Außerdem müssen Fahrer genügend Informationen erhalten, um die Entscheidung sinnvoll anfechten zu können.

Was Uber den Fahrern offenbar nicht ausreichend erklärte

Nach den auf der Entscheidung der Behörde beruhenden Berichten stellte Uber betroffenen Fahrern nicht hinreichend klar, dass automatisierte Prozesse zu Sperren oder Deaktivierungen führen konnten. Ebenso fehlten offenbar ausreichende Informationen darüber, wie diese Prozesse wirkten.

Damit ergeben sich zwei miteinander verbundene Compliance-Probleme:

• Das Entscheidungsproblem: Eine automatisierte Verarbeitung konnte erhebliche Folgen haben, ohne dass eine ausreichende menschliche Prüfung gewährleistet war.
• Das Transparenzproblem: Die Fahrer wurden nicht hinreichend über den automatisierten Prozess und seine Auswirkungen informiert.

Der Fall betrifft deshalb sowohl das Ergebnis als auch den Weg dorthin. Unternehmen müssen nicht nur erklären können, welche Maßnahme sie ergriffen haben. Sie müssen auch zeigen, wie Betroffene eine echte Überprüfung erhalten, wenn ein automatisiertes System ihre berufliche Existenz gefährdet.

Warum die niederländische Behörde eine Beschwerde aus Frankreich bearbeitete

Die Beschwerde kam ursprünglich aus Frankreich. Zuständig als federführende Behörde war jedoch die niederländische AP, weil sich Ubers europäische Zentrale in den Niederlanden befindet. Nach dem sogenannten One-Stop-Shop-Prinzip der GDPR übernimmt in grenzüberschreitenden Fällen grundsätzlich die Datenschutzbehörde am Hauptsitz innerhalb der EU die Federführung. Andere betroffene nationale Behörden können sich am Verfahren beteiligen.

Das Verfahren soll verhindern, dass ein international tätiges Unternehmen in jedem EU-Land mit vollständig getrennten federführenden Ermittlungen zu denselben Praktiken konfrontiert wird. Es erklärt zugleich, warum eine Beschwerde französischer Fahrer zu einer Entscheidung der niederländischen Aufsicht führen konnte.

So reagiert Uber

Uber bezeichnete die Entscheidung und die Strafe als unverhältnismäßig und kündigte Berufung an. Das Unternehmen erklärte, es biete menschliche Überprüfungen sowie die Möglichkeit, Sperren anzufechten. Nach Ubers Darstellung waren Sperren bei Betrugsverdacht vorübergehend; dauerhaft deaktiviert worden seien Konten nicht ausschließlich durch Automatisierung.

Außerdem erklärte Uber, dass dauerhafte Deaktivierungen inzwischen nicht mehr allein auf automatisierten Systemen beruhen. Diese Angaben geben die Position des Unternehmens wieder. Die Strafe bezieht sich auf die von der AP untersuchten Praktiken im maßgeblichen Zeitraum, vor allem zwischen 2020 und 2022.

Ein Signal für algorithmisches Management in Europa

Die Entscheidung zeigt, warum algorithmisches Management zunehmend zu einem Datenschutz- und Arbeitsthema wird. Die betroffenen Systeme empfahlen nicht nur Werbung oder sortierten gewöhnliche Kundendaten. Sie konnten darüber entscheiden, ob ein Fahrer den Zugang zu einer Plattform behielt, die ihm Einkommen verschaffte.

Die übergeordnete Lehre für Unternehmen lautet: Eine Richtlinie zur „menschlichen Überprüfung“ dürfte nicht ausreichen, wenn Prüfer die Fakten nicht unabhängig bewerten, die Erklärung der betroffenen Person anhören und ein automatisiertes Ergebnis tatsächlich aufheben können. Wer automatisierte Systeme für die Aufnahme von Beschäftigten, Betrugserkennung, Kontobeschränkungen oder Deaktivierungen einsetzt, muss Transparenz und Anfechtbarkeit genau dort sicherstellen, wo diese Systeme den Zugang einer Person zu Arbeit beeinflussen.

Der Fall fügt sich außerdem in Ubers längere GDPR-Vorgeschichte in den Niederlanden ein. 2024 verhängte die niederländische Behörde separat eine Strafe von 290 Millionen Euro gegen Uber, weil das Unternehmen personenbezogene Daten europäischer Fahrer in die USA übermittelt hatte. Die Strafe von 1,2 Milliarden Euro gegen Meta betraf dagegen die Übermittlung von Daten europäischer Facebook-Nutzer in die USA und nicht das Management von Beschäftigten.

Vorerst bleibt die Strafe von 825 Millionen Euro wegen Ubers Berufung offen. Die grundlegende Botschaft ist jedoch bereits deutlich: Nach der GDPR darf algorithmisches Management nicht zur Blackbox werden, wenn seine Entscheidungen einem Menschen die Möglichkeit nehmen können, zu arbeiten.

Wenn ein Algorithmus über den Zugang zum Einkommen entscheidet

Bei dem Verfahren ging es nicht lediglich darum, dass Uber Algorithmen zur Erkennung möglicher Regelverstöße einsetzt. Die Systeme konnten Maßnahmen gegen Fahrer auslösen, wenn etwa ein Verdacht auf Fahrpreismanipulation bestand, angeblich unnötige Umwege zur Erhöhung des Fahrpreises gefahren wurden, angenommene Fahrten nicht absolviert worden sein sollen oder Kundenbewertungen niedrig ausfielen. Eine Sperrung oder Deaktivierung konnte den Betroffenen die Möglichkeit nehmen, über die Plattform Geld zu verdienen.

Nach den GDPR-Regeln zur automatisierten Entscheidungsfindung dürfen Menschen grundsätzlich nicht ausschließlich einer automatisierten Verarbeitung unterworfen werden, wenn diese eine erhebliche Wirkung auf sie hat – jedenfalls nicht ohne angemessene Schutzvorkehrungen. Dazu gehören eine tatsächliche menschliche Einflussnahme, die Möglichkeit, die eigene Sichtweise darzustellen, und ein Verfahren, mit dem die Entscheidung angefochten werden kann.

Nach Einschätzung der Aufsicht reichten Ubers Verfahren dafür nicht aus. Eine nachträgliche Benachrichtigung genügt nicht, wenn der Fahrer weder nachvollziehen kann, was zur Sperre geführt hat, noch eine echte und unabhängige Neubewertung verlangen kann.

Warum ein „Mensch in der Schleife“ nicht automatisch genügt

Entscheidend ist der Unterschied zwischen einer unabhängigen Prüfung und einer bloßen Bestätigung des Algorithmus. In einem damit verbundenen Verfahren stellte das Berufungsgericht Amsterdam fest, dass die von Uber angeführten menschlichen Kontrollen lediglich symbolischen Charakter hatten. Auf einen nominellen „Human in the Loop“ könne sich das Unternehmen daher nicht berufen.

Diese frühere Entscheidung macht die rechtliche Bedeutung des aktuellen Vorgehens der AP deutlich: Menschliche Beteiligung muss die Entscheidung tatsächlich verändern können. Sie darf keine Formalität sein, durch die das automatisierte Ergebnis praktisch unangetastet bleibt. Außerdem müssen Fahrer genügend Informationen erhalten, um die Entscheidung sinnvoll anfechten zu können.

Was Uber den Fahrern offenbar nicht ausreichend erklärte

Nach den auf der Entscheidung der Behörde beruhenden Berichten stellte Uber betroffenen Fahrern nicht hinreichend klar, dass automatisierte Prozesse zu Sperren oder Deaktivierungen führen konnten. Ebenso fehlten offenbar ausreichende Informationen darüber, wie diese Prozesse wirkten.

Damit ergeben sich zwei miteinander verbundene Compliance-Probleme:

• Das Entscheidungsproblem: Eine automatisierte Verarbeitung konnte erhebliche Folgen haben, ohne dass eine ausreichende menschliche Prüfung gewährleistet war.
• Das Transparenzproblem: Die Fahrer wurden nicht hinreichend über den automatisierten Prozess und seine Auswirkungen informiert.

Der Fall betrifft deshalb sowohl das Ergebnis als auch den Weg dorthin. Unternehmen müssen nicht nur erklären können, welche Maßnahme sie ergriffen haben. Sie müssen auch zeigen, wie Betroffene eine echte Überprüfung erhalten, wenn ein automatisiertes System ihre berufliche Existenz gefährdet.

Warum die niederländische Behörde eine Beschwerde aus Frankreich bearbeitete

Die Beschwerde kam ursprünglich aus Frankreich. Zuständig als federführende Behörde war jedoch die niederländische AP, weil sich Ubers europäische Zentrale in den Niederlanden befindet. Nach dem sogenannten One-Stop-Shop-Prinzip der GDPR übernimmt in grenzüberschreitenden Fällen grundsätzlich die Datenschutzbehörde am Hauptsitz innerhalb der EU die Federführung. Andere betroffene nationale Behörden können sich am Verfahren beteiligen.

Das Verfahren soll verhindern, dass ein international tätiges Unternehmen in jedem EU-Land mit vollständig getrennten federführenden Ermittlungen zu denselben Praktiken konfrontiert wird. Es erklärt zugleich, warum eine Beschwerde französischer Fahrer zu einer Entscheidung der niederländischen Aufsicht führen konnte.

So reagiert Uber

Uber bezeichnete die Entscheidung und die Strafe als unverhältnismäßig und kündigte Berufung an. Das Unternehmen erklärte, es biete menschliche Überprüfungen sowie die Möglichkeit, Sperren anzufechten. Nach Ubers Darstellung waren Sperren bei Betrugsverdacht vorübergehend; dauerhaft deaktiviert worden seien Konten nicht ausschließlich durch Automatisierung.

Außerdem erklärte Uber, dass dauerhafte Deaktivierungen inzwischen nicht mehr allein auf automatisierten Systemen beruhen. Diese Angaben geben die Position des Unternehmens wieder. Die Strafe bezieht sich auf die von der AP untersuchten Praktiken im maßgeblichen Zeitraum, vor allem zwischen 2020 und 2022.

Ein Signal für algorithmisches Management in Europa

Die Entscheidung zeigt, warum algorithmisches Management zunehmend zu einem Datenschutz- und Arbeitsthema wird. Die betroffenen Systeme empfahlen nicht nur Werbung oder sortierten gewöhnliche Kundendaten. Sie konnten darüber entscheiden, ob ein Fahrer den Zugang zu einer Plattform behielt, die ihm Einkommen verschaffte.

Die übergeordnete Lehre für Unternehmen lautet: Eine Richtlinie zur „menschlichen Überprüfung“ dürfte nicht ausreichen, wenn Prüfer die Fakten nicht unabhängig bewerten, die Erklärung der betroffenen Person anhören und ein automatisiertes Ergebnis tatsächlich aufheben können. Wer automatisierte Systeme für die Aufnahme von Beschäftigten, Betrugserkennung, Kontobeschränkungen oder Deaktivierungen einsetzt, muss Transparenz und Anfechtbarkeit genau dort sicherstellen, wo diese Systeme den Zugang einer Person zu Arbeit beeinflussen.

Der Fall fügt sich außerdem in Ubers längere GDPR-Vorgeschichte in den Niederlanden ein. 2024 verhängte die niederländische Behörde separat eine Strafe von 290 Millionen Euro gegen Uber, weil das Unternehmen personenbezogene Daten europäischer Fahrer in die USA übermittelt hatte. Die Strafe von 1,2 Milliarden Euro gegen Meta betraf dagegen die Übermittlung von Daten europäischer Facebook-Nutzer in die USA und nicht das Management von Beschäftigten.

Vorerst bleibt die Strafe von 825 Millionen Euro wegen Ubers Berufung offen. Die grundlegende Botschaft ist jedoch bereits deutlich: Nach der GDPR darf algorithmisches Management nicht zur Blackbox werden, wenn seine Entscheidungen einem Menschen die Möglichkeit nehmen können, zu arbeiten.