Wie Algorithmen diskriminieren und was wir dagegen tun sollten
Algorithmische Systeme und Künstliche Intelligenz werden zunehmend von Behörden und Unternehmen eingesetzt, etwa zur Bewertung von Bewerbungen oder zur Vorhersage von Rückfallrisiken. Dabei können sie bestehende gesellschaftliche Diskriminierungen verstärken, da sie auf verzerrten oder unvollständigen Daten basieren. Ein bekanntes Beispiel ist der niederländische Kindergeldskandal, bei dem tausende Familien durch algorithmische Risikoprofile fälschlich kriminalisiert wurden. In der Schweiz reicht der aktuelle Diskriminierungsschutz nicht aus, um vor solchen algorithmischen Benachteiligungen zu schützen. Besonders problematisch ist, dass private Akteure nicht vom Diskriminierungsverbot erfasst sind und Betroffene oft keine wirksamen Rechtsmittel haben. Die Politik hat das Problem erkannt und plante bis Ende 2024 eine Analyse des Regulierungsbedarfs. AlgorithmWatch fordert eine Ausweitung des Diskriminierungsschutzes und die Einführung kollektiver Klagerechte. (Estelle Pannatier, 2025, online accessed 26.8.2025)
In einer Serie von Beiträgen zeigen Algorithm Watch Switzerland, humanrights.ch und weitere Organisation auf, dass Algorithmen weder neutral noch objektiv sind. Algorithm Watch schreibt dazu: «Wenn algorithmische und KI-basierte Systeme von Behörden und Unternehmen eingesetzt werden, um Prognosen zu erstellen, Empfehlungen abzugeben oder Entscheide zu fällen, kann dies zu Ungerechtigkeiten und Diskriminierungen führen».
Potenziell betroffen sind Bereiche wie z.B. Arbeit, soziale Sicherheit, das Versicherungswesen, Polizei und Justiz, die sozialen Medien sowie unterschiedliche Gruppen wie z.B. Frauen, rassifizierte Menschen, non-binäre Personen, Menschen, die von Armut betroffen sind oder Kinder.
Ein Beispiel für ein Feld, in welchem die Gefahr von Diskriminierung durch Algorithmen gross ist, ist das sogenannte predictive policing oder die automatisierte Fahrzeugfahndung und Verkehrsüberwachung in der Verbrechensbekämpfung. Dabei errechnen Programme aufgrund grosser Datensätze automatisch, wie wahrscheinlich es sein könnte, dass innerhalb eines bestimmten Umkreises oder von einer bestimmten Person eine Straftat begangen wird. Dies kann dazu führen, dass verstärkt Gruppen ungerechtfertigt ins Visier der Polizeifahndungen geraten, weil sie von Armut betroffen sind, in sozioökonomisch prekären Quartieren wohnen, Migrationshintergrund haben, of color oder männlich sind.
Gesetzgeberische Regelungen zur Prävention von algorithmischer Diskriminierung
In einem Positionspapier vom September 2023 fordert Algorithm Watch Schweiz eine Ausweitung des Antidiskriminierungsrechts. In einer Studie der Deutschen Antidiskriminierungsstelle des Bundes ADS werden detaillierte Empfehlungen zur Regulierung von algorithmischen Entscheidungsregeln gemacht. Daran schliesst der Vorschlag von humanrights.ch an mit einer griffigen, mit der der Bundesrat verpflichtet wird, präventive Massnahmen zu ergreifen, indem er:
- ein Verzeichnis von algorithmischen Systemen führt, die dafür eingesetzt werden, voll- oder teilautomatisierte Entscheidungen zu beeinflussen oder um Inhalte zu generieren, die Entscheidungen von oder über Menschen beeinflussen;
- vor oder bei Einführung neuer algorithmischer Systeme zur voll- und teilautomatisierten Entscheidungsfindung deren Auswirkungen auf Menschen und die Gesellschaft einer Folgenabschätzung unterzieht, in der a) Risiken für Grund- und Menschenrechte, inklusive potenziell diskriminierende Folgen, eingeschätzt werden; b) Massnahmen zur Reduktion dieser grund- und menschenrechtlichen Risiken ergriffen werden; c) die Resultate dieser Folgenabschätzung in angemessener Form veröffentlicht werden.
- gegenüber staatlichen Organisationen Kontrollen zum Einsatz von Systemen der Künstlichen Intelligenz und auf Algorithmen beruhende voll- und teilautomatisierte Entscheidungen durchführt;
- gegenüber privaten Organisationen bei begründetem Verdacht auf vorliegende Diskriminierungen durch Systeme der Künstlichen Intelligenz und auf Algorithmen beruhende voll- und teilautomatisierte Entscheidungssysteme sowie in besonders sensitiven Bereichen, in denen die Systeme eingesetzt werden, Kontrollen durchführt und Einsicht in die Dokumentation nehmen kann;
- dafür sorgt, dass von teil- oder vollautomatisierten Entscheidungen algorithmischer Systeme betroffene natürliche oder juristische Personen: a) über den Einsatz des Systems informiert werden; b) das Recht auf eine Erklärung über die Funktionsweise des Systems erhalten; c) über Einsprache- und Beschwerdemöglichkeiten informiert werden.
- dafür sorgt, dass natürliche und juristische Personen das Recht haben, sich einer teil- oder vollautomatisierten Entscheidung zu entziehen, wenn diese mit grundrechtlichen Risiken oder mit einer substanziellen Rechtsfolge einhergeht, und an deren Stelle eine Überprüfung durch einen Menschen zu verlangen;
- bei der Umsetzung der geforderten Massnahmen der strukturellen Wirkung der algorithmischen Diskriminierung und dem Risiko der Diskriminierung anhand von Proxy-Variablen (Stellvertreter-Variablen) Rechnung trägt;
- die für die Umsetzung der Verpflichtungen notwendigen datenschutzrechtlichen Bestimmungen erlässt.
Inpflichtnahme von privaten Organisationen
Nicht nur der Staat, sondern auch Private und Organisationen des Gemeinwesens sind bis zu einem gewissen Grad zu verpflichtet. Konkret sollen sie im Gesetzgebungsvorschlag von humanrights.ch beim Einsatz von Systemen teil- und vollautomatisierter Entscheidungen mit Auswirkungen auf natürliche Personen eine Folgenabschätzung durchzuführen und – sollten sich grund- und menschenrechtliche Risiken zeigen – angemessene Massnahmen zu ergreifen, um die Risiken zu minimieren. Auf Anfrage ist der Aufsichtsbehörde die Dokumentation der Folgenabschätzung vorzulegen. In sensitiven Bereichen müssen die Ergebnisse der Folgenabschätzung in angemessener Form veröffentlicht werden.
Staatliche Kontroll- und Durchsetzungsinstrumente
Um die Umsetzung der gesetzlichen Verpflichtungen des Staates und privater Organisationen gewährleisten zu können, soll der Bundesrat eine unabhängige Stelle einsetzen, die für die Überwachung und Umsetzung der oben genannten Verpflichtungen zuständig ist. Die Überwachungsbehörde kann sich an bereits bestehenden Modellen orientieren wie z.B. der Preisüberwachung, der eidgenössischen Spielbankenkommission oder der Finanzmarktaufsicht (z.B. im Bereich Geldwäscherei).
