Diskriminierung und KI

KI-Anwendungen werden immer mehr normaler Bestandteil von Computerprogrammen. Sie können einem Unternehmen viel Nutzen bringen, indem Effizienz gesteigert und Kosten erspart werden. Das gilt auch für den HR-Bereich. Dabei muss jedoch sichergestellt werden, dass die KI-Systeme keine Bewerber oder Mitarbeiter diskriminieren und dadurch potentielle Schadensersatzrisiken für den Arbeitgeber schaffen.

Grundlagen

Was rechtlich unter einer KI verstanden wird, wird in Art. 3 Nr. 1 KI-Verordnung definiert.

Stark vereinfacht ausgedrückt, nutzt KI Algorithmen, um auf Basis von Wahrscheinlichkeiten Vorhersagen zu treffen. Aufgrund der verwendeten Daten wählt KI die wahrscheinlichste Lösung aus. Das bedeutet jedoch nicht zwangsläufig, dass sie richtig ist. Die vorgeschlagene Lösung richtet sich dabei nach bei der Programmierung vorgegebenen Regeln, den zum Training verwendeten Daten und – soweit es sich um eine selbstlernende KI handelt – den erlernten Regeln. Die Lösung einer KI muss daher immer noch einmal überprüft werden.

Diskriminierung durch KI

Grundsätzlich diskriminieren Computersysteme – zu denen auch KI-Anwendungen gehören – nicht. Sie sind zunächst einmal neutral und unparteiisch. Dennoch können unterschiedliche Aspekte dazu führen, dass KI diskriminiert. Wird die KI mit Daten trainiert, die Vorurteile abbilden, kann dieser Umstand dazu führen, dass auch künftige Ergebnisse diese Vorurteile widerspiegeln. Die Diskriminierung kann jedoch bereits bei der Entwicklung der KI beginnen. Werden bei der Programmierung bestimmte Aspekte überbewertet, die eine diskriminierende Denkweise – selbst unbewusst – wiedergeben, kann das die Ergebnisse der KI verzerren.

Hinzu kommt, dass die Algorithmen so komplex sind, dass die Entscheidungen der KI kaum nachvollzogen werden können. Dadurch wird es erschwert, den Ursprung für diskriminierende Muster in der Entscheidungsfindung der KI zu erkennen und zu beheben.

Risiken im HR-Kontext

Im HR-Kontext können diese Fehlerquellen dazu führen, dass Mitarbeiter oder Bewerber bei der Verwendung von KI aufgrund von unterschiedlichen Kriterien diskriminiert werden. Rechtlich problematisch sind Diskriminierungen aufgrund von Rasse, ethnischer Herkunft, Geschlecht, Alter, Religion, Weltanschauung, sexueller Identität oder Behinderung. Denn das AGG verbietet Benachteiligungen aufgrund dieser Kriterien. Daher kann eine Diskriminierung insbesondere zu Schadensersatzansprüchen führen.

Häufig werden Diskriminierungen auf die Verwendung vorbelasteter Trainingsdaten zurückzuführen sein. Wurde eine KI z.B. mit Bewerberdaten trainiert, bei denen Bewerber mit deutsch oder europäisch klingendem Namen regelmäßig Bewerbern mit arabisch klingendem Namen vorgezogen wurden, ist es wahrscheinlich, dass die KI dieses Muster fortführt. Das Beispiel kann man auf alle Kriterien oder auch KI-Lösungen übertragen.

Rechtliche Schutzmechanismen

Da Ergebnisse von KI-Anwendungen – je nach Verwendung – weitreichende Folgen haben können, werden u.a. bestimmte HR-Systeme in der KI-VO als Hochrisikosysteme eingestuft. Hierbei handelt es sich insbesondere um solche KI-Systeme, die eine (Vor-)Auswahl von Bewerbern für eine Einstellung, Beförderung oder auch Kündigungen treffen oder direkt beeinflussen.

Ist ein KI-System als hochriskant einzustufen, muss der Arbeitgeber unterschiedliche Pflichten erfüllen. Arbeitgeber werden regelmäßig als Betreiber Transparenzpflichten treffen. Wird ein KI-System entwickelt oder auf die betrieblichen Anforderungen angepasst, kann der Arbeitgeber auch als Anbieter zu qualifizieren sein. Einzelne Pflichten greifen bereits in der Entwicklung, andere sollen den Betreiber in die Lage versetzen, die KI richtig anzuwenden. Weitere Details zu den Pflichten finden Sie in unserem Blogbeitrag vom 9. Oktober 2024. In unserem Blogbeitrag vom 31. Juli 2024 finden Sie auch Hinweise zur zeitlichen Anwendbarkeit der einzelnen Vorschriften der KI-VO.

Durch die Erfüllung der Pflichten kann das Risiko von Diskriminierungen zumindest reduziert werden und dem Arbeitgeber wird ermöglicht, das Risiko besser einzuschätzen.

KI als Lösung?

Auch wenn die Verwendung von KI-Systemen viele Risiken mit sich bringt, kann KI auch zur Vermeidung oder Verringerung von Diskriminierungen eingesetzt werden. Denn KI-Systeme erkennen insbesondere Muster und wenden sie an. Diese Eigenschaft kann genutzt werden, um bisherige Auswahlverfahren für Bewerber, Beförderungen und andere Entscheidungen auf unbewusste Muster zu überprüfen, die auf Diskriminierungen hindeuten. Bspw. kann analysiert werden, ob sich in den Stellenbeschreibungen Formulierungen finden, die bestimmte Personengruppen bevorzugen. Außerdem kann geprüft werden, ob Frauen in Teilzeit bei Entscheidungen über Beförderungen oder Entgelterhöhungen regelmäßig aus diesem Grund benachteiligt werden. Wurden die Muster identifiziert, können sie in einem nächsten Schritt vermieden oder zumindest reduziert werden.

Die Ergebnisse könnten bspw. dazu genutzt werden, gerechte(re) Einstellungspolitik oder Lohnsysteme zu entwerfen, um Equal Pay voranzutreiben und so die Gender Pay Gap zu reduzieren. Denn auch im Jahr 2024 lag sie laut Statistischem Bundesamt noch bei 16 % – bereinigt immerhin noch bei 6 %.

Was Arbeitgeber beachten sollten:

Neben einer sorgfältigen Auswahl der richtigen KI-Lösung für das Unternehmen und der Beachtung des rechtlichen Rahmens (AGG, DSGVO, BDSG, KI-VO, BetrVG) sind Arbeitgeber gut beraten, die Einführung von neuen KI-Lösungen in ihre Digitalisierungsstruktur aufzunehmen. So können viele Aspekte Einfluss auf eine erfolgreiche Einführung und Nutzung haben. Bspw. sollte geprüft werden, ob die IT-Infrastruktur eine angemessene Basis für die Nutzung der KI bietet. Auch die Mitarbeiter müssen rechtzeitig abgeholt werden, um ihnen Ängste zu nehmen und sie im Umgang mit der KI zu schulen. Können die Mitarbeiter die Ergebnisse der KI richtig interpretieren, kann auch durch die Einschaltung von menschlicher Aufsicht das Risiko für Fehler, einschließlich möglicher Diskriminierungen noch verringert werden.