KI als neuer Recruiter

In der Arbeitswelt 4.0 1 werden Personalauswahlverfahren zunehmend mithilfe von Künstlicher Intelligenz (KI)2 durchgeführt. Die Digitalisierung des Recruitings verspricht Objektivität, doch wie der Amazon-Fall aus dem Jahre 2017/2018 zeigt, können KI-Systeme diskriminierende Züge gegenüber Frauen und gesellschaftlichen Minderheiten entwickeln. Mit dem EU AI Act, dem ersten Gesetz bezüglich KI, trat 2024 erstmals eine verbindliche Regulierung in Kraft, um fehlerhafte Informationsverarbeitung zu vermeiden. Doch reicht das aus?

"The math-powered applications powering the data economy were based on choices made by fallible human beings. Some of these choices were no doubt made with the best intentions. Nevertheless, many of these models encoded human prejudice, misunderstanding, and bias into the software systems that increasingly managed our lives"3

Effizienz versprochen, Diskriminierung geliefert

Als Amazon 2014 begann, ein KI-gestütztes Recruiting-Tool zu entwickeln, war die Hoffnung groß: Es sollte tausende Bewerbungen in kurzer Zeit sichten, die besten Kandidat:innen herausfiltern und menschliche Vorurteile aus diesem Prozess verbannen. Vier Jahre später im Jahre 2018 wurde das Projekt jedoch wieder beendet. Das System hatte gelernt, Frauen systematisch schlechter zu bewerten. Es strich Lebensläufe mit Begriffen, die das Wort "Woman" enthielten und bevorzugte Formulierungen, die statistisch häufiger in Bewerbungen von Männern vorkamen.4 Trotz gezielter Korrektur fand die KI immer neue Wege, Zusammenhänge zwischen Geschlecht und Bewerbungsinhalt herzustellen. Die Diskriminierung ließ sich nicht herausrechnen.5

Was Amazon damals als internes Versagen verbarg, ist heute ein strukturelles Problem der gesamten Branche. Heute übernehmen KI-Systeme in Unternehmen weltweit die Vorauswahl von Bewerbungen, das Ranking von Kandidat:innen und zunehmend auch Videoanalysen, bei denen Mimik, Stimmlage und Wortwahl maschinell ausgewertet werden.6 Das Versprechen einer schnelleren, günstigeren und objektiveren Auswahl kann jedoch nicht ohne präzise Vorbereitung eingehalten werden.

Das Problem steckt in den Daten

Um zu verstehen, warum Algorithmen diskriminieren, muss man verstehen, wie sie lernen. Maschinelles Lernen funktioniert, vereinfacht gesagt, durch Mustererkennung in großen Datenmengen. Im Fall von Amazon wurden beispielsweise die Bewerbungen der vergangenen zehn Jahre verwendet, um das KI-Modell zu trainieren. Das genutzte Datenmaterial entsprach jedoch überwiegend männlichen Bewerbern. Hinzu kommt, dass die Entscheidung, welche Bewerbungen nun als erfolgreich gelten, in der Vergangenheit durch menschliche Vorurteile geprägt wurde. Genau diese Vorurteile übernahm die KI dann im Lernprozess.7 Es handelt sich somit um strukturelle Reproduktion ohne "böse" Absichten.

Solche Verzerrungen in Trainingsdaten nennt man Bias. Spezifischer wird dieser Begriff definiert als: "[e]ine ggf. vorliegende verzerrte Wiedergabe der Realität innerhalb des Datenmaterials"8. Wie genau diese Verzerrungen entstehen und warum sie Frauen systematisch benachteiligen, lässt sich anhand verschiedener Bias-Typen zeigen:

So gibt es unter anderem den Historical Bias.9 Die historische Ungleichheit lässt sich direkt in den Datenstrukturen wiederfinden. Da Frauen in vielen Branchen beispielsweise in Führungspositionen seltener anzutreffen sind als Männer, lernt die KI schnell, dass Führung männlich kodiert ist. Im DAX-Vorstand waren 2018 gerade einmal 14 Prozent der Führungspositionen mit weiblichen Personen besetzt.10

Ein Representation Bias tritt auf, wenn Personen oder bestimmte Personengruppen bei der Zusammenstellung der Trainingsdaten kaum vertreten sind. Das System erkennt sie schlechter. Besonders deutlich zeigte sich das bei der kommerziellen Gesichtserkennung, bei der die Fehlerrate bei dunkelhäutigen Frauen fast ein Drittel betrug, während sie bei weißen Männern unter einem Prozent lag. Tritt diese Verzerrung dann auch beim Testen des fertigen Systems auf, weil erneut zu wenige Frauenprofile verwendet wurden, spricht man vom Evaluation Bias. So bleibt die Unterrepräsentation unsichtbar und wird in den produktiven Betrieb übernommen.

Des Weiteren besteht die Möglichkeit, dass das KI-System in diesem spezifischen Fall zwar korrekt misst, jedoch eine falsche Variable genutzt wird. Dann liegt ein Measurement Bias vor. Die Variable verzerrt das Ergebnis dabei systematisch, ohne dass es auf den ersten Blick auffällt.

Eng damit verwandt ist der Aggregation Bias: Muster aus einer diversen Gesamtgruppe werden pauschal auf Einzelpersonen übertragen.11 Was statistisch für die Mehrheit gilt, muss für die Minderheit längst nicht zutreffen. Auf diesem Wege führt diese Verzerrung zu systematisch falschen Einschätzungen einzelner Bewerberinnen.

Nicht nur die Daten selbst, sondern auch die für sie zuständigen Personen können Quellen von Verzerrungen sein. Beim Designer Bias fließen die Vorannahmen der Entwickler:innen direkt ins System.12 Beim Amazon-Tool wählten Ingenieur:innen das Geschlecht als Bewertungskriterium mit dem Ergebnis, dass weibliche Lebensläufe ohne ersichtlichen Grund automatisch schlechter bewertet wurden.

Dieses Phänomen wird durch den Predictive Bias verstärkt.13 Wenn ein KI-System bestimmte Gruppen systematisch über- oder unterschätzt, trifft es für genau diese Gruppe auch systematisch falsche Vorhersagen. Wer vom Algorithmus der KI einmal als weniger geeignet eingestuft wird, hat kaum eine Chance, das Urteil zu korrigieren.

Schließlich ist da noch der Sample Bias.14 Die Trainingsdaten spiegeln nicht die gesamte Realität wider, sondern stets nur einen Ausschnitt. Amazons Tool lernte aus zehn Jahren Bewerbungsunterlagen, dass "männlich" die Norm ist, denn nur dieser Teil der gesamten Bewerbungen wurde für den Aufbau des Modells genutzt.

Solche Verzerrungen sind technische Bias-Typen und stellen Ursachen für Diskriminierung dar. Auch wenn diese Beispiele hier auf Frauen bezogen werden, sollte stets im Hinterkopf bleiben, dass ebenso Minderheiten in unterschiedlichsten Szenarien betroffen sein können. Für diesen Artikel allerdings sind zwei weitere Bias-Arten als Folge der technisch verzerrten Daten von großer Bedeutung hinsichtlich der Diskriminierung von Frauen.

Ein verwandtes, aber eigenständiges Konzept ist die sogenannte Agentic Discrimination.15 Die Algorithmen der KI wirken nach außen neutral, benachteiligen jedoch systematisch Minderheiten über Umwege, ohne explizit nach Geschlecht oder Herkunft zu filtern. Das Ergebnis dieses Zusammenspiels ist nun der für diesen Artikel besonders relevante Gender Bias.16 Er bildet die Kernproblematik ab und ist zugleich die häufigste Erscheinungsform algorithmischer Diskriminierung im Recruiting. Er entsteht nicht durch einen einzelnen Mechanismus, sondern durch das Zusammenwirken all jener Verzerrungen, die zuvor beschrieben wurden. Ganz konkret bedeutet das, dass Frauen aufgrund ihres Geschlechts eher abgelehnt werden. Im Fall von Amazon bevorzugte das System männliche Bewerber, wertete weibliche Lebensläufe ohne objektive Gründe ab und reproduzierte so Geschlechterstereotype in Sprache und Bewertung.

Besonders problematisch sind in diesem Zusammenhang sogenannte Large Language Models (LLMs), also jene Sprachmodelle, die heute hinter modernen Chatbots und KI-gestützten Textanalysesystemen stecken. Sie werden mit großen Mengen historischer Internetdaten trainiert wie Nachrichtenartikel, Stellenanzeigen, Fachbücher und weitere Medien. Diese Daten sind jedoch kein neutraler Spiegel der Gesellschaft, sondern zeigen Jahrzehnte struktureller Ungleichheit auf. Die Trainingsdaten selbst enthalten somit gesellschaftliche Vorurteile und LLMs reproduzieren sie wie auch in den zuvor schon genannten Fällen Muster automatisch - auch dann, wenn niemand die KI explizit darauf programmiert hat, nach Geschlecht zu unterscheiden.17

Wenn die KI nicht erklären kann, was sie tut

Das Problem der verzerrten Trainingsdaten wird noch verschärft durch das, was Soziolog:innen und Informatiker:innen das Black-Box-Problem nennen.18 Moderne neuronale Netze bestehen aus Dutzenden sogenannten Hidden Layers.19 Das sind verborgene Verarbeitungsschichten, deren innere Logik selbst für Entwickler:innen kaum nachvollziehbar ist. Welches der Millionen Neuronen in welcher Schicht aufgrund welcher Parameter eine bestimmte Reaktion ausgelöst hat, lässt sich im Nachhinein kaum rekonstruieren.

Diese Intransparenz hat weitreichende Folgen. Rechtlich ist es für Betroffene schwer, algorithmische Diskriminierung nachzuweisen und anzufechten, da man dafür wissen müsste, welche Variable den Ausschlag gegeben hat. Praktisch bedeutet es, dass Unternehmen ihre eigenen Systeme kaum auf Bias prüfen können. Wer gar nicht zur Bewerbung eingeladen wird, erfährt oft nicht, dass ein Algorithmus diese Entscheidung getroffen hat.

Farbe aus dem Algorithmus waschen funktioniert nicht

Eine Überlegung um das Problem der Geschlechterdiskriminierung zu lösen, könnte sein, die Variable "Geschlecht" komplett aus dem Datensatz zu entfernen. Kein Algorithmus, der Geschlecht nicht kennt, kann danach diskriminieren. Genau diese Logik verfolgt ein Ansatz, der in der Forschung Fairness through Unawareness bezeichnet wird.20 Betrachtet man jedoch die Praxis, scheitert diese vermeintliche Lösung regelmäßig.

Der Grund liegt im Konzept der korrelierenden Variablen. Auch wenn ein System das Merkmal "Geschlecht" nicht kennt, kann es über andere Variablen darauf schließen und daran anschließend entsprechend diskriminieren. Der Name eines Studiengangs kann auf einen frauendominierten Studiengang hinweisen. Lücken im Lebenslauf korrelieren statistisch mit Elternzeit. Bestimmte Ehrenämter oder Formulierungen sind geschlechtsspezifisch verteilt. KI-Systeme sind also grundsätzlich dazu fähig, solche für Menschen nicht mehr erkennbaren Zusammenhänge dennoch zu identifizieren und zu nutzen. Solange gesellschaftliche Ungleichheiten existieren, finden Algorithmen Wege, sie abzubilden, auch wenn man sie daran hindern möchte.

Europa reguliert - aber reicht das?

Im August 2024 trat der EU AI Act in Kraft und ist somit die erste umfassende gesetzliche Regulierung von KI-Systemen. Die Umsetzung erfolgt dabei schrittweise: Erste Verbote für besonders riskante KI-Anwendungen gelten bereits seit Februar 2025 (Art. 113 Abs. a), Pflichten für große Sprachmodelle seit August 2025 (Art. 113 Abs. b). Für KI-Systeme im Personalwesen sollen die Hochrisiko-Bestimmungen ab August 2026 vollständig greifen.21

Erstmals werden Unternehmen verbindlich verpflichtet, Risikomanagementsysteme einzurichten (Art. 9), ihre Trainingsdaten zu dokumentieren (Art. 10) und algorithmische Entscheidungen transparent und erklärbar zu machen (Art. 13). Bei Verstößen insbesondere im Recruiting-Bereich drohen Strafen von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes (Art. 99 Abs. 4).22

Selbst wenn die Fristen eingehalten werden, bleiben grundlegende Fragen offen. Das Black-Box-Problem macht eine effektive externe Prüfung komplexer neuronaler Netze kaum möglich. Zudem wäre wohl eine Anpassung der Beweislastregeln notwendig.23 Bis jetzt besagt die gesetzliche Regulierung, dass Betroffene einen vollständigen Nachweis bezüglich diskriminierender Muster in Algorithmen erbringen müssen.24 Die Autor:innen fordern eine Änderung dieser Anforderung, sodass nur noch Tatsachen vorgetragen werden müssen, die eine überwiegende Wahrscheinlichkeit der Diskriminierung belegen. Solange das nicht gilt, bleibt algorithmische Diskriminierung für die meisten Betroffenen rechtlich kaum anfechtbar.25

Technik allein löst kein gesellschaftliches Problem

Am Ende steht dann doch die unbequeme Erkenntnis, dass KI-Systeme nur so "objektiv" sein können wie die Gesellschaft selbst. Die in diesem Artikel erwähnten technischen Lösungen sind wichtig, reichen aber allein nicht aus. Bias-Bereinigungen, das Konzept der Fairness through Unawareness, bessere Daten - all das schwächt Diskriminierung ab, beseitigt sie jedoch nicht.

Auch der EU AI Act leistet seinen Beitrag zu mehr Transparenz bezüglich der KI-Nutzung in Unternehmen. Gesetze allein schaffen jedoch keine Gerechtigkeit, solange gesellschaftliche Ungleichheiten fortbestehen und es schwierig ist, diskriminierende Benachteiligung nachzuweisen. Ab einem gewissen Zeitpunkt entwickelt sich die KI eigenständig weiter, und welche Muster sie aus den Daten zieht, welche Schlüsse sie daraus ableitet oder wie diese im Laufe der Zeit verfeinern werden entzieht sich zunehmend menschlicher Kontrolle (vgl. Art. 9).26 Transparenz am Anfang des Prozesses garantiert keine Transparenz am Ende. Menschen werden immer wieder eingreifen müssen und das nicht nur einmalig bei der Entwicklung, sondern kontinuierlich über den gesamten Lebenszyklus eines Systems hinweg. Wie gut der EU AI Act wirklich helfen kann, KI zugänglicher zu machen, wird sich noch im Laufe der Zeit zeigen, wenn alle Gesetzesbeschlüsse vollständig implementiert wurden.

Es scheint, als sei eine Kombination verschiedener Ansätze nötig, um das bestmögliche Ergebnis zu erzielen. Technische Maßnahmen, ethische Unternehmensverantwortung, rechtliche Durchsetzung und gesellschaftlicher Wandel sind von Nöten, um fairere Bedingungen für Frauen und weitere soziale Minderheiten zu schaffen. Eine der wichtigsten Stellschrauben könnte hier die Diversität in Entwicklungsteams darstellen, da gleich mehrere der soeben genannten Faktoren behandelt werden könnten.27

Ein Umstand bleibt nichtsdestotrotz unumstößlich: Solange Frauen in Führung, Technik und Wissenschaft unterrepräsentiert sind, werden KI-Systeme diese Realität abbilden und fortschreiben. Die eigentliche Frage sollte also nicht sein, ob KI diskriminiert, sondern ob wir als Gesellschaft bereit sind, die Strukturen zu ändern, die sie diskriminieren lassen.

Anmerkungen

1) Arbeitswelt 4.0: "Arbeit 4.0 beschreibt den Wandel der Arbeitswelt, der mit der digitalen Transformation verbunden ist." (Arbeit 4.0 - Fraunhofer IEM. (o. J.). Fraunhofer-Institut für Entwurfstechnik Mechatronik, https://www.iem.fraunhofer.de/de/themen/arbeit-4-0.html, (abgerufen 22. April 2026).

2) Künstliche Intelligenz: "KI-System: ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie betrieben werden kann […]" (Artikel 3: Definitionen EU-Gesetz über künstliche Intelligenz. (o. J.), https://artificialintelligenceact.eu/de/article/3/, (abgerufen 23. April 2026).

3) C. O’Neil 2016: Weapons of math destruction: How big data increases inequality and threatens democracy, Penguin Books: 3.

4) J. Dastin 2018 (Oktober 11): Insight-Amazon scraps secret AI recruiting tool that showed bias against women, https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/ (abgerufen 23. April 2026).

5) M. Leicht, J. Karst & J. Zimmer 2020: Diskriminierung und Frauenfeindlichkeit - KI als Spiegel unserer Gesellschaft, IRIS 2020: 73-80.

6) G. Wilke & O. Bendel 2022: "KI-gestütztes Recruiting - technische Grundlagen, wirtschaftliche Chancen und Risiken sowie ethische und soziale Herausforderungen", in: HMD Praxis der Wirtschaftsinformatik, 59(2): 647-666, hier 648ff., https://doi.org/10.1365/s40702-022-00849-w.

7) Z. Chen 2023: Ethics and discrimination in artificial intelligence-enabled recruitment practices, Humanities and Social Sciences Communications, 10(1): 567, https://doi.org/10.1057/s41599-023-02079-x.

8) Leicht et al. 2020 (vgl. Anm. 5).

9) M. Leicht, J. Karst & J. Zimmer 2020, nach Suresh / Guttag 2019: A Framework for Understanding Unintended Consequences of Machine Learning: hier 77f.

10) Leicht et al. 2020 (vgl. Anm. 5).

11) Ebd.

12) Chen 2023 (vgl. Anm.7).

13) Ebd.

14) Faire KI - (wie) geht das? (o. J.). IFZ. Interdisziplinäres Forschungszentrum für Technik, Arbeit und Kultur, von https://ifz.at/artikel/faire-ki-wie-geht-das (abgerufen 28. April 2026).

15) Chen 2023 (vgl. Anm.7).

16) vgl. ebd. 6; Leicht et al. 2020 (vgl. Anm. 5), 74.

17) Chen 2023 (vgl. Anm.7).

18) S. Fuchs & N. Klein 2025: "Das Black-Box-Problem der Künstlichen Intelligenz" - Forschende am Karlsruher Institut für Technologie arbeiten an Explainable AI (XAI), Campus-Report am 21.10.2025 [Audioaufnahme], Karlsruher Institut für Technologie (KIT), https://doi.org/10.5445/IR/100018 3281.

19) Leicht et al. 2020 (vgl. Anm. 5).

20) Ebd.

21) Regulation-EU - 2024/1689-EN - EUR-Lex. (o. J.), https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng (abgerufen 28. April 2026).

22) Chen 2023 (vgl. Anm.7).

23) Leicht et al. 2020 (vgl. Anm. 5).

24) Spiecker gen. I. Döhmann & E. V. Towfigh 2023: Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme. Rechtsgutachten im Auftrag der Antidiskriminierungsstelle des Bundes, Baden-Baden: hier 59, https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Rechtsgutachten/schutz_vor_diskriminierung_durch_KI.pdf.

25) Leicht et al. 2020 (vgl. Anm. 5).

26) Chen 2023 (vgl. Anm.7).

27) Ebd.

Laura Kranyak ist Masterstudentin im Studiengang Sozialwissenschaftliche Nachhaltigkeitsforschung an der Julius-Maximilians-Universität Würzburg. Sie beschäftigt sich mit den gesellschaftlichen Folgen digitaler Transformationsprozesse, insbesondere mit der Frage, wie technologischer Fortschritt soziale Ungleichheiten reproduzieren kann. Mit Beginn ihres Masterstudiums kam die Auseinandersetzung mit Transformationsprozessen in der lokalen Umweltpolitik als zweites Forschungsfeld hinzu.