Konform Tagebuch

Hochriskante KI-Systeme im Personalwesen nach dem AI Act sicher erkennen

Drei Fragen reichen in unserem Betrieb inzwischen aus, um zu entscheiden, ob aus einem neuen Bewerbermanagement-Tool ein Hochrisiko-System nach dem AI Act wird — noch bevor die IT-Abteilung überhaupt ein Angebot einholt. Diese Prüfung ersetzt keine Rechtsberatung, aber sie ist der erste Filter, den ich als HR-Compliance-Verantwortliche in einem Maschinenbau-Zulieferer mit 78 Mitarbeitenden bei jeder Personalsoftware anwende, die uns angeboten wird. Wer im Mittelstand für den AI Act zuständig ist, merkt schnell: Risikomanagement im Personalwesen bedeutet vor allem, frühzeitig zu erkennen, welches Tool überhaupt reguliert ist, bevor man sich in Dokumentationspflichten verliert, die am Ende gar nicht nötig gewesen wären.

Anhang III Nummer 4 entscheidet, nicht das Verkaufsprospekt

Der entscheidende Absatz für uns steht in Anhang III Nummer 4 der Verordnung: KI-Systeme, die bei Rekrutierung, Bewerberauswahl, Beförderungsentscheidungen oder der Beendigung von Arbeitsverhältnissen eingesetzt werden, fallen fast ausnahmslos unter die Hochrisiko-Kategorie. Ein Anbieter kann das Tool noch so freundlich als intelligente Talent-Auswahl anpreisen. Sobald eine Rangliste von Bewerbern entsteht oder ein Score über eine Einladung zum Gespräch mitentscheidet, sind wir in diesem Bereich.

Ausschlaggebend ist laut Artikel 6, ob das System einen maßgeblichen Einfluss auf die Entscheidung hat, nicht ob es formal nur Vorschläge macht. Genau an diesem Punkt hakt es in der Praxis am häufigsten: Wenn eine Software Bewerber A mit 9 von 10 Punkten bewertet und Bewerber B mit 3 von 10, schaut sich in der Realität kaum noch jemand Bewerber B genauer an, ganz gleich, wie die Software offiziell beschrieben wird. Als Tobias aus der IT mir ein solches Tool zum ersten Mal zeigte, meinte er nur, es mache ja lediglich Vorschläge. Erst als wir gemeinsam durchgerechnet haben, wurde klar, wie stark dieser Vorschlag am Ende tatsächlich wirkt.

Nahaufnahme einer Hand, die Hochrisiko-Passagen im AI Act für die Personalauswahl markiert

Maßgeblicher Einfluss auf Personalentscheidungen

Bei uns hilft eine einfache Kontrollfrage: Können wir dem System an dieser Stelle widersprechen, ohne dass es Mehraufwand bedeutet, oder nicken wir das Ergebnis am Ende doch nur ab? Sobald Widerspruch mehr Zeit kostet als Zustimmung, ist der maßgebliche Einfluss in der Praxis längst da, auch wenn auf dem Papier noch ein Mensch die letzte Unterschrift setzt. Um diesen Unterschied überhaupt beurteilen zu können, muss man verstehen, was das jeweilige Tool technisch tut. An anderer Stelle habe ich beschrieben, wie sich die KI-Kompetenz der Mitarbeiter auch ohne IT-Wissen strukturiert messen lässt, denn ohne dieses Grundverständnis lässt sich kein Risiko seriös einschätzen.

Wer sich einen vollständigen Überblick über die Risikoklassen des AI Act verschaffen will, findet die Einordnung an anderer Stelle ausführlicher — hier geht es nur um den Ausschnitt, der im Personalwesen wirklich zuschlägt: Rekrutierung, Auswahl, Beförderung, Kündigung und, wie sich zeigt, auch Leistungsüberwachung.

Schichtplanung, Leistungsüberwachung und die Grauzone dazwischen

Unsere Fertigungsleiterin Frau Krüger wollte vor einiger Zeit ein neues Schichtplan-Tool einführen und war überzeugt, das habe mit HR-Auswahl nichts zu tun, weil es nur Leute einteile. Beim genaueren Hinsehen mit Tobias stellte sich heraus, dass die Software zusätzlich Fehlzeiten und sogenannte Leistungsdichte auswertet, um die Schichten zu optimieren — und genau das kann in den Bereich der Leistungsüberwachung am Arbeitsplatz rutschen. Sobald ein System Verhaltensmuster oder Produktivität einzelner Personen auswertet, rückt es in den Fokus der Regulierung, unabhängig davon, wie harmlos die Ausgangsidee klang.

Ich musste die Einführung erstmal bremsen, was in einer Fertigung mit engen Zeitplänen keine beliebte Entscheidung ist. Was uns am Ende geholfen hat, war eine Version ohne individuelle Leistungsscores — dazu habe ich separat aufgeschrieben, was bei der Leistungsüberwachung durch KI im Büro tatsächlich erlaubt ist. Frau Krüger sieht das mittlerweile pragmatisch: Ihre Leute sollen eingeteilt, nicht durchleuchtet werden.

Handgeschriebene Checkliste zur Einstufung hochriskanter HR-KI-Systeme auf einem Notizzettel

Die Drei-Fragen-Prüfung für neue Personalsoftware

Bevor ein neues Tool bei uns überhaupt in die engere Auswahl kommt, stelle ich drei Fragen: Beeinflusst es direkt die Karrierechancen oder das Einkommen einer Mitarbeiterin oder eines Mitarbeiters? Teilt es Menschen in Kategorien wie High-Potential oder Low-Performer ein? Und behalten wir die volle Kontrolle über die finale Entscheidung, oder bekommen wir nur noch ein fertiges Ergebnis zum Abnicken? Wird eine dieser Fragen bei dir mit Ja beantwortet, schalte einen Gang zurück und behandle das Tool vorerst als Hochrisiko-Kandidat, bis das Gegenteil geklärt ist.

Uwe Hoffmann, Geschäftsführer eines 30-Personen-Betriebs in Mönchengladbach, hat mir nach einem früheren Beitrag geschrieben, dass er genau vor demselben Problem steht, nur ganz ohne HR-Abteilung, und dass ihm Hintergrunderklärungen wenig helfen, er brauche etwas zum direkten Anwenden. Genau deshalb ist die Drei-Fragen-Prüfung so knapp gehalten: Wenn dir dieselbe Aufgabe ohne HR-Abteilung zufällt, kannst du sie so übernehmen, wie sie hier steht. Bevor ich sie entwickelt habe, habe ich in einschlägigen LinkedIn-Gruppen nach fertigen KI-Richtlinienvorlagen für kleinere Betriebe gesucht und fast ausschließlich Werbebeiträge großer Beratungsfirmen gefunden, nichts, das sich ohne Anpassung auf einen 78-Personen-Betrieb hätte übertragen lassen.

Auf dem Fensterbrett meines Büros liegt die ausgedruckte Verordnung, gelb und orange markiert an den Stellen, die ich am häufigsten nachschlage, und durch die einseitige Glasscheibe zum Flur sehe ich, wer gerade zum Drucker geht. Neulich hat Tobias mir die vollständig ausgefüllte Auditliste für ein neues Bewerbermanagement-Tool auf den Schreibtisch gelegt, während der Drucker im Flur kurz aufheulte, bevor er das Blatt einzog, und ein Blick auf den Bildschirm genügte, um zu sehen, dass wir bei allen drei Fragen sauber durch waren. Bei unklaren Formulierungen wie "maßgeblicher Einfluss" frage ich manchmal Julia Neumann, eine Bekannte aus dem Studium, die heute als IT-Rechtsanwältin arbeitet. Wichtig ist nur, die Frage vorher genau zu formulieren, denn auf vage Fragen antwortet sie erfahrungsgemäß gar nicht erst.

Nach der Einstufung beginnt die eigentliche Arbeit

Ist ein Tool einmal als hochriskant eingestuft, fängt die eigentliche Arbeit erst an. Zuerst braucht es eine ehrliche Inventur aller im Haus genutzten KI-Anwendungen, auch der über Umwege eingeführten Schatten-IT, die niemand offiziell angemeldet hat. Parallel dazu greift die Schulungspflicht: Wer mit einem hochriskanten System arbeitet, muss verstehen, was es tut, nicht nur, wie man den Knopf drückt. Manche Anwendungen dürfen wir dabei erst gar nicht in Erwägung ziehen, weil sie unter die im AI Act ausdrücklich verbotenen Praktiken fallen, etwa bestimmte Formen der Emotionserkennung am Arbeitsplatz. Für alles, was übrig bleibt, muss die menschliche Aufsicht so organisiert sein, dass tatsächlich jemand eingreifen kann, statt nur formal zuständig zu sein.

Ob ein KI-Zertifikat für einzelne Kolleginnen und Kollegen sich lohnt, hängt stark davon ab, wie tief sie ins Tagesgeschäft mit dem System eingebunden sind. Wichtig ist außerdem zu klären, ob wir als Anbieter oder als Betreiber der Software gelten, denn davon hängt ab, welche Pflichten überhaupt bei uns landen. Kennzeichnungspflichten für KI-generierte Inhalte betreffen uns dabei öfter, als man zuerst denkt, etwa bei automatisch erstellten Stellenanzeigen. Eine saubere Daten-Governance und lückenlose Dokumentationspflichten sind am Ende das, was im Ernstfall den Unterschied macht, ob man etwas nachweisen kann oder nicht. Wer Bewertungssysteme einsetzt, muss zudem aktiv gegen algorithmische Diskriminierung prüfen, denn ein technisch neutral wirkendes Scoring kann trotzdem einzelne Gruppen benachteiligen. Der Betriebsrat gehört bei uns von Anfang an mit an den Tisch, weil Mitbestimmung bei Systemen zur Leistungs- oder Verhaltenskontrolle ohnehin gesetzlich vorgesehen ist. Mitarbeitende haben zudem ein Auskunftsrecht darüber, wie eine sie betreffende KI-Entscheidung zustande kam, und darauf sollte man vorbereitet sein, bevor die Frage gestellt wird. Für den Ernstfall braucht es außerdem einen Notfallplan, der festlegt, wie ein KI-bezogener Vorfall gemeldet und eingedämmt wird. Und selbst das scheinbar kleine Thema Urheberrecht bei KI-erzeugten Bildern für interne Stellenausschreibungen taucht bei uns inzwischen regelmäßig auf, meist dann, wenn es niemand auf dem Schirm hatte.

Für alle, die eine ähnliche Rolle übernehmen mussten, ohne dass sie je im Organigramm vorgesehen war: Der Druck lässt mit der Zeit nach, sobald man ein paar feste Prüfpunkte hat, an denen man sich entlanghangeln kann, statt bei jedem neuen Anbieter wieder bei null anzufangen. Wie ich selbst mit dem Tempo dieser Aufgabe umgehe, habe ich an anderer Stelle beschrieben, in ein paar Notizen zur Gelassenheit als KI-Beauftragte im Mittelstand. Bei uns steht inzwischen eine klare Linie: KI soll unsere 78 Kolleginnen und Kollegen unterstützen, nicht heimlich bewerten. Diese Grenze ziehen wir lieber einmal zu früh als einmal zu spät.

Verwandte Artikel