Es war spät am Abend, weit nach Einbruch der Dunkelheit, als ich allein im Büro saß. Das einzige Geräusch war das leise Summen der Lüftung und das gelegentliche Knacken des Gebälks in unserem alten Verwaltungsbau in Düsseldorf. Vor mir auf dem Monitor leuchtete ein Recruiting-Report unserer neuen Screening-Software. Die KI hatte die Bewerber für die neue Stelle in der Qualitätssicherung sortiert. Alles wirkte so sauber, so effizient. Ein Klick, und die „besten“ Kandidaten waren grün markiert. Aber während ich dort saß, überkam mich ein seltsames Gefühl. Ich starrte auf diese perfekte Liste und realisierte: Ich habe absolut keine Ahnung, wie ich das hier rechtlich gesehen „beaufsichtigen“ soll.
KW 48: Wenn das Bauchgefühl auf den AI Act trifft
Eigentlich bin ich HR-Managerin. Ich kümmere mich um unsere 78 Mitarbeitende, schreibe Arbeitszeugnisse und moderiere Konflikte in der Fertigung. Aber seit Herbst 2024 bin ich eben auch die „AI-Act-Beauftragte“. Ohne IT-Zertifikat, ohne Jura-Studium. Nur ich, mein BWL-Wissen und eine ausgedruckte Fassung der KI-Verordnung, die ich abends wie einen Krimi lese.
An diesem Abend im späten November wurde mir zum ersten Mal richtig mulmig. In der Verordnung steht in Anhang III Punkt 4 schwarz auf weiß: KI-Systeme, die im Bereich Beschäftigung und Personalmanagement eingesetzt werden – also für Recruiting oder die Bewertung von Mitarbeitern – gelten als Hochrisiko-Systeme. Das ist kein Spaß. Das ist die Champions League der Regulierung. Und der Kern dieser Regulierung ist Artikel 14: Die menschliche Aufsicht.
Ich dachte erst: „Menschliche Aufsicht? Klar, ich guck doch drauf.“ Aber je mehr ich las, desto klarer wurde mir, dass „Draufgucken“ nicht reicht. Die Verordnung verlangt, dass wir das System so nutzen, dass wir die Risiken verstehen und jederzeit eingreifen können. Ich muss die KI nicht nur bedienen, ich muss sie im Zaum halten können. Aber wie macht man das bei 78 Leuten und einem Chef, der eigentlich nur will, dass „das Zeug einfach funktioniert“?
KW 6: Der Kampf gegen den „Abnick-Reflex“
Anfang Februar hatte ich das erste richtige Gespräch mit der Geschäftsführung darüber. Ich saß bei meinem Chef im Büro, die Kaffeemaschine röchelte im Hintergrund. Ich versuchte zu erklären, dass wir nicht einfach blind den Vorschlägen der KI folgen dürfen. Er schaute mich nur verständnislos an: „Aber wenn die KI sagt, der Kandidat passt am besten, warum soll ich dann noch mal alles prüfen? Dafür haben wir das Tool doch gekauft!“
Genau da liegt das Problem. Es gibt diesen Fachbegriff: Automation Bias. Das ist die menschliche Neigung, automatisierten Vorschlägen blind zu vertrauen, selbst wenn sie dem eigenen Verstand widersprechen. In meinem Kopf nenne ich es den „Abnick-Reflex“. Wir werden faul, weil die Maschine so schön schnell ist. Aber Artikel 14 des AI Acts sagt eigentlich: Du musst fähig sein, den Vorschlag der KI zu ignorieren oder zu überschreiben.
Ein paar Tage später kam ein Kollege aus dem Recruiting vorbei. Er sagte: „Aber die KI hat doch gesagt, er ist der beste Kandidat, warum muss ich das jetzt noch mal manuell begründen?“ In dem Moment spürte ich diesen plötzlichen, stechenden Knoten im Magen. Mir wurde klar: Wenn wir nicht aufpassen, werden wir zu bloßen Erfüllungsgehilfen eines Algorithmus, den wir selbst nicht verstehen. Ich bin natürlich keine Anwältin – wenn du es also ganz genau wissen willst, solltest du unbedingt eine Kanzlei für IT-Recht befragen –, aber für mich war klar: Wir brauchen einen Prozess, der uns zwingt, den Kopf einzuschalten.
Was menschliche Aufsicht wirklich bedeutet
Ich habe mir dann mühsam zusammengereimt, was Artikel 14 von uns verlangt. Es geht nicht nur darum, daneben zu sitzen. Wir brauchen:
- Die technische Fähigkeit, das System zu verstehen (Was macht die KI da eigentlich?).
- Die Möglichkeit, das System jederzeit abzuschalten (Der berühmte „Stop-Knopf“).
- Ein Bewusstsein für Diskriminierung (Sortiert die KI vielleicht heimlich nach Alter aus?).
Besonders der Punkt mit dem Verständnis ist hart. Ich habe Tobias, unseren ITler, gefragt, wie das Tool die Kandidaten bewertet. Er hat mir was von „Vektoren“ und „gewichteten Parametern“ erzählt. Ich habe nur Bahnhof verstanden. Wenn ich als HR-Managerin nicht verstehe, warum jemand abgelehnt wird, wie soll ich dann die „menschliche Aufsicht“ führen? Ich fühlte mich in diesen Wochen oft wie eine Hochstaplerin in meinem eigenen Job.
KW 20: Die Geburtsstunde des KI-Führerscheins
Mitte Mai hatte ich die Nase voll vom theoretischen Lesen. Ich wusste, ich muss das Team mitnehmen. Wir können nicht warten, bis die EU-Prüfer vor der Tür stehen. Also habe ich angefangen, das Konzept für einen internen „KI-Führerschein“ zu entwerfen. Das klingt hochtrabend, war aber eigentlich der Versuch, die komplexen Regeln in unseren mittelständischen Alltag zu übersetzen.
Ich erinnere mich noch gut an den Morgen, als ich die ersten Entwürfe ausdruckte. Der Drucker im Flur ratterte und dieser trockene, leicht metallische Geruch von warmem Papier und Toner stieg mir in die Nase. Ich hielt 50 Exemplare meiner selbstgemachten „Checkliste für KI-Aufsicht“ in den Händen. Es fühlte sich nach dem ersten echten Schritt an.
In diesen Schulungen habe ich meinen Kollegen vor allem eines beigebracht: Ihr dürft der KI widersprechen. Es ist sogar eure Pflicht! Wir haben Rollenspiele gemacht. Ich habe Frau Krüger, unsere Fertigungsleiterin, gefragt: „Wenn die KI sagt, dieser Schweißer ist ungeeignet, du aber im Gespräch siehst, dass er fantastisch arbeitet – was machst du?“ Sie sagte erst: „Naja, die KI wird schon Gründe haben.“ Da mussten wir ansetzen. Das ist genau dieser gefährliche Bias. Wir haben dann gelernt, wie man solche Abweichungen dokumentiert. Denn menschliche Aufsicht bedeutet auch: Wenn ich die KI überstimme, muss ich aufschreiben, warum.
In dieser Zeit habe ich auch gemerkt, dass es hilft, über meine eigenen Fehler zu sprechen. Ich habe dem Team offen gesagt, dass ich anfangs dachte, die KI-Verordnung wäre nur was für die IT-Abteilung. Dass ich mich geirrt habe und dass wir im HR jetzt an vorderster Front stehen. Das hat das Eis gebrochen. Wenn du mehr darüber wissen willst, wie ich meine Rolle überhaupt gefunden habe, lies mal meinen Bericht darüber, wie ich als interne KI-Beauftragte meine Aufgaben nach dem AI Act sortiert habe.
KW 24: Reflexion nach dem Yoga
Heute ist Mittwochabend. Ich komme gerade vom Yoga. Die letzte Stunde hat gut getan – der Stress der letzten Wochen saß mir tief in den Schultern. Es ist dieses ständige Gefühl, rechtlich auf dünnem Eis zu tanzen, weil man eben keine Juristin ist. Aber heute fühlt es sich ein bisschen stabiler an.
Wir haben jetzt ein festes Protokoll. Jedes Mal, wenn die KI eine Vorauswahl trifft, muss ein Mensch mindestens drei Profile aus dem „Abgelehnt“-Stapel stichprobenartig prüfen. Nur um sicherzugehen, dass das System nicht spinnt. Und wir haben den „KI-Führerschein“ fest in den Onboarding-Prozess für neue Bürokollegen integriert. Es ist nicht perfekt, und sicher würde ein IT-Auditor noch einiges finden, was man schöner formulieren könnte. Aber wir tun etwas. Wir sind nicht mehr passiv.
Was ich gelernt habe: Menschliche Aufsicht ist kein technisches Feature. Es ist eine Haltung. Es ist der Mut zu sagen: „Ich traue der Maschine gerade nicht.“ Und das ist in einer Welt, die Schnelligkeit über alles stellt, gar nicht so einfach. Ich habe auch gemerkt, dass das Thema KI-Kompetenz im Mittelstand oft falsch verstanden wird. Es geht nicht darum, programmieren zu lernen. Es geht darum, kritisch zu bleiben. Wir haben dazu auch viel gelernt, als wir den KI-Führerschein für Mitarbeiter offiziell eingeführt haben – das war ein echter Meilenstein für unsere 78-Mann-Truppe.
Wenn ich jetzt abends im Büro sitze, fühlt sich das Summen der Lüftung nicht mehr ganz so bedrohlich an. Ich weiß, dass wir nicht blindlings in die Automatisierungsfalle laufen. Wir haben Regeln. Wir haben Aufsicht. Und vor allem: Wir haben Menschen, die sich trauen, „Stopp“ zu sagen. Das ersetzt zwar keinen Fachanwalt für IT-Recht, aber es ist ein verdammt guter Anfang für ein Unternehmen unserer Größe.
Morgen früh werde ich als Erstes mit Frau Krüger besprechen, wie die letzte Runde der KI-gestützten Schichtplanung lief. Ich bin gespannt, ob sie sich getraut hat, den Algorithmus zu korrigieren. Ich hoffe es. Denn genau das ist mein Job als AI-Act-Beauftragte: Dafür zu sorgen, dass am Ende immer noch wir entscheiden – und nicht die Vektoren von Tobias.