JobRadar 2040 · Zukunftsrolle 03

Eine Woche im Leben einer Managerin für
KI-Aufsicht und Vertrauenswürdigkeit

Montag, 8:05 Uhr. Miriam öffnet nicht zuerst ein KI-System, sondern das KI-Inventar ihres Unternehmens. 47 Anwendungen sind registriert. Eine neue Software für die Vorauswahl von Bewerbungen fehlt – obwohl sie seit drei Wochen pilotiert wird.

Einordnung: Miriam und ihre Woche sind ein plausibles Zukunftsszenario – keine beobachtete Fallstudie, keine Rechtsberatung und keine sichere Berufsprognose. Die Rolle verdichtet Aufgaben aus AI Governance, Compliance, Audit, Datenschutz, Risikomanagement, Qualitätssicherung und Human Oversight. Ob daraus ein eigenständiger Jobtitel entsteht, ist offen.

PersonMiriam Hoffmann, 42 – fiktives Rollenprofil
OrganisationFinanz- und Personaldienstleister
KI-Inventar47 Anwendungen in fünf Risikoklassen
Mandatunabhängig prüfen, eskalieren und stoppen

Die Arbeitswoche

Vertrauen entsteht nicht durch Versprechen, sondern durch überprüfbare Kontrollen.

Miriam betreibt die Systeme nicht selbst. Sie prüft, ob Zweck, Daten, Wirkung, Aufsicht und Nachweise zusammenpassen – besonders dort, wo KI Entscheidungen über Menschen beeinflusst.

Tag 01

Montag

08:05

Ein nicht registriertes KI-System

Im Abgleich von Einkauf und KI-Inventar entdeckt Miriam ein Bewerber-Screening, das bereits im Pilotbetrieb läuft. Der Fachbereich nennt es „nur eine Assistenz“. Miriam fragt nicht nach dem Marketingnamen, sondern nach der Wirkung: Kann das System beeinflussen, wer ein Vorstellungsgespräch erhält?

Kritisches DenkenRisikokompetenz
09:30

Der Pilot wird begrenzt, nicht dramatisch beendet

Bis Zweck, Datenquellen und menschliche Kontrolle geklärt sind, dürfen keine Bewerbungen automatisch aussortiert werden. Das System darf Vorschläge erzeugen, aber jede negative Empfehlung muss sichtbar begründet und von einer qualifizierten Person geprüft werden.

VerhältnismäßigkeitVerantwortungsübernahme
14:15

Wer ist eigentlich verantwortlich?

HR verweist auf den Anbieter, IT auf HR und der Anbieter auf die Konfiguration des Kunden. Miriam erstellt eine Verantwortungsmatrix: Wer genehmigt den Zweck? Wer überwacht Datenqualität? Wer darf stoppen? Wer informiert Betroffene? Erst klare Zuständigkeiten machen Aufsicht real.

Systemisches DenkenDokumentation
Tag 02

Dienstag

08:20

Human in the Loop – auf dem Papier

Das Verfahren sieht eine menschliche Freigabe vor. Miriam beobachtet zehn reale Fälle: Die Prüferinnen bestätigen Empfehlungen im Durchschnitt nach 43 Sekunden und sehen nur Score und Ampelfarbe. Formal gibt es einen Menschen. Praktisch fehlt Zeit, Kontext und eine echte Möglichkeit zum Widerspruch.

BeobachtungUrteilskraft
11:00

Aufsicht wird als Arbeitsprozess gestaltet

Gemeinsam mit HR entwirft Miriam eine neue Oberfläche: Begründungsmerkmale statt nur Score, verpflichtender Blick auf Originalunterlagen, zufällige Zweitprüfung und klare Fälle, bei denen Automatisierung aussetzt. Gute menschliche Aufsicht braucht Kompetenz und Arbeitsbedingungen.

ProzessgestaltungEmpathie
15:10

Die Fähigkeit zum Eingreifen wird getestet

In einer Übung erzeugt das System absichtlich widersprüchliche Empfehlungen. Kann die Prüferin den Vorgang stoppen? Weiß sie, wen sie erreicht? Bleibt ihre Abweichung dokumentiert? Aufsicht ist erst glaubwürdig, wenn sie auch unter Zeitdruck funktioniert.

ExperimentierenFehlersensibilität
Tag 03

Mittwoch

07:55

Ein Muster, das im Gesamtdurchschnitt unsichtbar bleibt

Das Monitoring zeigt insgesamt stabile Trefferquoten. In Teilgruppen fallen jedoch Bewerbungen mit längeren Erwerbsunterbrechungen häufiger heraus. Miriam verlangt eine getrennte Wirkungsanalyse. Ein guter Durchschnitt kann systematische Nachteile verdecken.

Analytisches DenkenFairness
10:40

Technischer Fehler oder fragwürdiges Ziel?

Das Modell reproduziert historische Einstellungsentscheidungen. Es funktioniert technisch wie vorgesehen – gerade deshalb ist der Befund kritisch. Miriam moderiert zwischen Data Science, HR, Rechtsabteilung und Arbeitnehmervertretung: Welche Vergangenheit darf ein Zukunftssystem fortschreiben?

Ethische UrteilskraftKonfliktfähigkeit
15:30

Betroffene Perspektiven kommen in die Prüfung

Eine externe Expertin und zwei Personen mit Recruiting-Erfahrung prüfen typische Grenzfälle. Miriam sammelt nicht nur Kennzahlen, sondern fragt nach zumutbaren Folgen, Verständlichkeit und Korrekturmöglichkeiten. Vertrauenswürdigkeit entsteht nicht allein im Technikteam.

PerspektivwechselBeteiligung
Tag 04

Donnerstag

08:30

Der Anbieter hat das Modell aktualisiert

Die Versionsnummer ist neu, die Leistungsbeschreibung fast unverändert. Miriam verlangt Änderungsprotokoll, bekannte Grenzen, Testergebnisse und Auswirkungen auf frühere Kontrollen. Ein Systemupdate kann eine erneute Risikobewertung erforderlich machen – auch wenn die Oberfläche gleich aussieht.

SorgfaltTechnik-Recht-Übersetzung
11:45

„Vertraulich“ ist kein ausreichender Nachweis

Der Anbieter verweist bei entscheidenden Fragen auf Geschäftsgeheimnisse. Miriam akzeptiert legitimen Schutz, aber keine unbelegten Zusicherungen. Sie verhandelt abgestufte Nachweise: unabhängiger Prüfbericht, Testzugang, dokumentierte Kontrollziele und verbindliche Informationspflichten bei Änderungen.

VerhandelnStandfestigkeit
15:20

Red-Team-Test mit realistischen Fehlanreizen

Das Prüfteam testet manipulierte Lebensläufe, fehlende Daten und scheinbar plausible Abkürzungen. Nicht nur die Genauigkeit zählt: Erkennt das System Unsicherheit? Können Menschen die Empfehlung nachvollziehen? Werden ungewöhnliche Eingaben protokolliert?

RisikodenkenNeugier
Tag 05

Freitag

08:10

Stop, begrenzter Pilot oder Freigabe?

Miriam verdichtet Techniktests, Rechtsprüfung, Wirkungsanalyse und Praxistest in eine Entscheidungsvorlage. Drei Risiken sind beherrschbar, zwei Kontrollen noch unzureichend. Ihre Empfehlung: kein breiter Einsatz, aber ein begrenzter Pilot ohne automatische Ablehnung.

SyntheseEntscheidungsfähigkeit
11:30

Das Management möchte trotzdem starten

Der Zeitplan ist öffentlich angekündigt. Miriam bleibt bei ihrer Bewertung und benennt konkrete Bedingungen für eine spätere Freigabe. Aufsicht ist wertlos, wenn sie nur bestätigt, was ohnehin beschlossen wurde. Konfliktfähigkeit gehört zum Berufsbild.

MutIntegrität
14:40

Aus einem Befund wird eine Verbesserung

Sie vereinbart neue Prüfschritte, Schulung für HR und eine Frist zur Anbieterantwort. Betroffene erhalten künftig eine verständliche Information und einen menschlichen Kontaktweg. Das Ziel ist nicht, KI zu verhindern, sondern ihre Wirkung kontrollierbar zu machen.

GestaltungskompetenzKommunikation
16:35

Das Prüfprotokoll bleibt, auch wenn Personen wechseln

Miriam dokumentiert Entscheidung, Gegenpositionen, Auflagen und nächsten Prüftermin. Vertrauenswürdigkeit darf nicht von ihrem Gedächtnis oder ihrer persönlichen Autorität abhängen. Sie muss institutionell nachvollziehbar werden.

NachvollziehbarkeitInstitutionelles Lernen

Was die Woche sichtbar macht

Der Kern des Jobs ist unabhängige Urteilskraft – nicht Innovationsverhinderung.

Wofür der Mensch verantwortlich bleibt

  • Risikoklassifizierung und vertretbare Einsatzgrenzen
  • wirksame statt nur formale menschliche Aufsicht
  • Prüfung von Benachteiligung und unerwarteten Wirkungen
  • nachvollziehbare Stop-or-Go-Empfehlungen
  • Vermittlung zwischen Technik, Recht, Management und Betroffenen

Abgrenzung zum AI Operations Manager

  • betreibt nicht täglich die Agenten und Workflows
  • optimiert nicht primär Leistung und Prozessqualität
  • prüft mit ausreichender Unabhängigkeit vom Betrieb
  • fragt, ob Kontrollen, Nachweise und Folgen vertretbar sind
  • muss auch gegen Zeit-, Umsatz- und Innovationsdruck eskalieren können

Forschungsstatus

Regulatorischer Bedarf ist real – organisatorische Ausgestaltung bleibt offen.

Der EU AI Act arbeitet risikobasiert und verlangt für Hochrisiko-Anwendungen unter anderem Risikomanagement, Protokollierung, Dokumentation, menschliche Aufsicht, Robustheit und Monitoring. Das stützt den Bedarf an entsprechenden Aufgaben. Es beweist jedoch nicht, dass jede Organisation dafür eine einzelne Stelle mit genau diesem Titel schaffen wird.

  • EU AI Act, Verordnung (EU) 2024/1689, einschließlich Anforderungen an menschliche Aufsicht und Hochrisiko-Systeme
  • NIST AI Risk Management Framework mit den Funktionen Govern, Map, Measure und Manage
  • JobRadar 2040: explorative Ableitung aus Regulierung, sensiblen KI-Anwendungen und menschlicher normativer Verantwortung
JobRadar 2040 herunterladen ↓Alle Zukunftsrollen ansehen