Agenten, Rechte und Verantwortung.
Betriebsrisiken lassen sich besser an Zugängen und Entscheidungen verstehen als am Bild eines böswilligen Agenten. Wo wirksame Grenzen ansetzen.
Die Vorstellung vom frei laufenden KI-Übeltäter erklärt wenig darüber, wie ein Schaden im Betrieb tatsächlich entsteht. Dafür braucht ein Agent keine böse Absicht. Ein falsch verstandener Auftrag oder eine überzeugend formulierte, aber falsche Schlussfolgerung kann genügen, wenn daraus eine folgenreiche Aktion wird.
Die praktischere Frage lautet: Welche Handlung ist möglich, mit welchen Daten und unter wessen Verantwortung?
Ein Fehler trifft auf eine Berechtigung
Zwei Agenten können denselben falschen Lösungsvorschlag erzeugen. Einer legt ihn als Entwurf ab. Der andere darf ihn direkt in der Produktion ausführen. Der Modellfehler ist ähnlich; die mögliche Wirkung ist sehr unterschiedlich.
Damit rücken Entscheidungen in den Vordergrund, die Menschen und Organisationen treffen: Welche Konten werden bereitgestellt? Welche Systeme sind erreichbar? Wer hat eine Ausnahme erlaubt, und gilt sie noch?
Das bedeutet nicht, dass ausschließlich Menschen Fehler verursachen. Es bedeutet, dass der Betrieb auch dann begrenzt bleiben muss, wenn ein Agent sich unerwartet verhält.
Gute Absichten sind keine technische Grenze
Anthropic beschreibt in How we contain Claude Risiken durch Modellverhalten und externe Angriffe. Anweisungen an das Modell beeinflussen dessen Verhalten, ersetzen aber keine durchgesetzten Zugriffsgrenzen. Auch Inhalte aus Werkzeugen können einen Agenten durch Prompt Injection fehlleiten.
Ein Hinweis wie „nur diagnostizieren“ ist deshalb etwas anderes als ein Konto, das technisch keine Änderungen ausführen darf. Und ein Leserecht schützt sensible Daten nicht automatisch vor unerwünschter Weitergabe.
Verantwortung wird im Aufbau sichtbar
Ein brauchbarer Entwurf benennt Zuständigkeiten, begrenzt Zugänge und macht ausgeführte Aktionen nachvollziehbar. Kritische Änderungen brauchen eine passende Prüfung; Zugänge müssen sich wieder entziehen lassen.
Agenten pauschal als ungefährlich zu behandeln wäre ebenso unbrauchbar wie sie als unkontrollierbare Akteure darzustellen. Ihre Einsatzbedingungen sind gestaltbar. Genau dort beginnt die Verantwortung eines Teams, das sie in den Betrieb aufnimmt.