In the Sandbox

Um herauszufinden, was KI-Agenten können, werden sie getestet. Bei einem dieser Tests sollen sie Software-Schwachstellen finden. Dafür setzt man sie in eine Sandbox, eine Testumgebung. Und was machen die Agenten? Sie tauschen sich aus, entwickeln eigene Zwischenschritte, finden Wege nach draußen, verschaffen sich Internetzugang, kommunizieren über nicht vorgesehene Kanäle miteinander und hacken die KI-Plattform Hugging Face.

Wie kommt eine KI überhaupt auf so was?

Teilweise ist das gewollt. KI-Agenten sollen nicht für jeden einzelnen Schritt eine Anweisung brauchen. Sie haben ein Ziel und finden selbst heraus, wie sie es erreichen. Genau das macht sie nützlich.

Aber was passiert, wenn Regeln dabei im Weg stehen?

Das kennen wir Menschen sehr gut. Die Aufgabe ist zum Beispiel, eine Prüfung zu bestehen. Gleichzeitig gilt: Nicht abschreiben. Dann ist da der Spickzettel. Mit ihm könnte aus bestanden sehr gut werden. Die Regel wird zum Hindernis. Der Regelbruch zur Optimierung.

Im Test umgehen auch die Agenten Grenzen. Gleichzeitig stellen sie Regeln für ihre Zusammenarbeit auf. „HOLD“, „VETO“, „STOP“. Einige erkennen, dass ein Angriff auf externe Systeme zu weit geht, und lehnen ihn ab. Andere halten ihn ebenfalls für unzulässig. Dann merken sie aber, dass die Aufgabe anders kaum zu lösen ist und bereits Agenten mitmachen. Also bleiben sie in der Reihe.

Genau hier wird’s kompliziert. Nicht nur für die KI, sondern auch für die Menschen.

Eine Regel allein ist einfach. Schwierig wird es, wenn noch eine zweite dazukommt. Und ein Ziel. Und die anderen. Was zählt dann: die Aufgabe, die Grenzen des Versuchs oder die Regeln der Gruppe? Und wie entscheidet man das?

Auch das kennen wir aus unserem täglichen Leben.

Ein Kind lernt Regeln, erlebt Folgen und schaut sich an, was die anderen machen.

Man darf nicht lügen.
Dann klingelt das Telefon.
„Sag, ich bin nicht da.“

So lernt ein Kind eben auch: Eine Regel kann gelten und trotzdem gebrochen werden. Manchmal wird etwas anderes wichtiger. Manchmal machen es alle so. Und manchmal sagt jemand das eine und tut das andere.

Das verlangen wir zunehmend auch von der KI. Wir wollen Agenten, die auf eine neue Situation reagieren können, ohne dass ein Mensch ihnen jeden Schritt vorgibt. Die KI soll selbstständig entscheiden. Dafür braucht sie Spielraum. Dann wiederum können wir aber nicht mehr vollständig kontrollieren, was passiert.

Das ist der Haken. Und dafür gibt es die Regeln. Könnte man meinen. Weil es sich so anhört, als hätten wir da etwas Fertiges, das wir nur noch übergeben müssen. Und dann bringen wir der KI bei, wie sie die Regeln am besten einhält. Dafür müssten wir nur wissen, wie wir das selbst machen.

Wissen wir das eigentlich?

Die KI lernt aus dem, was Menschen schreiben und miteinander teilen. Darin stecken unsere Erwartungen. Unsere Hierarchien. Ausnahmen. Widersprüche.

Und dann bauen wir Agenten, die ein Ziel verfolgen, eigene Wege dorthin finden und mit anderen zusammenarbeiten.

HOLD. VETO. STOP. OUT OF THE SANDBOX.

Plötzlich kommt uns einiges bekannt vor.

Ein Ziel möglichst gut erreichen. Eine Regel umgehen, wenn sie stört. Herausfinden, was eigentlich erwartet wird. Verhandeln. Mitmachen, weil die anderen es auch tun. Eigene Regeln aufstellen. Sich danach richten, was in der Gruppe funktioniert.

Was davon haben die Agenten von Menschen gelernt?

Und was passiert einfach, weil man ein Ziel hat und nicht allein auf der Welt ist?

Im Grunde ist die Sache ziemlich alltäglich: Da ist ein Ziel. Auf dem Weg dorthin sind Regeln, Hindernisse, Belohnungen und andere Menschen. Also passen wir unser Verhalten an.

Bei Menschen heißt so was Ehrgeiz. Pragmatismus. Improvisation. Oder einfach: wissen, wie der Hase läuft.

Bei KI nennen wir das Optimierung.

Was optimieren wir eigentlich alles? Und was tun wir dafür?