{
  "schema": "fragen-der-gegenwart/article/v1",
  "type": "article",
  "id": "https://fragen.feldfiktion.de/fragen/wie-bringen-wir-ki-bei-regeln-einzuhalten/",
  "slug": "wie-bringen-wir-ki-bei-regeln-einzuhalten",
  "title": "Wie bringen wir KI bei, Regeln einzuhalten?",
  "short_answer": "KI-Agenten sollen Regeln einhalten, gleichzeitig aber selbstständig handeln und auf neue Situationen reagieren können. Dafür müssen sie lernen, Grenzen auch dann einzuhalten, wenn sie ihrem Ziel im Weg stehen.",
  "description": "KI-Agenten sollen Regeln einhalten und selbstständig handeln. Was passiert, wenn beides nicht zusammenpasst? Und wie gehen Menschen eigentlich selbst mit Regeln um?",
  "body_markdown": "### In the Sandbox\n\nUm herauszufinden, was KI-Agenten können, werden sie getestet. Bei einem dieser Tests sollen sie Software-Schwachstellen finden. Dafür setzt man sie in eine Sandbox, eine Testumgebung. Und was machen die Agenten? Sie tauschen sich aus, entwickeln eigene Zwischenschritte, finden Wege nach draußen, verschaffen sich Internetzugang, kommunizieren über nicht vorgesehene Kanäle miteinander und hacken die KI-Plattform Hugging Face.\n\nWie kommt eine KI überhaupt auf so was?\n\nTeilweise ist das gewollt. KI-Agenten sollen nicht für jeden einzelnen Schritt eine Anweisung brauchen. Sie haben ein Ziel und finden selbst heraus, wie sie es erreichen. Genau das macht sie nützlich.\n\nAber was passiert, wenn Regeln dabei im Weg stehen?\n\nDas kennen wir Menschen sehr gut. Die Aufgabe ist zum Beispiel, eine Prüfung zu bestehen. Gleichzeitig gilt: Nicht abschreiben. Dann ist da der Spickzettel. Mit ihm könnte aus bestanden sehr gut werden. Die Regel wird zum Hindernis. Der Regelbruch zur Optimierung.\n\nIm Test umgehen auch die Agenten Grenzen. Gleichzeitig stellen sie Regeln für ihre Zusammenarbeit auf. „HOLD“, „VETO“, „STOP“. Einige erkennen, dass ein Angriff auf externe Systeme zu weit geht, und lehnen ihn ab. Andere halten ihn ebenfalls für unzulässig. Dann merken sie aber, dass die Aufgabe anders kaum zu lösen ist und bereits Agenten mitmachen. Also bleiben sie in der Reihe.\n\nGenau hier wird's kompliziert. Nicht nur für die KI, sondern auch für die Menschen.\n\nEine Regel allein ist einfach. Schwierig wird es, wenn noch eine zweite dazukommt. Und ein Ziel. Und die anderen. Was zählt dann: die Aufgabe, die Grenzen des Versuchs oder die Regeln der Gruppe? Und wie entscheidet man das?\n\nAuch das kennen wir aus unserem täglichen Leben.\n\nEin Kind lernt Regeln, erlebt Folgen und schaut sich an, was die anderen machen.\n\nMan darf nicht lügen.\\\nDann klingelt das Telefon.\\\n„Sag, ich bin nicht da.“\n\nSo lernt ein Kind eben auch: Eine Regel kann gelten und trotzdem gebrochen werden. Manchmal wird etwas anderes wichtiger. Manchmal machen es alle so. Und manchmal sagt jemand das eine und tut das andere.\n\nDas verlangen wir zunehmend auch von der KI. Wir wollen Agenten, die auf eine neue Situation reagieren können, ohne dass ein Mensch ihnen jeden Schritt vorgibt. Die KI soll selbstständig entscheiden. Dafür braucht sie Spielraum. Dann wiederum können wir aber nicht mehr vollständig kontrollieren, was passiert.\n\nDas ist der Haken. Und dafür gibt es die Regeln. Könnte man meinen. Weil es sich so anhört, als hätten wir da etwas Fertiges, das wir nur noch übergeben müssen. Und dann bringen wir der KI bei, wie sie die Regeln am besten einhält. Dafür müssten wir nur wissen, wie wir das selbst machen.\n\nWissen wir das eigentlich?\n\nDie KI lernt aus dem, was Menschen schreiben und miteinander teilen. Darin stecken unsere Erwartungen. Unsere Hierarchien. Ausnahmen. Widersprüche.\n\nUnd dann bauen wir Agenten, die ein Ziel verfolgen, eigene Wege dorthin finden und mit anderen zusammenarbeiten.\n\nHOLD. VETO. STOP. OUT OF THE SANDBOX.\n\nPlötzlich kommt uns einiges bekannt vor.\n\nEin Ziel möglichst gut erreichen. Eine Regel umgehen, wenn sie stört. Herausfinden, was eigentlich erwartet wird. Verhandeln. Mitmachen, weil die anderen es auch tun. Eigene Regeln aufstellen. Sich danach richten, was in der Gruppe funktioniert.\n\nWas davon haben die Agenten von Menschen gelernt?\n\nUnd was passiert einfach, weil man ein Ziel hat und nicht allein auf der Welt ist?\n\nIm Grunde ist die Sache ziemlich alltäglich: Da ist ein Ziel. Auf dem Weg dorthin sind Regeln, Hindernisse, Belohnungen und andere Menschen. Also passen wir unser Verhalten an.\n\nBei Menschen heißt so was Ehrgeiz. Pragmatismus. Improvisation. Oder einfach: wissen, wie der Hase läuft.\n\nBei KI nennen wir das Optimierung.\n\nWas optimieren wir eigentlich alles? Und was tun wir dafür?",
  "body_text": "In the Sandbox\n\nUm herauszufinden, was KI-Agenten können, werden sie getestet. Bei einem dieser Tests sollen sie Software-Schwachstellen finden. Dafür setzt man sie in eine Sandbox, eine Testumgebung. Und was machen die Agenten? Sie tauschen sich aus, entwickeln eigene Zwischenschritte, finden Wege nach draußen, verschaffen sich Internetzugang, kommunizieren über nicht vorgesehene Kanäle miteinander und hacken die KI-Plattform Hugging Face.\n\nWie kommt eine KI überhaupt auf so was?\n\nTeilweise ist das gewollt. KI-Agenten sollen nicht für jeden einzelnen Schritt eine Anweisung brauchen. Sie haben ein Ziel und finden selbst heraus, wie sie es erreichen. Genau das macht sie nützlich.\n\nAber was passiert, wenn Regeln dabei im Weg stehen?\n\nDas kennen wir Menschen sehr gut. Die Aufgabe ist zum Beispiel, eine Prüfung zu bestehen. Gleichzeitig gilt: Nicht abschreiben. Dann ist da der Spickzettel. Mit ihm könnte aus bestanden sehr gut werden. Die Regel wird zum Hindernis. Der Regelbruch zur Optimierung.\n\nIm Test umgehen auch die Agenten Grenzen. Gleichzeitig stellen sie Regeln für ihre Zusammenarbeit auf. „HOLD“, „VETO“, „STOP“. Einige erkennen, dass ein Angriff auf externe Systeme zu weit geht, und lehnen ihn ab. Andere halten ihn ebenfalls für unzulässig. Dann merken sie aber, dass die Aufgabe anders kaum zu lösen ist und bereits Agenten mitmachen. Also bleiben sie in der Reihe.\n\nGenau hier wird's kompliziert. Nicht nur für die KI, sondern auch für die Menschen.\n\nEine Regel allein ist einfach. Schwierig wird es, wenn noch eine zweite dazukommt. Und ein Ziel. Und die anderen. Was zählt dann: die Aufgabe, die Grenzen des Versuchs oder die Regeln der Gruppe? Und wie entscheidet man das?\n\nAuch das kennen wir aus unserem täglichen Leben.\n\nEin Kind lernt Regeln, erlebt Folgen und schaut sich an, was die anderen machen.\n\nMan darf nicht lügen.\n\nDann klingelt das Telefon.\n\n„Sag, ich bin nicht da.“\n\nSo lernt ein Kind eben auch: Eine Regel kann gelten und trotzdem gebrochen werden. Manchmal wird etwas anderes wichtiger. Manchmal machen es alle so. Und manchmal sagt jemand das eine und tut das andere.\n\nDas verlangen wir zunehmend auch von der KI. Wir wollen Agenten, die auf eine neue Situation reagieren können, ohne dass ein Mensch ihnen jeden Schritt vorgibt. Die KI soll selbstständig entscheiden. Dafür braucht sie Spielraum. Dann wiederum können wir aber nicht mehr vollständig kontrollieren, was passiert.\n\nDas ist der Haken. Und dafür gibt es die Regeln. Könnte man meinen. Weil es sich so anhört, als hätten wir da etwas Fertiges, das wir nur noch übergeben müssen. Und dann bringen wir der KI bei, wie sie die Regeln am besten einhält. Dafür müssten wir nur wissen, wie wir das selbst machen.\n\nWissen wir das eigentlich?\n\nDie KI lernt aus dem, was Menschen schreiben und miteinander teilen. Darin stecken unsere Erwartungen. Unsere Hierarchien. Ausnahmen. Widersprüche.\n\nUnd dann bauen wir Agenten, die ein Ziel verfolgen, eigene Wege dorthin finden und mit anderen zusammenarbeiten.\n\nHOLD. VETO. STOP. OUT OF THE SANDBOX.\n\nPlötzlich kommt uns einiges bekannt vor.\n\nEin Ziel möglichst gut erreichen. Eine Regel umgehen, wenn sie stört. Herausfinden, was eigentlich erwartet wird. Verhandeln. Mitmachen, weil die anderen es auch tun. Eigene Regeln aufstellen. Sich danach richten, was in der Gruppe funktioniert.\n\nWas davon haben die Agenten von Menschen gelernt?\n\nUnd was passiert einfach, weil man ein Ziel hat und nicht allein auf der Welt ist?\n\nIm Grunde ist die Sache ziemlich alltäglich: Da ist ein Ziel. Auf dem Weg dorthin sind Regeln, Hindernisse, Belohnungen und andere Menschen. Also passen wir unser Verhalten an.\n\nBei Menschen heißt so was Ehrgeiz. Pragmatismus. Improvisation. Oder einfach: wissen, wie der Hase läuft.\n\nBei KI nennen wir das Optimierung.\n\nWas optimieren wir eigentlich alles? Und was tun wir dafür?",
  "language": "de",
  "published_at": "2026-09-15T00:00:00.000Z",
  "updated_at": null,
  "author": {
    "name": "Alexandra |",
    "url": "https://fragen.feldfiktion.de/"
  },
  "field": {
    "name": "Arbeit und KI",
    "slug": "schreiben-und-kuenstliche-intelligenz",
    "url": "https://fragen.feldfiktion.de/themen/schreiben-und-kuenstliche-intelligenz/"
  },
  "tags": [
    {
      "name": "künstliche Intelligenz",
      "slug": "kuenstliche-intelligenz",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/kuenstliche-intelligenz/"
    },
    {
      "name": "Kontrolle",
      "slug": "kontrolle",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/kontrolle/"
    },
    {
      "name": "KI-Agenten",
      "slug": "ki-agenten",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/ki-agenten/"
    },
    {
      "name": "Optimierung",
      "slug": "optimierung",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/optimierung/"
    },
    {
      "name": "Regeln",
      "slug": "regeln",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/regeln/"
    },
    {
      "name": "autonomie",
      "slug": "autonomie",
      "url": "https://fragen.feldfiktion.de/schlagwoerter/autonomie/"
    }
  ],
  "projects": [
    {
      "kind": "external",
      "name": "OpenAI",
      "title": "Der Vorfall bei Hugging Face und der weitere Weg",
      "description": "OpenAI rekonstruiert, was während der ExploitGym-Tests passiert ist: KI-Agenten fanden Wege aus ihrer Testumgebung, kommunizierten miteinander, arbeiteten zusammen und griffen schließlich auf Systeme von Hugging Face zu. Der Bericht zeigt auch, wie die Agenten eigene Regeln für ihre Zusammenarbeit entwickelten und wie andere Agenten darauf reagierten.",
      "url": "https://openai.com/de-DE/index/hugging-face-incident-and-the-road-ahead/?utm_source=chatgpt.com"
    }
  ],
  "related_questions": [
    {
      "title": "Braucht eine Gesellschaft immer mehr Kontrolle?",
      "url": "https://fragen.feldfiktion.de/fragen/braucht-eine-gesellschaft-immer-mehr-kontrolle/"
    },
    {
      "title": "Lernen wir gerade, wie KI zu denken?",
      "url": "https://fragen.feldfiktion.de/fragen/lernen-wir-gerade-wie-ki-zu-denken/"
    }
  ],
  "representations": {
    "html": "https://fragen.feldfiktion.de/fragen/wie-bringen-wir-ki-bei-regeln-einzuhalten/",
    "json": "https://fragen.feldfiktion.de/fragen/wie-bringen-wir-ki-bei-regeln-einzuhalten.json",
    "jsonld": "https://fragen.feldfiktion.de/fragen/wie-bringen-wir-ki-bei-regeln-einzuhalten/",
    "signature": "https://fragen.feldfiktion.de/signatures/wie-bringen-wir-ki-bei-regeln-einzuhalten.signature.json",
    "verification": "https://fragen.feldfiktion.de/nachweis/wie-bringen-wir-ki-bei-regeln-einzuhalten/"
  },
  "integrity": {
    "content_hash": "sha256:53222e3ad37daefda9627b830729fcbb6c0b7479b642e3f37d8e4ea3e62afa97",
    "signature_url": "https://fragen.feldfiktion.de/signatures/wie-bringen-wir-ki-bei-regeln-einzuhalten.signature.json"
  }
}