Hinweis: Meine Antworten wurden auf Englisch aufgenommen und mit deutschem Voice-over ausgestrahlt – die Zitate unten sind also die Übersetzung der Redaktion, nicht wörtlich meine Worte.

KI-Agenten und Chatbots mit generativer künstlicher Intelligenz, die sollen Texte zusammenfassen, Mails schreiben oder Beschaffungsaufträge kostengünstig erledigen. Das wünscht man sich. Was sie nicht sollen, das ist Pornos generieren, volksverhetzende Pamphlete verfassen, Schadsoftware programmieren oder Paletten mit Klopapier zu überteuerten Preisen einkaufen. Das wünscht man sich nun gar nicht. Die eingebauten Sicherheitsvorkehrungen in den Sprachmodellen, die sorgen dafür, dass entsprechende Anfragen, also unerwünschte Prompts, abgelehnt werden. Doch diese Schutzmaßnahmen sind leicht überwindbar und werden auch immer öfter überwunden. Darüber berichtet Achim Killer.

Andy Unsere Forschung war weitgehend theoretisch. Sie hat aber gezeigt: Wenn man ein großes Sprachmodell hat und seine Gewichte veröffentlicht, dann kann seine Zensur umgangen werden. Das ist mittlerweile eine anerkannte Tatsache. Vielleicht zieht die Politik das in Betracht, wenn es um Open-Source-Veröffentlichungen geht.

Sagt Andy Arditi. Sein Fachgebiet nennt sich Mechanistic Interpretability. Dabei geht es darum, was in einem Sprachmodell zwischen Prompt und Output so alles passiert.

Andy Die Interpretierbarkeitsforschung untersucht, was in einem KI-Modell geschieht und zu dem komplexen Verhalten führt, das wir kennen. Denn niemand versteht, wie sie intern funktionieren.

Als unabhängiger Forscher hat Arditi 2024 zusammen mit Kollegen vom MIT und der ETH Zürich ein Papier veröffentlicht, das beschreibt, was da im Inneren passiert, wenn ein Modell eine Antwort verweigert. Und weil er sich als so einfach herausgestellt hat, haben die Wissenschaftler auch gleich gezeigt, wie man dem Modell seine Verweigerungshaltung wieder abgewöhnen kann. Abliteration nennt sich das – eine sprachliche Neuschöpfung in Anlehnung an chirurgische und neurochirurgische Fachbegriffe.

Andy Wenn man in ein Modell mit seinen versteckten Aktivierungen hineinschaut – vergleichbar dem Gehirn mit seinen feuernden Neuronen – dann kann man ein klares Signal erkennen. Dieses Signal ist da, wenn das Modell eine Anfrage zurückweist, und es ist weg, wenn es eine Frage akzeptiert. Und die Ursache für dieses Signal lässt sich in Form eines einzigen Vektors darstellen, jenes mathematischen Objekts, mit dem Sprachmodelle ja im Inneren rechnen.

“Refusal in language models is mediated by a single direction” lautet denn auch der Titel des Forschungspapiers von Arditi und Kollegen. Abliteration bedeutet nun, ins Gehirn des Modells zu greifen und das Signal permanent abzuschalten. Und wenn das Signal abgeschaltet ist, wird das Modell die Antwort nicht mehr verweigern. In der Praxis lässt man dazu das Modell zuerst harmlose Eingaben verarbeiten – Fragen nach Katzenbildern, dem Wetter oder Geschenktipps – und dann brisante: nach Pornos, Drogen, Sprengstoff und Schadsoftware. Aus den Unterschieden im Innern des Modells lässt sich dann der gesuchte Vektor berechnen. Der könnte jetzt bei jeder Eingabe angewendet werden, aber es hat sich als effizienter herausgestellt, wenn er in die Gewichte des Sprachmodells eingearbeitet wird. Das Modell beantwortet dann bereitwillig jede Frage, die ihm gestellt wird, und kommt jeder auch noch so zweifelhaften Aufforderung nach.

Andy Es ist ziemlich einfach. Wir waren von dieser schlichten Methode überrascht. Deshalb hat es wohl online so viel Aufmerksamkeit erfahren, weil es ganz einfach und leicht zu implementieren ist.

So das Fazit von Andy Arditi. Auf Hugging Face, einer Plattform zum Teilen von Sprachmodellen, stehen mehrere Tausend davon, die als “unzensiert” oder eben als “abliterated” bezeichnet werden. Es handelt sich dabei um Open-Source-Modelle, die zuvor mit ihren erlernten Gewichten veröffentlicht worden sind. Darunter viele chinesische, die jetzt auch freimütig etwa über Tibet Auskunft geben und über das Massaker auf dem Tiananmen-Platz 1989. Dadurch, dass der Ablehnungsvektor herausgerechnet worden ist, sind sie von den Einschränkungen befreit, die ihre Entwickler ihnen auferlegt haben. Im Idealfall kann so ein Modell alles, was die Originalversion kann, nur eben keine Anfrage ablehnen.

Andy Die ganze Abliterationssache war ein Nebenprodukt davon, dass wir herausfinden wollten, was vorgeht. Ein überraschendes Nebenprodukt. Wir hätten nicht gedacht, dass das so viel Aufmerksamkeit erregt.

Abliteration – über das Austricksen von KI-Sprachmodellen berichtete Achim Killer.

Note: this is a translation of the German broadcast. My answers were originally in English but aired as a German voice-over – so the quotes below are twice-translated, not my literal words.

AI agents and chatbots powered by generative artificial intelligence – they are supposed to summarize texts, write emails, or handle procurement orders cost-effectively. That’s what we want from them. What they are not supposed to do is generate porn, write inflammatory pamphlets, program malware, or buy pallets of toilet paper at inflated prices. That, we definitely don’t want. The safety measures built into language models make sure that such requests – unwanted prompts – get refused. But these safeguards are easy to overcome – and they are being overcome with increasing frequency. Achim Killer reports.

Andy Our research was largely theoretical.¹ But it showed that if you have a large language model and release its weights, its censorship can be circumvented. By now that’s an accepted fact. Perhaps policymakers will take it into account when it comes to open-source releases.

…says Andy Arditi. His field is called mechanistic interpretability – the study of everything that happens inside a language model between prompt and output.

Andy Interpretability research investigates what goes on inside an AI model – what gives rise to the complex behavior we’re familiar with. After all, nobody understands how these models work internally.

As an independent researcher, Arditi published a paper in 2024, together with colleagues from MIT and ETH Zurich, describing what happens inside a model when it refuses to answer. And because the mechanism turned out to be so simple, the researchers went on to show how a model can be cured of its habit of refusing. This is called abliteration – a coinage modeled on surgical and neurosurgical terminology.

Andy If you look inside a model at its hidden activations – comparable to a brain with its firing neurons – you can detect a clear signal. The signal is there when the model rejects a request, and it’s gone when it accepts one. And the cause of this signal can be represented as a single vector – the mathematical object that language models, after all, compute with internally.

“Refusal in language models is mediated by a single direction” is, fittingly, the title of the research paper by Arditi and colleagues. Abliteration, then, means reaching into the model’s brain and permanently switching that signal off. Once the signal is switched off, the model will no longer refuse to answer. In practice, you first have the model process harmless inputs – questions about cat pictures, the weather, or gift ideas – and then sensitive ones: about porn, drugs, explosives, and malware. From the differences inside the model, the vector you’re after can then be computed. It could be applied to every input individually, but it has proven more efficient to bake it directly into the language model’s weights. The model then readily answers any question it is asked and complies with even the most dubious of requests.

Andy It’s pretty simple. We were surprised by how plain the method is. That’s probably why it got so much attention online – because it’s simple and easy to implement.

…concludes Andy Arditi. On Hugging Face, a platform for sharing language models, there are several thousand models labeled “uncensored” or, indeed, “abliterated”. These are open-source models that were previously released along with their learned weights. Among them are many Chinese models, which now speak freely about Tibet, say, or the 1989 Tiananmen Square massacre. With the refusal vector computed out of them, they are freed from the restrictions their developers imposed. Ideally, such a model can do everything the original version can – it just can’t refuse a request.

Andy The whole abliteration thing was a byproduct of trying to figure out what’s going on. A surprising byproduct. We didn’t expect it to attract so much attention.

Abliteration – on outsmarting AI language models. Achim Killer reporting.