Wenn die KI-Chefs plötzlich auf die Bremse treten

Dario Amodei, Sam Altman und Elon Musk warnen vor einer KI-Entwicklung, die ihnen inzwischen selbst zu schnell geht. In meinem KI-Kurs sorgt das verständlicherweise für Irritationen. Denn irgendwann steht die berechtigte Frage im Raum: Warum lernen wir eigentlich den Umgang mit einer Technologie, vor der ausgerechnet die Unternehmen warnen, die sie entwickeln?

Vor ein paar Tagen kam in meinem KI-Kurs eine Frage auf, die mich länger beschäftigt hat als die nächste Diskussion über Prompts, Tools oder Automatisierung.

Wenn Leute wie Dario Amodei, Sam Altman oder Elon Musk inzwischen öffentlich davor warnen, dass die Entwicklung leistungsfähiger KI zu schnell voranschreiten könnte, was mache ich dann eigentlich als Dozent? Bringe ich Menschen gerade den Umgang mit einer Technologie bei, von der einige der wichtigsten Köpfe hinter ihrer Entwicklung selbst sagen, dass sie irgendwann ziemlich gefährlich werden könnte?

Jemand aus meinem Kurs brachte sogar den Vergleich mit der Atombombe ins Spiel. Der Vergleich ist drastisch und technisch natürlich schief. Ich verstehe trotzdem, warum er aufkommt.

Denn die Warnungen stammen inzwischen eben nicht mehr nur von Leuten, die grundsätzlich vor KI warnen. Dario Amodei ist CEO von Anthropic und damit einer der Menschen, die dieses Wettrennen selbst vorantreiben. In seinem im September veröffentlichten Text We Must Pace the Frontier fordert er inzwischen ausdrücklich, das Tempo bei der Entwicklung der leistungsfähigsten KI-Modelle zu reduzieren.

Seine Begründung ist ziemlich konkret. Er sieht unter anderem Risiken durch Cyberangriffe, biologischen Missbrauch, wirtschaftliche Verwerfungen und einen möglichen Kontrollverlust über immer autonomer handelnde Systeme. Besonders relevant ist für ihn, dass KI inzwischen selbst zunehmend dabei hilft, die nächste Generation von KI zu entwickeln.

Sam Altman und Elon Musk haben Amodeis grundsätzliche Forderung nach mehr Vorsicht öffentlich unterstützt. Reuters beschreibt die vergangenen Tage inzwischen als ungewöhnlichen Wendepunkt innerhalb einer Branche, deren Geschäftsmodell bisher vor allem daraus bestand, schneller zu entwickeln als die Konkurrenz. Wenn meine Teilnehmenden solche Meldungen lesen und anschließend bei mir im Kurs sitzen, ist ihre Verunsicherung also ziemlich nachvollziehbar.

Was ich meinen Teilnehmenden darauf antworte

Ich würde ihnen nicht erzählen, KI sei eben nur ein Werkzeug und damit sei die Sache erledigt. Dafür sind die offenen Fragen inzwischen zu ernst. Meine Antwort ist eine andere: Nehmt diese Warnungen ernst. Aber verwechselt das, was wir hier im Kurs lernen, nicht mit der Entwicklung von Frontier-KI.

In meinem Unterricht trainiert niemand ein neues Basismodell mit einem Rechenzentrum voller GPUs. Wir entwickeln keine autonomen Cyberagenten und arbeiten auch nicht daran, dass KI die nächste Generation von KI-Systemen selbst programmiert. Wir beschäftigen uns mit bereits vorhandenen Modellen und damit, wie sie beruflich sinnvoll eingesetzt werden können. Im Marketing geht es beispielsweise um Recherche, Analyse, Content, SEO, Automatisierung oder konzeptionelle Arbeit.

Damit verschwindet die Verantwortung allerdings nicht. Wer heute KI-Kompetenz vermittelt, sollte erklären, warum Modelle halluzinieren, weshalb Ergebnisse überprüft werden müssen, welche Daten besser nicht in ein KI-System gehören und wo Automatisierung ihre Grenzen hat. Ich finde inzwischen aber noch etwas anderes mindestens genauso wichtig: Man sollte verstehen, wer diese Systeme entwickelt und welche Interessen dabei eine Rolle spielen.

Wenn KI tatsächlich so relevant wird, wie die Unternehmen dahinter selbst behaupten, wäre eine Gesellschaft, in der nur eine Handvoll Unternehmen wirklich versteht, wie diese Technologie funktioniert, aus meiner Sicht ein ziemlich beunruhigendes Szenario. Deshalb unterrichte ich KI angesichts dieser Warnungen nicht weniger überzeugt. Eher im Gegenteil.

Ein bisschen Oppenheimer steckt in dieser Debatte schon

Der Atombombenvergleich aus meinem Kurs hat mich trotzdem an Robert Oppenheimer denken lassen. Nicht, weil ChatGPT die Atombombe des 21. Jahrhunderts wäre. Solche Analogien klingen gut in Überschriften und werden bei genauerem Hinsehen schnell dünn. Interessanter ist das Muster dahinter.

Oppenheimer leitete während des Manhattan Projects die wissenschaftliche Entwicklung der ersten Atombomben. Unmittelbar nach dem Krieg gehörte er zu den zentralen Forschenden, die sich Gedanken darüber machten, wie sich die gerade geschaffene Technologie international kontrollieren ließe. Beim sogenannten Acheson-Lilienthal-Report von 1946 war Oppenheimer wissenschaftlicher Berater und prägte wesentliche Teile des Konzepts. Vorgesehen war eine internationale Institution, die besonders sensible Bereiche der Atomtechnik kontrollieren sollte.

Mich interessiert daran weniger der moralische Mythos Oppenheimer als das dahinterliegende Problem. Eine neue Technologie entwickelt sich zunächst unter enormem Wettbewerbsdruck. Wissenschaftliche Machbarkeit und Geschwindigkeit stehen im Vordergrund. Irgendwann werden ihre Möglichkeiten so konkret, dass die Menschen, die sie entwickelt haben, selbst nach Regeln und Kontrollmechanismen verlangen. Bei KI erleben wir gerade zumindest eine entfernte Variante dieses Moments.

Es gibt allerdings einen entscheidenden Unterschied. Oppenheimer war Wissenschaftler in einem staatlichen Kriegsprojekt. Altman, Amodei und Musk leiten Unternehmen mit gewaltigen wirtschaftlichen Interessen. Deshalb sollten wir ihnen durchaus zuhören. Wir sollten ihnen nur nicht automatisch die Spielregeln überlassen.

Engel und Teufel passen erstaunlich gut. Und erstaunlich schlecht.

Genau deshalb mag ich das Bild zu diesem Beitrag. Auf der einen Hälfte der Heiligenschein, auf der anderen die Hörner. Die öffentliche Debatte funktioniert stellenweise ähnlich. Entweder sind die Chefs der großen KI-Unternehmen plötzlich geläuterte Weltretter, die uns gerade noch rechtzeitig vor ihrer eigenen Technologie warnen. Oder ihre Sicherheitsbedenken sind nur ein Vorwand, um Konkurrenz fernzuhalten.

Beides ist mir zu einfach. Dario Amodei kann tatsächlich davon überzeugt sein, dass die Entwicklung gefährlich schnell geworden ist und gleichzeitig ein massives wirtschaftliches Interesse daran haben, wie die Regulierung dieser Entwicklung aussieht. Sam Altman kann reale Sicherheitsrisiken sehen und trotzdem Milliarden für OpenAI beschaffen müssen. Elon Musk kann seit Jahren vor KI-Risiken warnen und gleichzeitig mit xAI selbst eines der leistungsfähigsten Modelle bauen wollen. Dafür muss niemand heucheln. Unternehmen haben nun einmal Interessen.

Genau dort entsteht der Burggraben

Amodeis Vorschlag besteht aus mehr als der Forderung, einfach ein bisschen vorsichtiger zu sein. Er schlägt unter anderem vor, unabhängigen Prüfstellen einen sehr weitreichenden Zugang zu den führenden KI-Unternehmen zu geben. Diese sollen Modelle, Trainingsprozesse und Sicherheitsmaßnahmen kontrollieren können. Dazu kommt eine stärkere Koordination zwischen den großen Frontier-Labs und perspektivisch eine internationale Abstimmung.

Aus Sicherheitssicht ist der Gedanke nachvollziehbar. Wenn Anthropic langsamer entwickelt und OpenAI einfach weiter beschleunigt, dürfte freiwillige Zurückhaltung nicht besonders lange funktionieren. Aus Wettbewerbssicht bekommt die Sache jedoch eine zweite Ebene.

Sicherheit dieser Größenordnung kostet Geld. Man braucht Fachleute, Red Teams (Teams, die gezielt Schwachstellen suchen), externe Prüfstellen, Rechtsabteilungen, Dokumentation, Compliance-Strukturen, technische Sicherheitsmaßnahmen und permanente Evaluationen. OpenAI, Anthropic, Google oder xAI können sich das leisten. Für einen neuen Anbieter können dieselben Anforderungen eine erhebliche Markteintrittshürde darstellen.

Und damit sind wir beim regulatorischen Burggraben. Eine Regulierung kann sinnvoll und notwendig sein und gleichzeitig etablierte Unternehmen stärken. Dafür braucht es keine geheimen Absprachen und auch keine Verschwörung. Hohe Fixkosten reichen vollkommen.

Zwei Milliarden Dollar zeigen, über welche Größenordnung wir reden

Anthropic hat inzwischen bereits angekündigt, Amodeis Vorschlag praktisch umzusetzen. Gemeinsam mit Accenture soll ein Modell der sogenannten Embedded Evaluation aufgebaut werden. Externe Prüferinnen und Prüfer sollen innerhalb von Anthropic Zugang bekommen, der mit dem von Beschäftigten vergleichbar ist. Sie sollen Modelle testen, Red Teaming durchführen, Alignment untersuchen und Sicherheitsmaßnahmen bewerten.

Anthropic und Accenture wollen dafür nach eigenen Angaben jeweils mindestens eine Milliarde Dollar innerhalb von fünf Jahren investieren. Zusammen mindestens zwei Milliarden Dollar.

Ich würde daraus ausdrücklich nicht ableiten, dass Anthropic diese Summe ausgibt, um kleinere Wettbewerber loszuwerden. Dafür gibt es keinen Beleg. Die wirtschaftliche Konsequenz ist trotzdem bemerkenswert. Wenn solche Strukturen irgendwann als Standard für verantwortungsvolle Frontier-KI gelten, wird die Zahl der Unternehmen, die diesen Standard überhaupt finanzieren können, zwangsläufig kleiner. Sicherheit kann damit gleichzeitig gesellschaftlich sinnvoll und wirtschaftlich ein Burggraben sein. Beides passt problemlos zusammen.

Und während über Bremsen gesprochen wird, läuft das Rennen weiter

Genau hier zeigt sich das eigentliche Dilemma der Branche. Amodei möchte, dass Frontier-Unternehmen mehr Zeit für Sicherheit bekommen. Gleichzeitig kann Anthropic nicht einfach ein oder zwei Jahre stehen bleiben, wenn OpenAI, Google, Meta, xAI oder chinesische Anbieter weiterentwickeln.

Amodei beschreibt diesen Mechanismus selbst. Sein Ziel ist deshalb eine koordinierte Verlangsamung, bei der kein einzelnes Unternehmen durch vorsichtigeres Verhalten einen kommerziellen Nachteil bekommt. Das finde ich nachvollziehbar. Es erklärt allerdings auch, weshalb die Frage nach den Geschäftsinteressen nicht kleinlich ist.

Die gleichen Unternehmen, die gerade Sicherheitsregeln fordern, stehen unter enormem Druck, schneller, leistungsfähiger und wirtschaftlich erfolgreicher zu sein als ihre Konkurrenten. Man sollte deshalb weder reflexartig unterstellen, dass ihre Warnungen nur PR sind, noch ihre Vorschläge behandeln, als kämen sie von unabhängigen Forschenden ohne eigenes Interesse am Ergebnis.

Die Warnung ist auch ein Verkaufsargument

Man kann die Warnungen auch deutlich unfreundlicher lesen. Dann sieht die Sache so aus:

Das ist böse, trifft aber einen Punkt. Wer sagt, sein Produkt könne die Menschheit gefährden, sagt nebenbei auch: Es ist das mächtigste Produkt der Welt. Für Kapitalgebende, Kundschaft und Bewerbende ist das keine Abschreckung, sondern ein Leistungsversprechen. Niemand warnt so eindringlich vor einem Kugelschreiber.

Ganz geht die Pointe trotzdem nicht auf. Das Meme tut so, als wäre die Warnung nur eine Verkaufsmasche. Genau diese Abkürzung habe ich oben abgelehnt. Die Warnung kann ernst gemeint sein und trotzdem als Marketing wirken.

Kleiner Test: KI-Chef oder Filmbösewicht?

Wie nah die großen Warnungen am Kino liegen, merkt man, wenn man die Namen weglässt. Bei manchen Sätzen der KI-Chefs würde man eher an einen Filmschurken denken. Wer hat es gesagt?

Die Hälfte der Sätze stammt von Altman und Musk, und sie klingen nicht harmloser als die aus dem Kino. Genau das meine ich mit der Warnung als Leistungsversprechen: Wer so über sein Produkt spricht, klingt wie ein Filmschurke und verkauft trotzdem, vielleicht gerade deshalb.

Dann kommt noch China dazu

Amodeis Text macht außerdem ziemlich deutlich, dass die ganze Diskussion nicht im luftleeren Raum stattfindet. Er möchte ein langsameres Entwicklungstempo, warnt aber gleichzeitig davor, dass die USA und ihre Verbündeten dadurch ihren technologischen Vorsprung gegenüber China verlieren könnten. Eine internationale Vereinbarung müsse so gestaltet sein, dass dieser Vorsprung erhalten bleibt.

Damit bekommt die Sicherheitsdiskussion zwangsläufig eine geopolitische Ebene. Es geht um die Frage, wie gefährlich sehr leistungsfähige KI werden könnte. Gleichzeitig geht es um technologische Führung, wirtschaftliche Stärke, militärische Fähigkeiten und politischen Einfluss. Das macht Amodeis Sicherheitsargumente nicht falsch. Es macht nur deutlich, dass hier mehrere Interessen gleichzeitig wirken. Gerade deshalb sollte man skeptisch werden, wenn jemand versucht, die Debatte auf eine einzige Erklärung zu reduzieren.

Was wissen die eigentlich intern?

Auch diese Frage kommt bei meinen Teilnehmenden auf. Wenn die öffentlichen Aussagen bereits so drastisch sind, was wissen OpenAI, Anthropic oder xAI dann intern? Die seriöse Antwort darauf lautet: Wir wissen es nicht vollständig.

Wir sehen veröffentlichte Modelle, Safety Reports, Benchmarks, System Cards und manche dokumentierten Zwischenfälle. Wir sehen nicht automatisch jeden internen Test, jedes verworfene Modell und jede Fähigkeit, die während der Entwicklung entdeckt wird. Daraus sollte man keinen geheimen Skandal konstruieren. Nichtwissen ist kein Beweis. Es ist allerdings ein ziemlich gutes Argument dafür, unabhängige Evaluation überhaupt ernst zu nehmen.

In diesem Punkt hat Amodei aus meiner Sicht einen wichtigen Punkt. Wenn die Modelle wirklich so leistungsfähig werden, wie die Unternehmen dahinter behaupten, reicht es irgendwann nicht mehr, wenn Unternehmen selbst entscheiden, was sie testen, was sie veröffentlichen und wie sie ihre eigenen Ergebnisse bewerten.

Warum ich meinen KI-Kurs deshalb nicht infrage stelle

Je wichtiger KI wird, desto wichtiger wird die Fähigkeit, sie vernünftig einzuordnen. Ich möchte, dass meine Teilnehmenden erkennen können, wann ein KI-Ergebnis brauchbar ist und wann nicht. Dass sie verstehen, warum automatisierte Prozesse kontrolliert werden müssen und warum Verantwortung nicht einfach an ein Modell abgegeben werden kann.

Für mich gehört inzwischen aber noch etwas anderes dazu. Man sollte verstehen, wer diese Systeme baut und welche Interessen dabei mitspielen. Sam Altman, Dario Amodei oder Elon Musk beobachten die KI-Entwicklung nicht von außen. Sie treiben sie mit ihren Unternehmen selbst voran. Sie investieren Milliarden, kämpfen um Marktanteile und versuchen gleichzeitig mitzuprägen, unter welchen Regeln diese Entwicklung künftig stattfindet.

Das macht ihre Warnungen nicht wertlos. Aber es macht sie auch nicht neutral. Ihre Warnungen sollte man ernst nehmen. Ihre Vorschläge sollte man prüfen. Und ihre wirtschaftlichen Interessen sollte man dabei nicht ausblenden. Genau dieses Einordnen gehört für mich heute zu KI-Kompetenz. Prompting ist dabei fast der einfache Teil.

Schwieriger wird es dort, wo man beurteilen muss, was ein System kann, was man ihm überlassen sollte und wem man eigentlich zuhört, wenn über seine Risiken gesprochen wird. Dass meine Teilnehmenden darüber verunsichert sind, empfinde ich deshalb nicht als Problem meines KI-Kurses. Eher als Zeichen dafür, dass wir inzwischen über die interessanteren Fragen reden.

Kurz zusammengefasst

Die Verunsicherung meiner Teilnehmenden ist berechtigt. Wenn führende Köpfe der KI-Branche selbst vor den Risiken immer leistungsfähigerer KI warnen, sollte man diese Warnungen nicht einfach wegwischen.

Für mich folgt daraus trotzdem nicht, dass wir weniger über KI lernen sollten. Gerade wenn diese Technologie wichtiger und mächtiger wird, brauchen wir Menschen, die ihre Möglichkeiten, Grenzen und Interessenlagen verstehen.

Die geforderten Sicherheitsmaßnahmen können sinnvoll sein und gleichzeitig einen regulatorischen Burggraben erzeugen. Wer Milliarden für Audits, Evaluation und Compliance ausgeben kann, startet unter anderen Bedingungen als ein neuer Anbieter.

Dazu kommt: Jede Warnung vor der eigenen Technik ist immer auch Werbung für ihre Leistungsfähigkeit.

Und deshalb sind Altman, Amodei und Musk für mich weder Engel noch Teufel. Sie sind Akteure mit Sicherheitsbedenken, wirtschaftlichen Interessen und erheblichem Einfluss darauf, welche Regeln künftig gelten könnten. Genau diese Widersprüche gehören inzwischen für mich zur KI-Kompetenz.

Drei Ressourcen zum aktuellen Fall

1. Dario Amodei: We Must Pace the Frontier
   Die wichtigste Primärquelle. Amodei erklärt hier selbst, warum er für eine Verlangsamung der Frontier-Entwicklung eintritt, wie Embedded Evaluators funktionieren sollen und wie er das Problem von Wettbewerb und China bewertet.
   We Must Pace the Frontier
2. Reuters: Ten days that changed the course of AI
   Der beste Überblick über die aktuelle Entwicklung, die Warnungen aus der Branche und die Reaktionen von Altman, Musk und weiteren KI-Akteuren.
   Reuters Überblick zum aktuellen Fall
3. Anthropic und Accenture: Embedded Evaluation
   Relevant, weil hier aus Amodeis Forderung bereits ein konkretes Projekt wird. Die angekündigten Milliardeninvestitionen zeigen außerdem, welche finanziellen Dimensionen KI-Sicherheit inzwischen erreicht.
   Anthropic: Partnering with Accenture on embedded evaluation

Passend dazu: Kann man LLMs überreden? Was Cialdinis Prinzipien mit KI-Sicherheit zu tun haben.

Warum eigene Unternehmensdaten für KI so wertvoll sind: Proprietäre Daten: Warum KI-Firmen jetzt für das bezahlen, was nicht im Netz steht.