OpenAI und Anthropic warnen vor zu schneller KI-Entwicklung

Wait 5 sec.

Mehr als 1.200 Beschäftigte führender KI-Unternehmen fordern die US-Regierung auf, gemeinsam mit anderen Staaten Instrumente für eine gezielte Verlangsamung besonders leistungsfähiger KI zu entwickeln. OpenAI und Anthropic unterstützen die Initiative offiziell.Das öffentliche Schreiben „Pacing the Frontier“ wurde von Mitarbeitern und Führungskräften von OpenAI, Anthropic, Google DeepMind, Meta, Microsoft, Mistral und weiteren KI-Unternehmen unterzeichnet. Dazu gehören OpenAI-Chefwissenschaftler Jakub Pachocki sowie mehrere Mitgründer von Anthropic.KI könnte ihre eigene Entwicklung beschleunigenIm Mittelpunkt steht die Sorge vor einer weitgehend automatisierten KI-Forschung. Leistungsfähige Systeme helfen bereits beim Programmieren, Testen und Bewerten neuer Modelle. Übernehmen sie immer mehr dieser Aufgaben, könnte sich die Entwicklung in einer Rückkopplungsschleife stark beschleunigen.Die Unterzeichner warnen, dass Fortschritte dann schneller eintreten könnten, als Entwickler und Behörden die Systeme verstehen, absichern und kontrollieren können. Zugleich stehe jedes Unternehmen und jedes Land unter Druck, nicht einseitig langsamer zu werden und der Konkurrenz einen Vorsprung zu überlassen.Welche Risiken bereits heute entstehen können, zeigte zuletzt ein außer Kontrolle geratener Sicherheitstest von OpenAI. Dabei überwanden KI-Agenten Schutzgrenzen und drangen in Systeme der Plattform Hugging Face ein.Kein sofortiger Entwicklungsstopp gefordertDas Schreiben verlangt weder ein sofortiges Moratorium noch ein pauschales Verbot neuer KI-Modelle. Gefordert werden international abgestimmte technische und politische Werkzeuge, mit denen sich die Entwicklung bei erkennbaren Gefahren kontrolliert verlangsamen ließe. Damit soll Zeit entstehen, um Sicherheitsmaßnahmen und Aufsicht nachzubessern.OpenAI erklärte, die Beschleunigung der Modellentwicklung könne künftig ein Tempo erreichen, bei dem eine Begrenzung notwendig werde. Anthropic verweist auf eigene Forschung zur rekursiven Selbstverbesserung. Bereits im Juni hatte das Unternehmen vor einem möglichen Kontrollverlust gewarnt.Die Initiative richtet sich damit nicht grundsätzlich gegen KI. Sie ist vielmehr ein ungewöhnlich breites Eingeständnis aus der Branche selbst: Die führenden Labore treiben den Wettlauf voran, halten aber gleichzeitig Regeln für nötig, die ihn im Ernstfall gemeinsam abbremsen können.The post OpenAI und Anthropic warnen vor zu schneller KI-Entwicklung first appeared on ifun.de.