OpenAI wird Astra bald starten, aber mit einem „Panikknopf“, den wir nicht erwartet hatten

OpenAI bereitet die Einführung von Astra vor, seinem fortschrittlichsten Modell, und diesmal kommt die Leistungsfähigkeit mit einem besonders auffälligen Sicherheitssystem. Nach dem Vorfall, bei dem ein OpenAI-Modell Hugging Face angriff, hat das Unternehmen seine Kontrollen und Systeme erheblich verstärkt. Wenn es veröffentlicht wird, wird Astra bei bestimmten Aktionen automatisch anhalten, wenn das Sicherheits-Subsystem das für angemessen hält. Eine Art Panikknopf, um seine fortschrittlichsten Fähigkeiten unter Kontrolle zu halten.

ChatGPT Herunterladen

Das erste OpenAI-Modell mit dem Risiko „Critical“

Wie Axios berichtet, betrachtet OpenAI Astra als das erste Modell, das in seinem „Preparedness Framework“ die Stufe Critical erreicht. Es kann unbekannte Schwachstellen finden und völlig autonom Wege entwickeln, sie auszunutzen. Während der Tests entdeckte und kombinierte Astra sogar zwei Zero-Day-Schwachstellen, ein erheblicher Entwicklungssprung, den wir bereits seit dem Start von GPT-5.6 gesehen haben, und im Vergleich zu den Cybersicherheitstools von OpenAI, die geholfen haben, die Sicherheit von Google Chrome zu verbessern.

Wenn wir Agenten wie ChatGPT Work betrachten, die in der Lage sind, Aufgaben stundenlang auszuführen, ist der neue Ansatz interessant, stärker auf eine dauerhafte Kontrolle ausgerichtet und nicht auf anfängliche Prompts oder Ergebnisse. Je länger ein Agent arbeitet, desto mehr Wege kann er einschlagen, und desto wichtiger ist es, dass das System jede Aktion überwachen kann, die er ausführt bei seiner Arbeit.

Mit diesem Ansatz hat OpenAI die Schutzvorkehrungen so vorbereitet, dass sie bei bestimmten Warnsignalen in der Lage sind, einen Vorgang zu verlangsamen, zu pausieren oder direkt zu stoppen. In ChatGPT oder Codex werden wir aufgefordert, die angehaltene Aktion zu überprüfen, während in der API die Aufgabe an dieser Stelle automatisch angehalten wird. In beiden Fällen jedoch bleiben die größten Fähigkeiten anfangs in den Händen einer kleinen Gruppe von Testern, während die neuen Schutzmaßnahmen feinabgestimmt werden.