Nvidia kündigt ENPIRE an: Coding-Agenten trainieren Roboter autonom

Nvidia stellt heute zusammen mit der Carnegie Mellon University und der University of California, Berkeley ENPIRE vor. Dahinter steckt ein Forschungsprojekt für autonomes Robotertraining auf echter Hardware. Ziel ist es, die Roboter-Manipulation mit deutlich weniger menschlichem Eingreifen zu verbessern. Später soll das Ganze nach Angaben des Unternehmens auch als Open Source veröffentlicht werden.

Automatisierte Rückkopplungsschleife

An dem Forschungsprojekt arbeiten Nvidia, die Carnegie Mellon University und die University of California, Berkeley gemeinsam. ENPIRE steht für „Embodied aNd Physical-world-aware agentIc Robot policy self-ImprovemEnt“. Der Ansatz soll, so beschreibt es Nvidia, die Manipulationsfähigkeiten von Robotern mit spürbar weniger menschlicher Unterstützung voranbringen.

Im Kern geht es um eine automatische Rückkopplungsschleife: Arbeitsplatz zurücksetzen, eine Strategie ausführen, das Ergebnis bewerten und den nächsten Versuch daran anpassen. Für Unternehmen ist genau das ein interessanter Punkt, weil diese Art von Iteration auf realer Hardware bisher viel Personal bindet und entsprechend Zeit kostet.

Zwei Phasen beim Training

Die Forscher setzen laut Nvidia auf ein zweistufiges Verfahren. In der ersten Phase hilft der Agent dabei, Sicherheitsgrenzen festzulegen, automatische Reset-Abläufe einzurichten und Erfolgskriterien zu definieren. Ganz ohne Menschen geht es an dieser Stelle noch nicht, begrenztes Feedback bleibt nötig.

Danach folgt die zweite Phase, in der ENPIRE dem Konzern zufolge weitgehend allein weiterarbeitet. Der Agent liest Fachliteratur, stellt Hypothesen auf, greift in den Trainingscode ein und entscheidet anhand realer Ergebnisse, ob zum Beispiel Behavior Cloning oder Reinforcement Learning besser passt. Das System testet also nicht bloß verschiedene Strategien, sondern schraubt auch an der Trainingsmethode selbst.

Eigene Prüfprogramme und acht YAM-Stationen

Für die Auswertung erzeugt ENPIRE nach Angaben von Nvidia eigene Belohnungsfunktionen und Prüfskripte. Als Basis reichen demnach schon wenige Minuten Videomaterial mit gelungenen und misslungenen Ausführungen. Beim Einsetzen eines Pins zieht das System laut Nvidia die visuelle Ausrichtung, die Höhe des Greifers und eine geschätzte Kraft zusammen. Beim Durchtrennen eines Kabelbinders arbeitet ENPIRE mit zwei Kameraperspektiven und reagiert in unter 150 Millisekunden.

Für die Skalierung greift Nvidia laut eigener Darstellung auf acht duale YAM-Roboterstationen zurück. Jede dieser Stationen bringt eigene Hardware, einen eigenen Rechner und einen eigenen Coding-Agenten mit. So können die Systeme verschiedene Ansätze parallel ausprobieren und erfolgreiche Code-Änderungen sowie Trainingsrezepte über Git untereinander austauschen.

Bis zu 99 Prozent Erfolg, Open Source geplant

Der Studie zufolge kam die Roboterflotte bei anspruchsvollen Manipulationsaufgaben auf Erfolgsraten von bis zu 99 Prozent. Genannt werden unter anderem der Push-T-Benchmark, das Sortieren von Pins in eine Box und das Schneiden eines Kabelbinders. Beim Einsetzen eines Pins erreichte die gelernte Strategie laut Nvidia sogar schneller 100 Prozent Erfolg als ein vergleichbarer Ansatz, bei dem Menschen stärker eingebunden waren.

ENPIRE baut laut Nvidia auf Eureka auf. Dort erzeugte GPT-4 dem Unternehmen zufolge Belohnungsprogramme, die in mehr als 80 Prozent der Aufgaben besser abschnitten als von Menschen geschriebene Varianten und in einzelnen Fällen Leistungsgewinne von über 50 Prozent lieferten.

Zugleich fügt sich das Projekt in Nvidias Robotik-Offensive rund um Project GR00T, Jetson Thor und Isaac GR00T ein. ENPIRE soll nach Angaben von Nvidia als Open Source erscheinen. Nvidia-Forscher Jim Fan beschreibt den Ansatz als „AutoResearch in der physischen Welt“ und als eine Art Schnittstelle zur Welt der Atome.

Quelle: Nvidia

Downloads: Für ENPIRE gibt es aktuell noch keinen Download, eine Open-Source-Veröffentlichung ist aber geplant.