Die neue KI-Technologie des Teams verleiht den Robotererkennungsfähigkeiten einen großen Schub

Ein Roboter bewegt eine Spielzeugpackung Butter um einen Tisch im Intelligent Robotics and Vision Lab der University of Texas in Dallas. Mit jedem Stoß lernt der Roboter, das Objekt durch ein neues System zu erkennen, das von einem Team von Informatikern der UT Dallas entwickelt wurde.

Das neue System ermöglicht es dem Roboter, Objekte mehrmals zu schieben, bis eine Bildsequenz erfasst ist. Dadurch kann das System wiederum alle Objekte in der Sequenz segmentieren, bis der Roboter die Objekte erkennt. Frühere Ansätze beruhten auf einem einzigen Stoß oder Griff des Roboters, um das Objekt zu „lernen“.

Das Team präsentierte seine Forschungsarbeit auf der Konferenz „Robotics: Science and Systems“ vom 10. bis 14. Juli in Daegu, Südkorea. Die Beiträge für die Konferenz werden aufgrund ihrer Neuheit, technischen Qualität, Bedeutung, potenziellen Wirkung und Klarheit ausgewählt.

Der Tag, an dem Roboter das Abendessen kochen, den Küchentisch abräumen und die Spülmaschine leeren können, ist noch in weiter Ferne. Aber die Forschungsgruppe habe mit ihrem Robotersystem, das künstliche Intelligenz nutzt, um Robotern dabei zu helfen, Objekte besser zu identifizieren und sich daran zu erinnern, einen erheblichen Fortschritt gemacht, sagte Dr. Yu Xiang, leitender Autor der Studie.

„Wenn Sie einen Roboter bitten, den Becher aufzuheben oder Ihnen eine Flasche Wasser zu bringen, muss der Roboter diese Objekte erkennen“, sagte Xiang, Assistenzprofessor für Informatik an der Erik Jonsson School of Engineering and Computer Science.

Die Technologie der UTD-Forscher soll Roboter dabei unterstützen, eine Vielzahl von Objekten zu erkennen, die in Umgebungen wie Häusern gefunden werden, und ähnliche Versionen gängiger Gegenstände wie Wasserflaschen verschiedener Marken, Formen oder Größen zu verallgemeinern oder zu identifizieren.

In Xiangs Labor befindet sich ein Vorratsbehälter voller Spielzeugpackungen mit gängigen Lebensmitteln wie Spaghetti, Ketchup und Karotten, mit denen der Laborroboter namens Ramp trainiert wird. Ramp ist ein mobiler Manipulatorroboter von Fetch Robotics, der etwa 4 Fuß hoch auf einer runden mobilen Plattform steht. Rampe hat einen langen mechanischen Arm mit sieben Gelenken. Am Ende befindet sich eine quadratische „Hand“ mit zwei Fingern zum Greifen von Gegenständen.

Xiang sagte, Roboter lernen, Gegenstände auf vergleichbare Weise zu erkennen, wie Kinder lernen, mit Spielzeug zu interagieren.

„Nachdem er das Objekt angeschoben hat, lernt der Roboter, es zu erkennen“, sagte Xiang. „Mit diesen Daten trainieren wir das KI-Modell, sodass der Roboter das nächste Mal, wenn er das Objekt sieht, es nicht erneut schieben muss. Wenn es das Objekt zum zweiten Mal sieht, wird es es einfach aufheben.“

Neu an der Methode der Forscher ist, dass der Roboter jeden Gegenstand 15 bis 20 Mal drückt, während die bisherigen interaktiven Wahrnehmungsmethoden nur einen einzigen Stoß nutzen. Xiang sagte, dass der Roboter durch mehrere Stöße mit seiner RGB-D-Kamera, die über einen Tiefensensor verfügt, mehr Fotos aufnehmen kann, um mehr über jeden Gegenstand zu erfahren. Dies verringert das Fehlerpotenzial.

„Nachdem der Roboter das Objekt angeschoben hat, lernt es, es zu erkennen. Mit diesen Daten trainieren wir das KI-Modell, sodass es es einfach aufnimmt, wenn es das Objekt zum zweiten Mal sieht.“

Dr. Yu Xiang, Assistenzprofessor für Informatik an der Erik Jonsson School of Engineering and Computer Science

Die Aufgabe des Erkennens, Unterscheidens und Merkens von Objekten, Segmentierung genannt, ist eine der Hauptfunktionen, die Roboter zur Erledigung von Aufgaben benötigen.

„Nach unserem besten Wissen ist dies das erste System, das langfristige Roboterinteraktion zur Objektsegmentierung nutzt“, sagte Xiang.

Ninad Khargonkar, ein Informatik-Doktorand, sagte, die Arbeit an dem Projekt habe ihm geholfen, den Algorithmus zu verbessern, der dem Roboter bei der Entscheidungsfindung hilft.

„Es ist eine Sache, einen Algorithmus zu entwickeln und ihn an einem abstrakten Datensatz zu testen; Es ist eine andere Sache, es an realen Aufgaben zu testen“, sagte Khargonkar. „Diese Leistung in der Praxis zu sehen – das war eine wichtige Lernerfahrung.“

Der nächste Schritt für die Forscher besteht darin, weitere Funktionen zu verbessern, darunter Planung und Steuerung, die Aufgaben wie das Sortieren von recycelten Materialien ermöglichen könnten.

Zu den weiteren UTD-Autoren des Papiers gehörten der Informatik-Doktorand Yangxiao Lu; die Informatik-Senioren Zesheng Xu und Charles Averill; Kamalesh Palanisamy MS'23; Dr. Yunhui Guo, Assistenzprofessor für Informatik; und Dr. Nicholas Ruozzi, außerordentlicher Professor für Informatik. Dr. Kaiyu Hang von der Rice University nahm ebenfalls teil.

Die Forschung wurde teilweise von der Defense Advanced Research Projects Agency im Rahmen ihres Perceptually-enabled Task Guidance-Programms unterstützt, das KI-Technologien entwickelt, um Benutzern bei der Ausführung komplexer physischer Aufgaben zu helfen, indem es Aufgabenführung mit Augmented Reality bietet, um ihre Fähigkeiten zu erweitern und Fehler zu reduzieren .