Alles im Blick des Roboters

In der Industrierobotik ist die Nutzung von Sensoren zur Bildverarbeitung noch selten, nur etwa ein Fünftel der eingesetzten Roboter arbeitet nicht mehr blind. In der gewerblichen Servicerobotik hingegen sind Sensoren bereits weit verbreitet. Dort sind sie Grundlage dafür, dass die Systeme in einem sich stets wandelnden Umfeld sicher agieren können.

Zudem ist die Bildverarbeitung eine Kernkomponente des maschinellen Lernens, das zunehmend an Bedeutung gewinnt – sei es zur automatischen Erkennung von Anomalien in der Qualitätsprüfung oder zur Modellierung einer Fabrik, indem zusammengehörige Oberflächen segmentiert und geometrische Formen klassifiziert werden. Letzteres ist unter anderem für die Navigation mobiler Systeme erforderlich.

Experten des Fraunhofer IPA nutzen vielfach bildverarbeitende Sensoren und entwickeln Algorithmen, um die Daten zu verarbeiten. Eine vielseitig nutzbare Technologie ist die Objekterkennung, die zum Beispiel in der Lagerlogistik, dem Einzelhandel und in der Produktion einsetzbar ist.

Objekt erkennen und Lage einschätzen

Damit ein Serviceroboter ein Objekt wiedererkennt, muss es zunächst einmal als Datenbestand erfasst sein. Die Experten am Fraunhofer IPA haben eine Scan-Station entwickelt, die Objekte innerhalb weniger Sekunden erfasst und sehr einfach zu bedienen ist.

Dabei werden einzelne Aufnahmen von allen Seiten zu einem konsistenten 3D-Objektmodell zusammengeführt. Bei der Wiedererkennung im operativen Betrieb werden die in den Einzelbilddaten gefundenen lokalen Objektmerkmale mit dem Objektmodell abgeglichen. So ist die robuste Wiedererkennung auch bei wechselnden Lichtverhältnissen oder partieller Verdeckung möglich. Beispielsweise genügt ein markanter Schriftzug mit seinen spezifischen Merkmalen, um diesen dem dazugehörigen Objekt zuzuordnen. Das Wiedererkennen braucht nicht mehr als eine Sekunde.

Als lokale Merkmale zur Objektmodellierung und -wiedererkennung kommen um Farbinformationen ergänzte SURF-Merkmale („Speeded up robust feature“) zum Einsatz. Durch die Verwendung von Merkmalen, die sowohl lokale Texturcharakteristika als auch Farbe repräsentieren, und deren Akkumulation in einem 3D-Oberflächenmodell des Objekts ist es möglich, auch ähnlich geformte oder ähnlich bedruckte Gegenstände voneinander zu unterscheiden.

3D-Sensoren erlauben einen genaueren Modellabgleich mit einer vorhandenen Objektmodelldatenbank als gewöhnliche Farbkameras, denn sie erfassen auch die 3D-Position und Orientierung der Merkmale und Objekte. So können die Objektlage im Raum sicher bestimmt und Mehrdeutigkeiten vermieden werden. Auch das automatisierte Aufnehmen oder Ablegen mit Roboterarm und Greifhand ist möglich.

System zur Klassifizierung

Neben dem Modellieren und Wiedererkennen von Objekten ist die Objektklassifizierung eine wichtige komplementäre Technologie, die für das Verständnis bisher nicht modellierter Gegenstände eingesetzt werden kann. Das Klassifizierungssystem erkennt nur Kategorienmodelle von Objekten und kann damit beispielsweise nie gesehene Dosen oder Flaschen der entsprechenden Kategorie zuordnen. Hierfür erfasst das Robotersystem geometrische Basisformen mittels 3D-Sensoren oder auffällige Texturmuster aus Farbbildern.

Die Objektklassifizierungssoftware kann aus den Daten einer 3D-Punktewolke die Information „drei senkrechte, rechteckige Ebenen“ extrahieren und daraus schließen, dass es sich um ein Paket handelt, unabhängig davon, ob genau dieses Paket in den jeweiligen Abmessungen jemals zuvor gesehen wurde.

Stammdaten blitzschnell erfasst

Zusammen mit dem Startup Kaptura hat das Fraunhofer IPA seine Objektmodellierungstechnologie in die Praxis überführt. Kaptura entwickelt 3D-Scanstationen und ermöglicht Unternehmen, die Stammdaten von Objekten schnell und automatisiert zu erfassen. Die erfassten Objekte können wiedererkannt und identifiziert werden.

Dies ist beispielsweise bei der Wartung der ICE der Deutschen Bahn ein Mehrwert: Wird eines von mehreren tausend Bauteilen ausgebaut, erkennt der Scanner dieses Teil und gibt die Artikelnummer für die Nachbestellung aus. Mit der neuen Technologie kann der Scanner mehr Objekttypen in 3D - inklusive der Oberflächenfarbe und textur - erfassen, je nach Objekttyp auch alle sechs Seiten (inklusive Unterseite) gleichzeitig. Die als Punktewolke oder Oberflächenmodell (Meshmodell) generierten Objektmodelle können zudem für die Erstellung von Erkennungsmodellen bei der Objekterkennung verwendet werden. Sie sind dadurch beispielsweise direkt für Picking-Roboter nutzbar.