Qualitätskontrolle ist in der produzierenden Industrie, etwa der Automobilindustrie, unabdingbar. Weicht ein reales Bauteil von den Vorgaben ab, die in den CAD-Daten spezifiziert sind? Bisher überprüfen die Mitarbeitenden dies vor allem über Sichtkontrolle. Forschende des Fraunhofer IGD in Darmstadt entwickeln mit der Software MARQUIS nun eine deutlich präzisere Alternative: Ihre Software verknüpft Augmented Reality mit Methoden des maschinellen Lernens – und erlaubt somit Abgleiche zwischen CAD-Spezifikation und realem Produkt. »Das System erkennt sowohl, um welches Bauteil es sich handelt, als auch, ob es Abweichungen von den Soll-Maßen gibt«, konkretisiert Holger Graf, Wissenschaftler am Fraunhofer IGD. »Dabei kann es nicht nur einzelne Bauteile überprüfen, sondern auch Zusammenbauten mehrerer Teile – denn über ein ebenfalls von uns entwickeltes Verfahren des maschinellen Lernens erkennt es die Lage der Bauteile im Raum.« Ist beispielsweise die Querstrebe im richtigen Winkel angebracht? Das System setzt dabei auf einem Vorgänger-Projekt auf: einem stationären System, das mehrere Kameras umfasst und die Bauteile exakt vermisst. Der Clou am neuen System: Es ist mobil, die Mitarbeiter zücken also einfach ihr Smartphone oder ihr Tablet und nehmen damit das Bauteil ins Visier.
Trainingsdaten für die Künstliche Intelligenz erzeugen
Eine Hauptkomponente von MARQUIS ist das maschinelle Lernen, mit dem das System nicht nur die einzelnen Bauteile erkennt, sondern auch deren Lage im Raum. Um eine solche Künstliche Intelligenz anzulernen, sind jedoch riesige Datensätze notwendig. Am besten lässt sich dies an einem Beispiel verdeutlichen, etwa dem automatisierten Erkennen von Katzen auf Fotos. Damit Software die Tiere zuverlässig erkennen kann, muss man ihm nicht nur zahlreiche Bilder mit Katzen in verschiedenen Situationen und Positionen zeigen, sondern ihr auch zu verstehen geben, welche Pixel des Bilds zur Katze gehören und welche nicht. Was Katzen angeht, so gibt es solche Bilder zuhauf. Bei der Produktion von Bauteilen dagegen liegen derlei Trainingsbilder nicht vor oder müssen aufwändig erzeugt werden.
»Da man Jahre beschäftigt wäre, wenn man diese Daten per Fotoaufnahmen erstellen würde, hatten wir das Ziel, die Trainingsdaten rein aus den CAD-Daten zu generieren, die zu jedem Produktionsprozess vorhanden sind«, sagt Graf. Die Forscherinnen und Forscher erzeugen also synthetische Bilder, die wie echte Fotos wirken. Dazu simulieren sie mehrere Kameraaufbauten im Raum, die aus verschiedenen Richtungen auf das CAD-Modell blicken – aus jeder Perspektive wird ein Bild gemacht und mit einem beliebigen Hintergrund versehen. Während die CAD-Daten üblicherweise in Blau, Grün und Gelb dargestellt werden, bestehen die Bauteile auf den künstlichen Bildern durch fotorealistisches Rendering aus verschiedenen Materialien, etwa aus grau schimmerndem Metall. Der Ansatz funktioniert wie gewünscht: Über den Deep-Learning-Ansatz lässt sich das System mit den synthetischen Bildern trainieren und erkennt so reale Bauteile, ohne je zuvor ein echtes gesehen zu haben. Und das auch noch sehr schnell: Für zehn unterschiedliche, unbekannte Bauteile in einem komplexeren Produktaufbau brauchen die Forscher bei vorhandenen CAD-Daten nur wenige Stunden, um die Netze der Künstlichen Intelligenz anzulernen.
Automatische Bauteilkontrolle in Echtzeit
Ist das System für die konkreten Bauteile angelernt, kann es sie in Echtzeit überprüfen. Das System erkennt, um welches Bauteil es sich handelt, überprüft, wie es im Raum liegt, und überlagert dann lagerichtig die entsprechenden CAD-Daten. Stimmen die beiden überein? Hierfür nutzen die Forscherinnen und Forscher Methoden der Augmented Reality.
Auf der Hannover Messe vom 12. bis 16. April 2021 stellt das Forscherteam seine Entwicklung vor – anhand einer zusammengebauten Vorderachse. In einem Projekt, das vom Land Hessen im Löwe Programm (Projektnummer 928/20-85) gefördert wird, arbeiten die Fraunhofer-Forschenden eng mit dem Spin-off Visometry zusammen, um die Machine Learning-Verfahren mit den zugehörigen Workflows und Netzen in das Produktportfolio von Visometry zu überführen.
Fraunhofer-Gesellschaft